Introducción a Procore Analytics 2.0

Configuración inicial

• Ejecute la utilidad de configuración:
  Python user_exp.py

Esto te ayudará a configurar lo siguiente:

• Configuración de origen de recursos compartidos delta
• Configuración de destino de MS SQL Server
• Preferencias de programación

Sincronización de datos

Después de la configuración, tiene dos opciones para ejecutar la sincronización de datos:

1. Python de ejecución directa
   delta_share_to_azure_panda.py
   O
2. Ejecución programada
   Si se configura durante la configuración, el trabajo se ejecutará automáticamente de acuerdo con su cron schedule.

Configuración de recursos compartidos delta

1. Cree un nuevo archivo denominado config.share con sus credenciales de Delta Share en formato JSON.

2. Obtener campos obligatorios:
   Nota: Estos detalles se pueden obtener de la aplicación web Procore Analytics.
   • ShareCredentialsVersion: número de versión (actualmente 1).
   • BearerToken: Su token de acceso a Delta Share.
   • Punto de conexión: la URL del punto de conexión de Delta Share.
   • Guarde el archivo en un lugar seguro.
3. Al configurar la fuente de datos, se le pedirá que proporcione:
   • Lista de tablas (separadas por comas).
   • Dejar en blanco para sincronizar todas las tablas.
   • Ejemplo: 'tabla1, t able2,  tabla3'.
   • Ruta a su 'config.share' archivo.

Configuración de MS SQL Server

Deberá proporcionar los siguientes detalles de MS SQL Server:

• base de datos
• anfitrión
• contraseña
• esquema
• nombre de usuario

Configuración de SSIS

1. Usando la línea de comandos, navegue a la carpeta ingresando'cd'.<path to the folder>
2. Instale los paquetes necesarios usando 'pip install -r requirements.txt' o 'python -m pip install -r requirements.txt'.
3. Abra SSIS y cree un nuevo proyecto.
4. En el Cuadro de herramientas de SSIS, arrastre y suelte la actividad "Ejecutar tarea de proceso".
   
   
5. Haga doble clic en 'Ejecutar tarea de proceso' y navegue hasta la pestaña Proceso.
6. En 'Ejecutable', ingrese la ruta a python.exe en la carpeta de instalación de Python.
7. En 'WorkingDirectory', ingrese una ruta a la carpeta que contiene el script que desea ejecutar (sin nombre de archivo de script).
8. En 'Argumentos', ingrese el nombre del script 'delta_share_to_azure_panda.py' que desea ejecutar con el .py extensión y guardar.
   
   
    
9. Haga clic en el botón 'Inicio' en el panel superior:
   
10. Durante la ejecución de la tarea, la salida de la consola de Python se muestra en la ventana de la consola externa.
11. Una vez finalizada la tarea, mostrará una marca verde:
    
    

Preparar el paquete

1. Cree un nuevo archivo denominado config.share con sus credenciales de Delta Share en formato JSON.

2. Obtener campos obligatorios.
   Nota: Estos detalles se pueden obtener de la aplicación web Procore Analytics.
   • ShareCredentialsVersion: número de versión (actualmente 1).
   • BearerToken: Su token de acceso a Delta Share.
   • Punto de conexión: la URL del punto de conexión de Delta Share.
3. Descargue y extraiga el paquete.
4. Descomprima el paquete en un directorio de su elección.
5. Copie el archivo de perfil *.share Delta Sharing en el directorio del paquete para facilitar el acceso.
   

Instalar dependencias

1. Abra una terminal en el directorio de paquetes.
2. Ejecute el siguiente comando para instalar las dependencias:
3. pip install -r requirements.txt
   

Generar configuración

1. Genere el archivo config.yaml ejecutando python user_exp.py:
   Este script ayuda a generar el archivo config.yaml que contiene las credenciales y la configuración necesarias.
2. Al configurar la fuente de datos, se le pedirá que proporcione:
   • Lista de tablas (separadas por comas).
   • Dejar en blanco para sincronizar todas las tablas.
     Ejemplo: 'tabla1, tabla2, tabla3'.
   • Ruta a su 'config.share' archivo.
3. Por primera vez, proporcionará sus credenciales, como la ubicación de configuración de origen de Delta Share, las tablas, la base de datos, el host, etc.
   Nota: Después, puede reutilizar o actualizar la configuración manualmente o mediante el user_exp.py python en ejecución nuevamente.

Configurar cron jobs y ejecución inmediata (opcional)

1. Decida si desea configurar un cron job para su ejecución automática.
2. Proporcione un cron schedule:
   • Formato: * * * * * ( minuto, hora, día del mes, mes, día de la semana).
   • Ejemplo de ejecución diaria a las 2 de la madrugada: 0 2 * * *
   • Para verificar los registros de programación, el archivo 'procore_scheduling.log' se creará tan pronto como se configure la programación.

También puede verificar la programación ejecutando el comando en la terminal:

Para Linux y MacOs:    

Para editar/eliminar - edite el cron de programación usando:

• Después de ejecutar el comando anterior, debería ver algo similar a:
• 2 * * * * /Usuarios/your_user/copo de nieve/venv/bin/python /Usuarios/your_user/copo de nieve/sql_server_python/connection_config.py 2>&1 | mientras se lee la línea; do echo "$(fecha) - $line"; done >> /Usuarios/your_user/copo de nieve/sql_server_python/procore_scheduling.log # procore-data-import
• También puede ajustar el cron de programación o eliminar toda la línea para que deje de ejecutarse según el programa.

Para Windows:

• Compruebe que se ha creado la tarea de programa:
  '''PowerShell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• Para editar/eliminar - tarea de programación:
  Abra el Programador de tareas:
  • Presione Win + R, escriba taskschd.msc, y presione Enter.
  • Navegue hasta las tareas programadas.
  • En el panel izquierdo, expanda la Biblioteca del programador de tareas.
  • Busque la carpeta donde está guardada su tarea (por ejemplo, Biblioteca del programador de tareas o una carpeta personalizada).
• Encuentre su tarea:
  • Busque el nombre de la tarea: ProcoreDeltaShareScheduling.
  • Haga clic en él para ver sus detalles en el panel inferior.
• Verifica su horario:
  • Compruebe la pestaña Desencadenadores para ver cuándo está configurada la tarea para ejecutarse.
  • Compruebe la pestaña Historial para confirmar las ejecuciones recientes.
• Para eliminar la tarea:
  • Eliminar tarea de la GUI.

Pregunta de ejecución inmediata:

• Opción de ejecutar un script para copiar datos inmediatamente después de la configuración.
• Después de generar el archivo config.yaml, la CLI está lista para ejecutarse en cualquier momento de forma independiente, mediante la ejecución de un script para copiar datos, según el paquete. Vea los ejemplos a continuación:
  Python delta_share_to_azure_panda.py
  O
  python delta_share_to_sql_spark.py
  O
  python delta_share_to_azure_dfs_spark.py

Ejecución y Mantenimiento

Problemas comunes y soluciones

1. Configuración de Cron Job:
   • Asegúrese de que los permisos del sistema estén configurados correctamente.
   • Compruebe los registros del sistema si el trabajo no se puede ejecutar.
   •  Compruebe que el script delta_share_to_azure_panda.py tiene permisos de ejecución.
2. Archivo de configuración:
   • Asegúrese de que el archivo config.yaml esté en el mismo directorio que el script.
   • Haga una copia de seguridad del archivo antes de realizar cambios.

Soporte

Para obtener ayuda adicional:

1. Revise los registros de scripts para ver los mensajes de error detallados.
2. Vuelva a comprobar si hay errores de configuración en el archivo config.yaml .
3. Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.
4. Comuníquese con el soporte de Procore para problemas relacionados con el acceso a Delta Share.
5. Registro de revisión de tablas con errores: failed_tables.log.

Notas

1. Siempre haga una copia de seguridad de sus archivos de configuración antes de realizar cambios.
2. Pruebe nuevas configuraciones en un entorno que no sea de producción para evitar interrupciones.

Preparar el paquete

1. Cree un nuevo archivo denominado config.share con sus credenciales de Delta Share en formato JSON.

2. Obtener campos obligatorios.
   Nota: Estos detalles se pueden obtener de la aplicación web Procore Analytics.
   • ShareCredentialsVersion: número de versión (actualmente 1).
   • BearerToken: Su token de acceso a Delta Share.
   • Punto de conexión: la URL del punto de conexión de Delta Share.
3. Descargue y extraiga el paquete.
4. Descomprima el paquete en un directorio de su elección.
5. Copie el archivo de perfil *.share Delta Sharing en el directorio del paquete para facilitar el acceso.
   

Instalar dependencias

1. Abra una terminal en el directorio de paquetes.
2. Ejecute el siguiente comando para instalar las dependencias:
3. pip install -r requirements.txt
   

Generar configuración

1. Genere el archivo config.yaml ejecutando python user_exp.py:
   Este script ayuda a generar el archivo config.yaml que contiene las credenciales y la configuración necesarias.
2. Al configurar la fuente de datos, se le pedirá que proporcione:
   • Lista de tablas (separadas por comas).
   • Dejar en blanco para sincronizar todas las tablas.
     Ejemplo: 'tabla1, tabla2, tabla3'.
   • Ruta a su 'config.share' archivo.
3. Por primera vez, proporcionará sus credenciales, como la ubicación de configuración de origen de Delta Share, las tablas, la base de datos, el host, etc.
   Nota: Después, puede reutilizar o actualizar la configuración manualmente o mediante el user_exp.py python en ejecución nuevamente.

Configurar cron jobs y ejecución inmediata (opcional)

1. Decida si desea configurar un cron job para su ejecución automática.
2. Proporcione un cron schedule:
   • Formato: * * * * * ( minuto, hora, día del mes, mes, día de la semana).
   • Ejemplo de ejecución diaria a las 2 de la madrugada: 0 2 * * *
   • Para verificar los registros de programación, el archivo 'procore_scheduling.log' se creará tan pronto como se configure la programación.

También puede verificar la programación ejecutando el comando en la terminal:

Para Linux y MacOs:    

Para editar/eliminar - edite el cron de programación usando:

• Después de ejecutar el comando anterior, debería ver algo similar a:
• 2 * * * * /Usuarios/your_user/copo de nieve/venv/bin/python /Usuarios/your_user/copo de nieve/sql_server_python/connection_config.py 2>&1 | mientras se lee la línea; do echo "$(fecha) - $line"; done >> /Usuarios/your_user/copo de nieve/sql_server_python/procore_scheduling.log # procore-data-import
• También puede ajustar el cron de programación o eliminar toda la línea para que deje de ejecutarse según el programa.

Para Windows:

• Compruebe que se ha creado la tarea de programa:
  '''PowerShell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• Para editar/eliminar - tarea de programación:
  Abra el Programador de tareas:
  • Presione Win + R, escriba taskschd.msc, y presione Enter.
  • Navegue hasta las tareas programadas.
  • En el panel izquierdo, expanda la Biblioteca del programador de tareas.
  • Busque la carpeta donde está guardada su tarea (por ejemplo, Biblioteca del programador de tareas o una carpeta personalizada).
• Encuentre su tarea:
  • Busque el nombre de la tarea: ProcoreDeltaShareScheduling.
  • Haga clic en él para ver sus detalles en el panel inferior.
• Verifica su horario:
  • Compruebe la pestaña Desencadenadores para ver cuándo está configurada la tarea para ejecutarse.
  • Compruebe la pestaña Historial para confirmar las ejecuciones recientes.
• Para eliminar la tarea:
  • Eliminar tarea de la GUI.

Pregunta de ejecución inmediata:

• Opción de ejecutar un script para copiar datos inmediatamente después de la configuración.
• Después de generar el archivo config.yaml, la CLI está lista para ejecutarse en cualquier momento de forma independiente, mediante la ejecución de un script para copiar datos, según el paquete. Vea los ejemplos a continuación:
  Python delta_share_to_azure_panda.py
  O
  python delta_share_to_sql_spark.py
  O
  python delta_share_to_azure_dfs_spark.py

Ejecución y Mantenimiento

Problemas comunes y soluciones

1. Configuración de Cron Job:
   • Asegúrese de que los permisos del sistema estén configurados correctamente.
   • Compruebe los registros del sistema si el trabajo no se puede ejecutar.
   •  Compruebe que el script delta_share_to_azure_panda.py tiene permisos de ejecución.
2. Archivo de configuración:
   • Asegúrese de que el archivo config.yaml esté en el mismo directorio que el script.
   • Haga una copia de seguridad del archivo antes de realizar cambios.

Soporte

Para obtener ayuda adicional:

1. Revise los registros de scripts para ver los mensajes de error detallados.
2. Vuelva a comprobar si hay errores de configuración en el archivo config.yaml .
3. Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.
4. Comuníquese con el soporte de Procore para problemas relacionados con el acceso a Delta Share.
5. Registro de revisión de tablas con errores: failed_tables.log.

Notas

1. Siempre haga una copia de seguridad de sus archivos de configuración antes de realizar cambios.
2. Pruebe nuevas configuraciones en un entorno que no sea de producción para evitar interrupciones.

Cambiar a la experiencia de Data Factory

1. Vaya al área de trabajo de Microsoft Fabric.
   
    
2. Selecciona Nuevo y, luego, elige Dataflow Gen2.
   

Configurar el flujo de datos

1. Vaya al editor de flujo de datos.
2. Haga clic en Obtener datos y seleccione Más.
3. En Nuevo origen, seleccione Otro uso compartido delta como origen de datos.
   
4. Ingrese los siguientes detalles:
   • URL: Desde el archivo de configuración de uso compartido diferencial.
   • Token de portador: se encuentra en el archivo config.share.
     
5. Haga clic en Siguiente y seleccione las tablas deseadas.
6. Haga clic en Crear para completar la configuración.

Realizar transformaciones de datos

Después de configurar el flujo de datos, ahora puede aplicar transformaciones a los datos Delta compartidos. Elija su opción Delta Sharing Data de la siguiente lista:

• Agregar destino de datos
• Crear/Abrir Lakehouse

Agregar destino de datos

1. Vaya a Data Factory.
2. Haga clic en Agregar destino de datos.
3. Seleccione Lakehouse como destino y haga clic en Siguiente.
4. Elija su destino objetivo y confirme haciendo clic en Siguiente.

Crear-Abrir Casa del Lago

1. Crea/abre tuLakehouse y haz clic en Obtener datos.
2. Selecciona Nueva generación de Dataflow 2.
3. Haga clic en Obtener datos, luego en Más y busque Uso compartido de Delta.
4. Ingrese el token de portador de la URL de su archivo config.share y luego seleccione Next.
5. Elija los datos o tablas que desee descargar y haga clic en Siguiente.
6. Después de estas manipulaciones, debería tener todos los datos seleccionados en su Fabric Lakehouse.

Validación y Monitoreo

Pruebe sus canalizaciones y flujos de datos para garantizar una ejecución sin problemas. Uso de herramientas de supervisión en Datos
Fábrica para realizar un seguimiento del progreso y registros de cada actividad.

Configurar la configuración

1. Cree el archivo config.yaml y defina la configuración en la siguiente estructura
   source_config:
       config_path: ruta/a/su/delta-compartir-credenciales-archivo.share
   tablas: # Opcional - Dejar vacío para procesar todas las tablas
       - table_name1
       - table_name2
   target_config:
       lakehouse_path: ruta/a/tu/tela/lakehouse/Tablas/ # Ruta a la casa del lago de tela

Configura tu Lakehouse

1. Abra el área de trabajo de Microsoft Fabric.
2. Navegue hasta su Lakehouse y haga clic en Abrir bloc de notas y, a continuación, en Nuevo bloc de notas.
3. Si no conoce el valor de config.yaml#lakehouse_path, Puedes copiarlo desde la pantalla.
4. Haga clic en los puntos suspensivos en los archivos y seleccione Copiar ruta ABFS:
   
   
   

3. Copie el código de ds_to_lakehouse.py y péguelo en la ventana del cuaderno (Pyspark Python):

El siguiente paso es cargar sus propios config.yaml y config.share en la carpeta Resources de Lakehouse. Puede crear su propio directorio o usar un directorio integrado (ya creado para recursos por Lakehouse):

El siguiente ejemplo muestra un directorio interno estándar para un fichero config.yaml.
Nota: Asegúrese de cargar ambos archivos en el mismo nivel y para la propiedad config_path:

4. Verifique el código del cuaderno, líneas 170-175.
El siguiente ejemplo muestra los cambios de línea necesarios:

config_path = "./env/config.yaml"

Para 

config_path = "./builtin/config.yaml"

Dado que los archivos están en una carpeta interna y no en un entorno personalizado, asegúrese de supervisar su propia estructura de archivos. Puede cargarlos en diferentes carpetas, pero en tales casos, actualice el código del bloc de notas para encontrar el archivo config.yaml correctamente.
 

5. Haga clic en Ejecutar celda:

Validación

• Una vez que se complete el trabajo, verifique que los datos se hayan copiado correctamente en su Lakehouse.
• Compruebe las tablas especificadas y asegúrese de que los datos coincidan con las tablas Delta compartidas.
• Espere hasta que finalice el trabajo, debe copiar todos los datos.

Preparar el paquete

1. Descargue el paquete requerido (adls_azure_function o sql_server_azure_function).
2. Extraiga los archivos del paquete a un directorio local.
3. Coloque el archivo de uso compartido de Delta:
   • Copie su archivo de perfil *.share Delta Sharing en el directorio extraído.

 Instalar dependencias

1. Abra una terminal en el directorio de paquetes.
2. Ejecute el siguiente comando para instalar las dependencias de Python necesarias:
   • pip install -r requirements.txt

Generar configuración

1. Genere el archivo config.yaml ejecutando:
   • Python user_exp.py
2. El script le pedirá que introduzca credenciales como:
   • Mesas
   • Nombre de la base de datos
   • Anfitrión
   • Credenciales adicionales..
3. La configuración se puede reutilizar o actualizar manualmente o volviendo a ejecutar python user_exp.py.

 Configuración de la CLI de Azure

1. Inicie sesión en Azure.
2. Ejecute el siguiente comando para iniciar sesión:
   az login
3. Comprobación de la cuenta de Azure:
   • az account show
   • Si el comando az no está disponible, instale la CLI de Azure siguiendo las instrucciones que se encuentran aquí: Microsoft Learn.

Instalación de las herramientas esenciales de Azure Functions

Vete a

Preparación de la función de Azure

1. Utilizar el
   Azure Portal guide
   para crear lo siguiente:
   • Una aplicación de funciones
   • Un grupo de recursos
   • Plan de consumo
   • Cuenta de almacenamiento
2. Establecer un programa de cron personalizado (opcional).
   • Abra function_app.py en un editor.
   • Localice la línea: @app.timer_trigger(schedule="0 0 */8 * * *",
3. Reemplace la programación con su expresión Cron personalizada y guarde el archivo.

Despliegue

1. Abra un terminal en el directorio de paquetes (adls_azure_function).
2. Ejecute el siguiente comando de implementación:
   • func azure functionapp publish <FunctionAppName> --build remote --python --clean
3. Reemplace <FunctionAppName> por el nombre de la aplicación de funciones de Azure en la suscripción de Azure.

Validación

• Asegúrese de que la implementación se realiza correctamente comprobando el estado de la aplicación de funciones en el Portal de Azure.
• Supervise los registros para comprobar que la función se está ejecutando según lo previsto.

Acceder a Data Flow Gen2

1. Inicie sesión en su cuenta de Microsoft Fabric.
2. Navegue hasta el espacio de trabajo.
3. Seleccione "Data Flow Gen2" entre las opciones disponibles.

Configurar origen de datos

1. Haga clic en "Datos de otra fuente" para comenzar la configuración.
2. En la pantalla Obtener datos, haga lo siguiente:
   • Busque la barra de búsqueda con la etiqueta 'Elegir fuente de datos'.
   • Escriba "delta sharing" en el campo de búsqueda.
   • Seleccione Uso compartido delta en los resultados.
     
     

Configurar la conexión Delta Share

1. Ingrese sus credenciales de Delta Share cuando se le solicite.
   • Asegúrese de que todos los campos obligatorios se completen con precisión.
   • Valide la conexión si es posible.
2. Haga clic en 'Siguiente' para continuar.
3. Revise la lista de tablas disponibles:
   • Se mostrarán todas las mesas a las que tiene acceso.
   • Seleccione las tablas deseadas para la transferencia.
     

Configurar el destino de los datos

1. Haga clic en 'Agregar destino de datos'.
2. Seleccione "Almacén SQL" como destino.
   
3. Introduzca las credenciales SQL:
   • Detalles del servidor.
   • Información de autenticación.
   • Especificaciones de la base de datos.
   • Compruebe la configuración de la conexión.

Finalizar e implementar

1. Revise todas las configuraciones.
2. Haga clic en "Publicar" para implementar el flujo de datos.
3. Espere el mensaje de confirmación.

Verificación

1. Acceda a su almacén de SQL.
2. Verifique que los datos estén disponibles y estructurados correctamente.
3. Ejecute consultas de prueba para garantizar la integridad de los datos.

Solución de problemas

Problemas comunes y soluciones:

• Errores de conexión: compruebe las credenciales y la conectividad de red.
• Tablas que faltan: compruebe los permisos de uso compartido delta.
• Problemas de rendimiento: revise la configuración de optimización y asignación de recursos.

Configuración inicial

Ejecute la utilidad de configuración usando python user_exp.py.

Sincronización de datos

Después de la configuración, tiene dos opciones para ejecutar la sincronización de datos: 

• Ejecución directa:
  • Python ds_to_snowflake.py
• Ejecución programada
  • Si se configura durante la configuración, el trabajo se ejecutará automáticamente de acuerdo con su programa Cron.
  • Para verificar los registros de programación, el archivo 'procore_scheduling.log' se creará tan pronto como se configure la programación.
  • Además, puede verificar la programación ejecutando el comando en la terminal:

Para Linux y MacOS:

• Para editar/eliminar - edite el cron de programación usando:

  '''bash
  
  EDITOR=nano crontab -e
  
  ```

• Después de ejecutar el comando anterior, debería ver algo similar a:

  2 * * * *
  /usuarios/your_user/copo de nieve/venv/bin/python
  
   /usuarios/your_user/copo de nieve/sql_server_python/connection_config.py
  2> y 1 | mientras se lee la línea; do echo "$(fecha) - $line"; ¡Listo>>
  
   /usuarios/your_user/copo de nieve/sql_server_python/procore_scheduling.log # procore-data-import 

   
• También puede ajustar el cron de programación o eliminar toda la línea para que deje de ejecutarse según el programa.

Para Windows:

• Compruebe que se ha creado la tarea de programa: 

  ```
      PowerShell 
  
      schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v 
  
  ``` 

• Para editar/eliminar la tarea de programación, abra el Programador de tareas.
• Presione Win + R, escriba taskschd.msc, y presione ENTER. 
• Navegue hasta las tareas programadas. 
• En el panel izquierdo, expanda la Biblioteca del programador de tareas. 
• Busque la carpeta donde está guardada su tarea:
  Ejemplo: Biblioteca del programador de tareas o una carpeta personalizada.
• Encuentre su tarea.
• Busque el nombre de la tarea: ProcoreDeltaShareScheduling. 
• Haga clic en él para ver los detalles en el panel inferior. 
• Verifica su horario: 
  • Compruebe la pestaña Desencadenadores para ver cuándo está configurada la tarea para ejecutarse. 
  • Compruebe la pestaña Historial para confirmar las ejecuciones recientes. 
• Para eliminar la tarea: 
  • Eliminar tarea de la GUI.

Configuración de recursos compartidos delta

• Creación del archivo config.share 
• Antes de ejecutar la utilidad de configuración, debe crear un archivo config.share con sus credenciales de Delta Share. El archivo debe estar en formato JSON: 

  { 

  "shareCredentialsVersion": 1, 
  "bearerToken": "xxxxxxxxxxxxx", 
  "endpoint": "[6]"
  
  } 

   

• Campos obligatorios: 
  • ShareCredentialsVersion: número de versión (actualmente 1). 
  • BearerToken: Su token de acceso a Delta Share.
  • Punto de conexión: la URL del punto de conexión de Delta Share.
  • Estos detalles se pueden obtener en la interfaz de usuario web de Procore.
• Pasos para crear config.share: 
  • Cree un nuevo archivo llamado config.share.
  • Copie la plantilla JSON anterior. 
  • Reemplace los valores de marcador de posición por sus credenciales reales. 
  • Guarde el archivo en un lugar seguro. 
  • Deberá proporcionar la ruta de acceso a este archivo durante la configuración. Al configurar la fuente de datos, se le pedirá que proporcione:
    • Lista de tablas (separadas por comas).
    • Dejar en blanco para sincronizar todas las tablas.
    • Ejemplo: tabla1, tabla2, tabla3.
• Ruta de acceso al archivo config.share .

Configuración de copo de nieve

Deberá proporcionar los siguientes detalles de Snowflake:

• Autenticación (elija una): 
  • Autenticación de usuario 
    • Nombre de usuario 
    • Contraseña (ingresada de forma segura) 
• Autenticación de par de claves
  • Nombre de usuario 
  • Ruta del archivo de clave privada
  • Contraseña del archivo de clave privada 
• Detalles de la conexión: 
  • Identificador de cuenta 
  • Nombre del almacén 
  • Nombre de la base de datos 
  • Nombre del esquema 
  • Número de subprocesos simultáneos 

Opciones de programación

La herramienta ofrece la posibilidad de programar la sincronización automática de datos.

• Configuración de Cron Job 
  • Elegir si desea configurar un trabajo diario 
  • En caso afirmativo, proporcione un cron schedule 
  • Formato: * * * * * (minuto, hora, día del mes, mes, día de la semana)
  • Ejemplo para todos los días a las 2 a.m.: 0 2 * * * 
• Ejecución inmediata 
  • Opción para ejecutar el ds_to_snowflake.py inmediatamente después de la configuración  
• Estructura de archivos

  Unset 
  ├── requirements.txt                    # Dependencias 
  ├── user_exp.py                                # Utilidad de configuración
  ├── ds_to_snowflake.py                # Script de sincronización de datos
  ├── config.yaml                                  # Configuración generada
  ├── config.share                               # Archivo de configuración de Delta Share
  ├── procore_scheduling.log       # Registro de ejecuciones de programación 

  
  Ejemplo de uso 
  • Paso 1: Instalar dependencias 
    $ pip install -r requirements.txt
  • Paso 2: Ejecutar la utilidad de configuración 
    $ python user_exp.py 
  • Acceso a Procore Analytics Nube Connect 
    • Esta CLI lo ayudará a elegir su almacén de origen y destino para acceder/escribir datos de Procore en Snowflake. 
    • Presione Enter para continuar.
    • Ingrese a la lista de tablas (separadas por comas), déjela en blanco para todas las tablas: proyectos, usuarios, tareas.
    • Ingrese la ruta a config.share: /ruta/a/config.share.
    • Ingrese el nombre de usuario: snowflake_user.
    • ¿Qué tipo de autenticación desea utilizar? (usuario/key_pair): Ingresar.
    • 1 para el usuario,
    • 2 para el par de claves:
    • 1 
    • Ingrese la contraseña: ******** 
    • Ingrese la cuenta: my_account 
    • Entrar en el almacén: my_warehouse 
    • Ingrese el nombre de la base de datos: procore_db
    • Introduzca el nombre del esquema: procore_schema 
    • Introduzca el número de hilos: 4 
    • ¿Quieres configurar esto como un trabajo diario en cron? (Sí/No): Sí 
    • Ingrese el programa en formato cron (por ejemplo, * * * * * ): 0 2 * * * 
    • ¿Desea ejecutar el trabajo ahora? (Sí/No): Sí 
  • Paso 3: Ejecución manual (si es necesario)
    $ python ds_to_snowflake.py 
• Reutilización de la configuración
  La herramienta guarda su configuración en el archivo config.yaml y le ofrece reutilizar la configuración almacenada anteriormente: 
  • La configuración de origen se puede reutilizar.
  • La configuración de destino (copo de nieve) se puede reutilizar. 
  • Puede optar por actualizar cualquiera de las configuraciones de forma independiente.

Prácticas recomendadas 

• Autenticación
  • Utilice la autenticación de par de claves siempre que sea posible.
  • Rotar las credenciales con regularidad. 
  • Utilice los permisos mínimos requeridos.
• Rendimiento 
  • Ajuste el número de subprocesos en función de las capacidades de su sistema. 
  • Comience con un subconjunto más pequeño de tablas para realizar pruebas.

Solución de problemas 

• Problemas comunes y soluciones: 
  • Tipo de autenticación no válido 
    • Asegúrese de seleccionar "1" (usuario) o "2" (key_pair) cuando se le solicite.
• Configuración de Cron Job  
  • Verifique que tiene los permisos del sistema adecuados.
  • Compruebe los registros del sistema si el trabajo no se puede ejecutar.
  • Asegúrese de que el ds_to_snowflake.py tenga los permisos correctos. 
  • Verifique la configuración del trabajo cron comprobando los registros del sistema:
    Consulte el archivo 'procore_scheduling.log '.
• Archivo de configuración
  • Ubicado en el mismo directorio que el script,
  • Llamado config.yaml.
  • Haga una copia de seguridad antes de realizar cualquier cambio.
• Soporte
  • Compruebe la salida de registro del script. 
  • Revise su archivo config.yaml . 
  • Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.
  • Comuníquese con el soporte de Procore para problemas de acceso a Delta Share.

Nota: Recuerde siempre hacer una copia de seguridad de su configuración antes de realizar cambios y probar primero las nuevas configuraciones en un entorno que no sea de producción.
 

Configuración inicial

Ejecute la utilidad de configuración usando python user_exp.py.

Esto te ayudará a configurar lo siguiente:

• Configuración de recursos compartidos delta
• Configuración de destino de S3
• Preferencias de programación 

Configuración de recursos compartidos delta

• Creación del archivo config.share 
• Antes de ejecutar la utilidad de configuración, debe crear un archivo config.share con sus credenciales de Delta Share. El archivo debe estar en formato JSON: 

  { 

  "shareCredentialsVersion": 1, 
  "bearerToken": "xxxxxxxxxxxxx", 
  "punto final": "xxxxxx"
  
  } 

• Campos obligatorios: 
  • ShareCredentialsVersion: número de versión (actualmente 1). 
  • BearerToken: Su token de acceso a Delta Share.
  • Punto de conexión: la URL del punto de conexión de Delta Share.
  • Estos detalles se pueden obtener en la interfaz de usuario web de Procore.
• Pasos para crear config.share: 
  • Cree un nuevo archivo llamado config.share.
  • Copie la plantilla JSON anterior. 
  • Reemplace los valores de marcador de posición por sus credenciales reales. 
  • Guarde el archivo en un lugar seguro. 
  • Deberá proporcionar la ruta de acceso a este archivo durante la configuración. Al configurar la fuente de datos, se le pedirá que proporcione:
    • Lista de tablas (separadas por comas).
    • Dejar en blanco para sincronizar todas las tablas.
    • Ejemplo: tabla1, tabla2, tabla3.
• Ruta de acceso al archivo config.share .

Configuración de S3

Deberá proporcionar los siguientes detalles de S3:

• Autenticación:
  • Tecla de acceso
  • Clave secreta
  • Nombre del bucket sin s3://
  • Clave - Directorio 

Opciones de programación

La herramienta ofrece la posibilidad de programar la sincronización automática de datos.

• Configuración de Cron Job 
  • Elija si desea configurar un trabajo diario. 
  • En caso afirmativo, proporcione un cron schedule. 
  • Formato: * * * * * (minuto, hora, día del mes, mes, día de la semana).
  • Ejemplo para todos los días a las 2 a.m.: 0 2 * * * 
  • Para verificar los registros de programación, el archivo 'procore_scheduling.log' se creará tan pronto como se configure la programación.

También puede verificar la programación ejecutando el comando terminal

Para Linux y MacOs:    

Para editar/eliminar - edite el cron de programación usando:

• Después de ejecutar el comando anterior, debería ver algo similar a:
• 2 * * * * /Usuarios/your_user/copo de nieve/venv/bin/python /Usuarios/your_user/copo de nieve/sql_server_python/connection_config.py 2>&1 | mientras se lee la línea; do echo "$(fecha) - $line"; done >> /Usuarios/your_user/copo de nieve/sql_server_python/procore_scheduling.log # procore-data-import
• También puede ajustar el cron de programación o eliminar toda la línea para que deje de ejecutarse según el programa.

Para Windows:

• Compruebe que se ha creado la tarea de programa:
  '''PowerShell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• Para editar/eliminar - tarea de programación:
  Abra el Programador de tareas:
  • Presione Win + R, escriba taskschd.msc, y presione Enter.
  • Navegue hasta las tareas programadas.
  • En el panel izquierdo, expanda la Biblioteca del programador de tareas.
  • Busque la carpeta donde está guardada su tarea (por ejemplo, Biblioteca del programador de tareas o una carpeta personalizada).
• Encuentre su tarea:
  • Busque el nombre de la tarea: ProcoreDeltaShareScheduling.
  • Haga clic en él para ver sus detalles en el panel inferior.
• Verifica su horario:
  • Compruebe la pestaña Desencadenadores para ver cuándo está configurada la tarea para ejecutarse.
  • Compruebe la pestaña Historial para confirmar las ejecuciones recientes.
• Para eliminar la tarea:
  • Eliminar tarea de la GUI.

• Ejecución inmediata 
  • Opción para ejecutar el delta_share_to_s3_.py Estructura de archivos

• Unset 
  
  ├── requirements.txt                    # Dependencias 
  ├── user_exp.py                                # Utilidad de configuración
  ├── delta_share_to_s3.py            # Script de sincronización de datos
  ├── config.yaml                                  # Configuración generada
  ├── config.share                               # Archivo de configuración de Delta Share
  ├── procore_scheduling.log       # Registro de ejecuciones de programación 

  
  Ejemplo de uso 
  • Paso 1: Instalar dependencias 
    $ pip install -r requirements.txt
  • Paso 2: Ejecutar la utilidad de configuración 
    $ python user_exp.py 
  • Acceso a Procore Analytics Nube Connect 
    • Esta CLI lo ayudará a elegir su almacén de origen y destino para acceder/escribir datos de Procore en S3. 
    • Presione Enter para continuar.
    • Ingrese a la lista de tablas (separadas por comas), déjela en blanco para todas las tablas: proyectos, usuarios, tareas.
    • Ingrese la ruta a config.share: /ruta/a/config.share.
    • Introduzca la clave de acceso: tecla s3.
    • Introduzca secreto: secreto.
    • Introduzca el cubo: nombre del cubo.
    • ¿Quieres configurar esto como un trabajo diario en cron? (Sí/No): Sí 
    • Ingrese el programa en formato cron (por ejemplo, * * * * * ): 0 2 * * * 
    • ¿Desea ejecutar el trabajo ahora? (Sí/No): Sí 
  • Paso 3: Ejecución manual (si es necesario)
    $ python delta_share_to_s3.py 
• Reutilización de la configuración
  La herramienta guarda su configuración en el archivo config.yaml y le ofrece reutilizar la configuración almacenada anteriormente: 
  • La configuración de origen se puede reutilizar.
  • La configuración de destino (S3) se puede reutilizar. 
  • Puede optar por actualizar cualquiera de las configuraciones de forma independiente.

Solución de problemas 

Problemas comunes y soluciones: 

• Configuración de Cron Job  
  • Asegúrese de que los permisos del sistema estén configurados correctamente.
  • Compruebe los registros del sistema si el trabajo no se puede ejecutar.
  • Verifique el script (delta_share_to_s3.py) Permisos de ejecución.
• Archivo de configuración
  • Confirme que el archivo config.yaml está en el mismo directorio que el script.
  • Haga una copia de seguridad antes de realizar cualquier cambio.
• Soporte
  • Revise los registros de scripts para ver los mensajes de error detallados.
  • Revise su archivo config.yaml para ver si hay errores de configuración.
  • Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.
  • Comuníquese con el soporte de Procore para problemas de acceso a Delta Share.
  • Verifique la configuración del trabajo cron comprobando los registros del sistema: consulte el archivo 'procore_scheduling_log '.

Notas:

1. Recuerde siempre hacer una copia de seguridad de su configuración antes de realizar cambios.
2. Pruebe primero las nuevas configuraciones en un entorno que no sea de producción.

Conector de Python

El conector de Python de uso compartido delta es una biblioteca de Python que implementa el protocolo de uso compartido de delta para leer tablas de un servidor de uso compartido de diferencial. Puede cargar tablas compartidas como un DataFrame de pandas o como un DataFrame de Apache Spark si se ejecuta en PySpark con el conector de Apache Spark instalado.

Conector de Apache Spark

El conector de Apache Spark implementa el protocolo de uso compartido delta para leer tablas compartidas de un servidor de uso compartido delta. Se puede utilizar en SQL, Python, Java, Scala y R.

Configuración de Apache Spark

Puede configurar Apache Spark para cargar el conector de uso compartido delta en los dos siguientes
Maneras:

• Ejecutar de forma interactiva: inicie el shell de Spark (Scala o Python) con el conector de uso compartido delta y ejecute los fragmentos de código de forma interactiva en el shell.
• Ejecutar como un proyecto: configure un proyecto Maven o SBT (Scala o Java) con el conector de uso compartido delta, copie los fragmentos de código en un archivo de código fuente y ejecute el proyecto.

Si usa Databricks Runtime, puede omitir esta sección y seguir el documento de bibliotecas de Databricks para instalar el conector en los clústeres.

Configurar un shell interactivo

Para usar el conector de uso compartido delta de forma interactiva dentro del shell Scala o Python de Spark, puede iniciar los shells de la siguiente manera.

PySpark Shell

Unset
pyspark --packages io.delta:delta-sharing-spark_2.12:3.1.0

Concha de Scala

Unset
bin/spark-shell --paquetes
io.delta:delta-sharing-spark_2.12:3.1.0

Configurar un proyecto independiente

Si desea crear un proyecto Java/Scala utilizando el conector Delta Sharing del repositorio central de Maven, puede utilizar las siguientes coordenadas de Maven.