Exportar a SQL Server mediante Python (SSIS)
Descripción general
La herramienta Procore Analytics Nube Connect Access es una interfaz de línea de comandos (CLI) que lo ayuda a configurar y administrar las transferencias de datos de Procore a MS SQL Server. Consta de dos componentes principales:
- user_exp.py (Utilidad de configuración de la instalación)
- delta_share_to_azure_panda.py (script de sincronización de datos)
Requisitos previos
- Python y pip instalados en su sistema.
- Acceso a Procore Delta Share.
- Credenciales de la cuenta de MS SQL Server.
- Instale las dependencias necesarias: pip install -r requirements.txt.
Pasos
- Configuración inicial
- Sincronización de datos
- Configuración de recursos compartidos delta
- Configuración de MS SQL Server
- Configuración de SSIS
Configuración inicial
- Ejecute la utilidad de configuración:
Python user_exp.py
Esto te ayudará a configurar lo siguiente:
- Configuración de origen de recursos compartidos delta
- Configuración de destino de MS SQL Server
- Preferencias de programación
Sincronización de datos
Después de la configuración, tiene dos opciones para ejecutar la sincronización de datos:
- Python de ejecución directa
delta_share_to_azure_panda.py
O - Ejecución programada
Si se configura durante la configuración, el trabajo se ejecutará automáticamente de acuerdo con su cron schedule.
Configuración de recursos compartidos delta
- Cree un nuevo archivo denominado config.share con sus credenciales de Delta Share en formato JSON.
{
"shareCredentialsVersion": 1,
"bearerToken": "xxxxxxxxxxxxx",
"endpoint": "[1]"
}
- Obtener campos obligatorios:
Nota: Estos detalles se pueden obtener de la aplicación web Procore Analytics.- ShareCredentialsVersion: número de versión (actualmente 1).
- BearerToken: Su token de acceso a Delta Share.
- Punto de conexión: la URL del punto de conexión de Delta Share.
- Guarde el archivo en un lugar seguro.
- Al configurar la fuente de datos, se le pedirá que proporcione:
- Lista de tablas (separadas por comas).
- Dejar en blanco para sincronizar todas las tablas.
- Ejemplo: 'tabla1, t able2, tabla3'.
- Ruta a su 'config.share' archivo.
Configuración de MS SQL Server
Deberá proporcionar los siguientes detalles de MS SQL Server:
- base de datos
- anfitrión
- contraseña
- esquema
- nombre de usuario
Configuración de SSIS
- Usando la línea de comandos, navegue a la carpeta ingresando'cd'.<path to the folder>
- Instale los paquetes necesarios usando 'pip install -r requirements.txt' o 'python -m pip install -r requirements.txt'.
- Abra SSIS y cree un nuevo proyecto.
- En el Cuadro de herramientas de SSIS, arrastre y suelte la actividad "Ejecutar tarea de proceso".
- Haga doble clic en 'Ejecutar tarea de proceso' y navegue hasta la pestaña Proceso.
- En 'Ejecutable', ingrese la ruta a python.exe en la carpeta de instalación de Python.
- En 'WorkingDirectory', ingrese una ruta a la carpeta que contiene el script que desea ejecutar (sin nombre de archivo de script).
- En 'Argumentos', ingrese el nombre del script 'delta_share_to_azure_panda.py' que desea ejecutar con el .py extensión y guardar.
- Haga clic en el botón 'Inicio' en el panel superior:
- Durante la ejecución de la tarea, la salida de la consola de Python se muestra en la ventana de la consola externa.
- Una vez finalizada la tarea, mostrará una marca verde: