Conéctate a BigQuery

Objetivo

La herramienta Analytics Nube Connect Access es un bloc de notas que te ayuda a configurar y administrar las transferencias de datos de Procore a BigQuery con Analytics 2.0.

Requisitos previos

Analytics 2.0 SKU
Acceso a Google Nube Platform (GCP)
Permisos requeridos tanto en Delta Share como en BigQuery
Descarga el paquete comprimido desde la herramienta de análisis a nivel compañía (a través de Analytics > Introducción > Opciones de conexión > BigQuery).

Configurar la configuración

Configuración de recursos compartidos delta

Cree un archivo denominado config.share con sus credenciales de Delta Share en formato JSON.
Obtener campos obligatorios.
Nota: Estos detalles se pueden obtener en la aplicación web Analytics.
- bearerToken: Su token de acceso de Delta Share.
- Punto final: La URL del punto de conexión de Delta Share.
- shareCredentialsVersion: Número de versión (actualmente 1).

Ejemplo de archivo config.share

{
"shareCredentialsVersion": 1,
"bearerToken": "",
"punto final": ""
}

CONFIGURACIÓN DE BIGQUERY

Descargue el archivo bigquery.zip desde la aplicación web de Analytics.
Nota: Puedes descargar el paquete comprimido desde la herramienta de análisis a nivel compañía (a través de Analytics > Introducción > Opciones de conexión > BigQuery).
Extraiga el paquete a un directorio de su elección.
Abra el archivo config.yaml y modifique los siguientes parámetros:
- source_config.config_path: Ruta de acceso al archivo de configuración de Delta Share.
- source_config.tablas: Lista opcional de tablas específicas para procesar. Déjelo vacío para procesar todas las tablas.
- target_config.id_proyecto: ID de proyecto de GCP para BigQuery.
- target_config.dataset: Nombre del conjunto de datos de BigQuery.
- target_config.hilos: Número de procesos de tabla simultáneos.

Ejemplo de archivo config.yaml

source_config:
config_path: "<path_to_delta_share_config>"
tablas: # Opcional - lista de tablas específicas para procesar
- "Tabla1"
- "Tabla2"

target_config:
project_id: "<your-gcp-project-id>"
Conjunto de datos: "<bigquery-dataset-name>"
target_type: bigquery

Cargar archivo de configuración

Cargue los archivos config.yaml y config.share en el bucket gs.
1. Almacenamiento en la nube de Google (GCS)
  - Formato de uso: gs://bucket-name/path/to/config.yaml.

Ejecuta la aplicación de BigQuery

Cree un bloc de notas de Python e instale los siguientes paquetes:
- %pip install delta-sharing
- pip install pandas-gbq -U
Copie el código de, péguelo en el bloc de delta_share_to_bq.pynotas, actualice la ruta de acceso de configuración (config.yaml), y ejecutarlo.

Monitoreo y registro

La aplicación proporciona un registro detallado con:

Estado de procesamiento de cada tabla.
Mensajes de error y excepciones.
Información de procesamiento simultáneo.

Mejores prácticas

Optimización del rendimiento
- Ajuste el número de subprocesos en función de los recursos del sistema.
- Supervise el uso de memoria con tablas grandes.
- Tenga en cuenta los tamaños de las tablas al establecer procesos simultáneos.
Gestión de errores
- Supervise los registros de aplicaciones.
- Configure las alertas adecuadas.
- Mantener las configuraciones de copia de seguridad.

Solución de problemas

Problemas comunes y soluciones:

Fallos de conexión
- Verifique la conectividad de red.
- Compruebe la validez de la credencial.
- Confirme los permisos de la cuenta de servicio.
Errores de procesamiento
- Verifique la existencia de la tabla.
- Compruebe los permisos de acceso a la tabla.
- Valide los ajustes de configuración.
Problemas de rendimiento
- Reduzca los subprocesos simultáneos.
- Supervise los recursos del sistema.

Soporte

Para obtener ayuda adicional:

Revise los registros de la aplicación para obtener detalles sobre los errores.
Verifique los ajustes de configuración.
Asegúrese de que se cumplan todos los requisitos previos.
Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.