Conectarse a Google BigQuery con AWS Schema Conversion Tool - AWS Schema Conversion Tool
Privilegios para BigQuery Conectarse a BigQuery como fuenteBigQuery limitacionesBigQuery a la configuración de conversión de Amazon RedshiftBigQuery a la configuración de optimización de conversiones de Amazon Redshift

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Conectarse a Google BigQuery con AWS Schema Conversion Tool

Puede utilizarlos AWS SCT para convertir esquemas, objetos de código y código de aplicaciones BigQuery a Amazon Redshift.

Privilegios BigQuery como fuente

Para utilizar un almacén de BigQuery datos como fuente en AWS SCT, cree una cuenta de servicio. En Google Cloud, las aplicaciones utilizan cuentas de servicio para realizar API llamadas autorizadas. Las cuentas de servicio son diferentes de las cuentas de usuario. Para obtener más información, consulte Cuentas de servicio en la documentación sobre Google Cloud Identity and Access Management.

Asegúrese de asignar las siguientes funciones a su cuenta de servicio:

  • BigQuery Admin

  • Storage Admin

El BigQuery Admin rol proporciona permisos para administrar todos los recursos del proyecto. AWS SCT utiliza este rol para cargar BigQuery los metadatos en el proyecto de migración.

El rol Storage Admin otorga el control total de los objetos y buckets de datos. Puede encontrar este rol enCloud Storage. AWS SCT utiliza esta función para extraer los datos de Amazon Redshift BigQuery y, a continuación, cargarlos en ellos.

Para crear un archivo de clave de cuenta de servicio

  1. Inicie sesión en la consola de administración de Google Cloud en https://console.cloud.google.com/.

  2. En la BigQuery APIpágina, seleccione Activar. Omita este paso si aparece APIActivado.

  3. En la página Cuentas de servicio, seleccione su proyecto y, a continuación, seleccione Crear cuenta de servicio.

  4. En la página Detalles de la cuenta de servicio, introduzca un valor descriptivo para Nombre de la cuenta de servicio. Seleccione Crear y continuar. Se abre la página Otorgar a esta cuenta de servicio acceso al proyecto.

  5. En Seleccione un rol, elija y BigQuery, a continuación, elija BigQuery Administrador.

  6. Elija Agregar otro rol. En Seleccionar un rol, seleccione Cloud Storage y, a continuación, seleccione Administrador de almacenamiento.

  7. Elija Continuar y, a continuación, elija Guardar.

  8. En la página Cuentas de servicio, elija la cuenta de servicio que creó.

  9. Seleccione Claves y, a continuación, seleccione Crear clave nueva para Agregar clave.

  10. Elija JSON y, a continuación, elija Create (Crear ). Elija la carpeta para guardar su clave privada o seleccione la carpeta predeterminada para las descargas en su navegador.

Para extraer datos de un almacén de BigQuery datos, AWS SCT usa la carpeta bucket de Google Cloud Storage. Cree este bucket antes de iniciar la migración de datos. Introduzca la ruta a la carpeta del bucket de Google Cloud Storage en el cuadro de diálogo Crear tarea local. Para obtener más información, consulte Crear, ejecutar y supervisar una AWS SCT tarea.

Conectarse a BigQuery como fuente

Utilice el siguiente procedimiento para conectarse al BigQuery proyecto de origen con el AWS Schema Conversion Tool.

Para conectarse a un almacén BigQuery de datos de origen

  1. En AWS Schema Conversion Tool, elija Agregar fuente.

  2. Elige BigQueryy, a continuación, selecciona Siguiente.

    Se abrirá el cuadro de diálogo Agregar origen.

  3. En Nombre de conexión, introduce un nombre para tu BigQuery proyecto. AWS SCT muestra este nombre en el árbol del panel izquierdo.

  4. En Ruta de la clave, introduzca la ruta al archivo de la clave de la cuenta de servicio. Para obtener más información sobre la creación de este archivo, consulte Privilegios BigQuery como fuente.

  5. Elija Probar conexión para comprobar que AWS SCT puede conectarse a su BigQuery proyecto de origen.

  6. Selecciona Connect para conectarte a tu BigQuery proyecto de origen.

Limitaciones de uso BigQuery como fuente para AWS SCT

Se aplican las siguientes limitaciones cuando se utiliza BigQuery como fuente para AWS SCT:

  • AWS SCT no admite la conversión de subconsultas en funciones analíticas.

  • No se puede usar AWS SCT para convertir sentencias BigQuery SELECT AS STRUCT. SELECT AS VALUE

  • AWS SCT no admite la conversión de los siguientes tipos de funciones:

    • Approximate aggregate

    • Bit

    • Debugging

    • Federated query

    • Geography

    • Hash

    • Mathematical

    • Net

    • Statistical aggregate

    • UUID

  • AWS SCT proporciona un soporte limitado para la conversión de funciones de cadena.

  • AWS SCT no admite la conversión de UNNEST operadores.

  • No puede convertir operaciones de unión correlacionadas en AWS SCT.

  • AWS SCT no admite la conversión de OFFSET cláusulas QUALIFY WINDOWLIMIT,, y.

  • No se puede utilizar AWS SCT para convertir expresiones de tabla comunes recursivas.

  • AWS SCT no admite la conversión de INSERT sentencias con subconsultas dentro VALUES de cláusulas.

  • AWS SCT no admite la conversión de UPDATE sentencias para campos anidados y registros repetidos.

  • No se puede utilizar AWS SCT para convertir ningún tipo STRUCT de ARRAY datos.

BigQuery a la configuración de conversión de Amazon Redshift

Para editar BigQuery la configuración de conversión a Amazon Redshift, seleccione Configuración en y, a continuación AWS SCT, elija Configuración de conversión. En la lista superior, selecciona Google y BigQuery, a continuación, Google BigQuery — Amazon Redshift. AWS SCT muestra todos los ajustes disponibles para BigQuery la conversión a Amazon Redshift.

BigQuery a la configuración de conversión de Amazon Redshift AWS SCT incluye opciones para lo siguiente:

  • Limitar el número de comentarios con elementos de acción en el código convertido.

    En Añadir comentarios en el código convertido para los elementos de acción de la gravedad seleccionada o superior, elija la gravedad de los elementos de acción. AWS SCT añade comentarios en el código convertido para los elementos de acción de la gravedad seleccionada o superior.

    Por ejemplo, para minimizar el número de comentarios en el código convertido, seleccione Solo errores. Para incluir comentarios para todos los elementos de acción del código convertido, seleccione Todos los mensajes.

  • Para establecer el número máximo de tablas que AWS SCT se pueden aplicar al clúster de Amazon Redshift de destino.

    En El número máximo de tablas para el clúster de Amazon Redshift de destino, elija el número de tablas que se AWS SCT pueden aplicar a su clúster de Amazon Redshift.

    Amazon Redshift tiene cuotas que limitan las tablas de uso para los distintos tipos de nodos de clúster. Si elige Auto, AWS SCT determina el número de tablas que se van a aplicar al clúster de Amazon Redshift de destino en función del tipo de nodo. Si lo desea, elija el valor manualmente. Para obtener más información, consulte Cuotas y límites de Amazon Redshift en la Guía de administración de Amazon Redshift.

    AWS SCT convierte todas las tablas de origen, incluso si son más de las que puede almacenar el clúster de Amazon Redshift. AWS SCT almacena el código convertido en su proyecto y no lo aplica a la base de datos de destino. Si alcanza la cuota de clústeres de Amazon Redshift para las tablas al aplicar el código convertido, AWS SCT mostrará un mensaje de advertencia. Además, AWS SCT aplica tablas al clúster de Amazon Redshift de destino hasta que el número de tablas alcance el límite.

  • Aplicar compresión a las columnas de la tabla de Amazon Redshift. Para ello, seleccione Usar codificación de compresión.

    AWS SCT asigna automáticamente la codificación de compresión a las columnas mediante el algoritmo Amazon Redshift predeterminado. Para obtener más información, consulte Codificaciones de compresión en la Guía para desarrolladores de bases de datos de Amazon Redshift.

    De forma predeterminada, Amazon Redshift no aplica compresión a las columnas definidas como claves de clasificación y distribución. Puede cambiar este comportamiento y aplicar compresión a estas columnas. Para ello, seleccione Usar codificación de compresión para KEY las columnas. Puede seleccionar esta opción solo si selecciona la opción Usar codificación de compresión.

BigQuery a la configuración de optimización de conversiones de Amazon Redshift

BigQuery Para editar la configuración de optimización de conversiones de Amazon Redshift, seleccione Configuración en y AWS SCT, a continuación, elija Configuración de conversión. En la lista superior, selecciona Google y BigQuery, a continuación, Google BigQuery — Amazon Redshift. En el panel izquierdo, selecciona Estrategias de optimización. AWS SCT muestra la configuración de optimización de conversiones BigQuery para la conversión a Amazon Redshift.

BigQuery a la configuración de optimización de conversiones de Amazon Redshift, AWS SCT incluye opciones para lo siguiente:

  • Trabajar con optimización automática de tablas. Para ello, seleccione Utilizar el ajuste automático de tablas de Amazon Redshift.

    La optimización automática de tablas es una capacidad de autoajuste presente en Amazon Redshift que optimiza automáticamente el diseño de tablas. Para obtener más información, consulte Trabajo con optimización automática de tablas en la Guía para desarrolladores de bases de datos de Amazon Redshift.

    Para confiar únicamente en la optimización automática de las tablas, elija Ninguna en Estrategia inicial de selección de claves.

  • Elegir las claves de clasificación y distribución según su estrategia.

    Puede elegir las claves de clasificación y distribución utilizando metadatos de Amazon Redshift, información estadística o ambas opciones. En estrategia inicial de selección de claves, en la pestaña Estrategias de optimización, elija una de las siguientes opciones:

    • Utilizar metadatos e ignorar la información estadística

    • Ignorar los metadatos, utilizar información estadística

    • Utilizar metadatos e información estadística

    En función de la opción que elija, puede seleccionar estrategias de optimización. A continuación, introduzca el valor (0—100) para cada estrategia. Estos valores definen la ponderación de cada estrategia. Con estos valores de ponderación, AWS SCT define cómo influye cada regla en la elección de las claves de distribución y clasificación. Los valores predeterminados se basan en las prácticas recomendadas de AWS migración.

    Puede definir el tamaño de las tablas pequeñas para la estrategia Buscar tablas pequeñas. En Recuento mínimo de filas de la tabla y Recuento máximo de filas de la tabla, introduzca el número mínimo y máximo de filas de una tabla para definirla como una tabla pequeña. AWS SCT aplica el estilo ALL de distribución a las tablas pequeñas. En este caso, se distribuye una copia de toda la tabla a cada nodo.

  • Configurar los detalles de la estrategia.

    Además de definir la ponderación de cada estrategia de optimización, puede configurar los ajustes de optimización. Para ello, elija Optimización de la conversión.

    • En Límite de columnas de clave de clasificación, introduzca el número máximo de columnas en la clave de clasificación.

    • Para el valor de umbral asimétrico, introduzca el porcentaje (0—100) de un valor asimétrico para una columna. AWS SCT excluye de la lista de candidatos a la clave de distribución las columnas con un valor de sesgo superior al umbral. AWS SCT define el valor asimétrico de una columna como la relación porcentual entre el número de apariciones del valor más común y el número total de registros.

    • En Consultas N principales de la tabla del historial de consultas, introduzca el número (1–100) de las consultas que se van a analizar con más frecuencia.

    • En Seleccionar usuario de estadísticas, elija el usuario de la base de datos cuyas estadísticas de consulta desee analizar.

    Además, en la pestaña Estrategias de optimización, puede definir el tamaño de las tablas pequeñas para la estrategia Buscar tablas pequeñas. En Recuento mínimo de filas de la tabla y Recuento máximo de filas de la tabla, introduzca el número mínimo y máximo de filas de una tabla para considerarla una tabla pequeña. AWS SCT aplica el estilo ALL de distribución a las tablas pequeñas. En este caso, se distribuye una copia de toda la tabla a cada nodo.