Connexion à Google BigQuery avec AWS Schema Conversion Tool - AWS Schema Conversion Tool
Privilèges pour BigQuery Connexion à BigQuery en tant que sourceBigQuery limitesBigQuery vers les paramètres de conversion d'Amazon RedshiftBigQuery vers les paramètres d'optimisation de conversion d'Amazon Redshift

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Connexion à Google BigQuery avec AWS Schema Conversion Tool

Vous pouvez l'utiliser AWS SCT pour convertir des schémas, des objets de code et du code d'application BigQuery vers Amazon Redshift.

Privilèges pour BigQuery en tant que source

Pour utiliser un entrepôt de BigQuery données comme source dans AWS SCT, créez un compte de service. Dans Google Cloud, les applications utilisent des comptes de service pour passer des API appels autorisés. Les comptes de service sont différents des comptes d'utilisateurs. Pour plus d'informations, consultez la section Comptes de service dans la documentation de Google Cloud Identity and Access Management.

Assurez-vous d'attribuer les rôles suivants à votre compte de service :

  • BigQuery Admin

  • Storage Admin

Le BigQuery Admin rôle fournit des autorisations pour gérer toutes les ressources du projet. AWS SCT utilise ce rôle pour charger vos BigQuery métadonnées dans le projet de migration.

Le Storage Admin rôle garantit le contrôle total des objets de données et des compartiments. Vous trouverez ce rôle sousCloud Storage. AWS SCT utilise ce rôle pour extraire vos données d'Amazon Redshift, BigQuery puis les charger dans celui-ci.

Pour créer un fichier clé de compte de service

  1. Connectez-vous à la console de gestion Google Cloud à l'adresse https://console.cloud.google.com/.

  2. Sur la BigQuery APIpage, sélectionnez Activer. Ignorez cette étape si vous voyez APIActivé.

  3. Sur la page Comptes de service, choisissez votre projet, puis choisissez Créer un compte de service.

  4. Sur la page des détails du compte de service, entrez une valeur descriptive pour le nom du compte de service. Choisissez Créer et continuer. La page Accorder à ce compte de service l'accès au projet s'ouvre.

  5. Pour Sélectionner un rôle, choisissez BigQuery, puis choisissez BigQuery Admin.

  6. Choisissez Ajouter un autre rôle. Pour Sélectionner un rôle, choisissez Cloud Storage, puis Storage Admin.

  7. Choisissez Continuer, puis cliquez sur Terminé.

  8. Sur la page Comptes de service, choisissez le compte de service que vous avez créé.

  9. Choisissez Clés, puis choisissez Créer une nouvelle clé pour Ajouter une clé.

  10. Choisissez JSON, puis Créer . Choisissez le dossier dans lequel enregistrer votre clé privée ou sélectionnez le dossier par défaut pour les téléchargements dans votre navigateur.

Pour extraire des données d'un entrepôt de BigQuery données, AWS SCT utilisez le dossier bucket de Google Cloud Storage. Créez ce compartiment avant de commencer la migration des données. Entrez le chemin d'accès à votre dossier de bucket Google Cloud Storage dans la boîte de dialogue Créer une tâche locale. Pour de plus amples informations, veuillez consulter Création, exécution et surveillance d'une AWS SCT tâche.

Connexion à BigQuery en tant que source

Utilisez la procédure suivante pour vous connecter à votre BigQuery projet source avec le AWS Schema Conversion Tool.

Pour se connecter à un entrepôt de données BigQuery source

  1. Dans le AWS Schema Conversion Tool, choisissez Ajouter une source.

  2. Choisissez BigQuery, puis cliquez sur Suivant.

    La boîte de dialogue Ajouter une source apparaît.

  3. Dans Nom de la connexion, entrez le nom de votre BigQuery projet. AWS SCT affiche ce nom dans l'arborescence du panneau de gauche.

  4. Pour Chemin clé, entrez le chemin d'accès au fichier clé du compte de service. Pour plus d'informations sur la création de ce fichier, consultezPrivilèges pour BigQuery en tant que source.

  5. Choisissez Tester la connexion pour vérifier que AWS SCT vous pouvez vous connecter à votre BigQuery projet source.

  6. Choisissez Connect pour vous connecter à votre BigQuery projet source.

Restrictions relatives à l'utilisation BigQuery en tant que source pour AWS SCT

Les restrictions suivantes s'appliquent lors de l'utilisation en BigQuery tant que source pour AWS SCT :

  • AWS SCT ne prend pas en charge la conversion de sous-requêtes dans les fonctions analytiques.

  • Vous ne pouvez pas l' AWS SCT utiliser pour convertir BigQuery SELECT AS STRUCT des SELECT AS VALUE instructions.

  • AWS SCT ne prend pas en charge la conversion des types de fonctions suivants :

    • Agrégat approximatif

    • Bit

    • Débogage

    • Requête fédérée

    • Géographie

    • Hachage

    • Mathématiques

    • Filet

    • Agrégat statistique

    • UUID

  • AWS SCT fournit un support limité pour la conversion des fonctions de chaîne.

  • AWS SCT ne prend pas en charge la conversion des UNNEST opérateurs.

  • Vous ne pouvez pas convertir les opérations de jointure corrélées en AWS SCT.

  • AWS SCT ne prend pas en charge la conversion des OFFSET clauses QUALIFY WINDOWLIMIT,, et.

  • Vous ne pouvez pas l'utiliser AWS SCT pour convertir des expressions de table communes récursives.

  • AWS SCT ne prend pas en charge la conversion d'INSERTinstructions contenant des sous-requêtes dans des VALUES clauses.

  • AWS SCT ne prend pas en charge la conversion des UPDATE instructions pour les champs imbriqués et les enregistrements répétés.

  • Vous ne pouvez pas l'utiliser AWS SCT pour convertir STRUCT des types de ARRAY données.

BigQuery vers les paramètres de conversion d'Amazon Redshift

BigQuery Pour modifier les paramètres de conversion d'Amazon Redshift, choisissez Paramètres dans AWS SCT, puis sélectionnez Paramètres de conversion. Dans la liste supérieure, choisissez Google BigQuery, puis Google BigQuery — Amazon Redshift. AWS SCT affiche tous les paramètres disponibles pour la BigQuery conversion vers Amazon Redshift.

BigQuery vers les paramètres de conversion Amazon Redshift en AWS SCT incluant des options pour les éléments suivants :

  • Pour limiter le nombre de commentaires contenant des actions dans le code converti.

    Pour Ajouter des commentaires dans le code converti pour les actions de gravité sélectionnée ou supérieure, choisissez la sévérité des actions. AWS SCT ajoute des commentaires dans le code converti pour les actions dont la gravité est sélectionnée ou supérieure.

    Par exemple, pour réduire au maximum le nombre de commentaires dans votre code converti, choisissez Erreurs uniquement. Pour inclure les commentaires pour tous les éléments d’action de votre code converti, choisissez Tous les messages.

  • Pour définir le nombre maximum de tables AWS SCT pouvant s'appliquer à votre cluster Amazon Redshift cible.

    Pour le nombre maximum de tables pour le cluster Amazon Redshift cible, choisissez le nombre de tables qui AWS SCT peuvent s'appliquer à votre cluster Amazon Redshift.

    Amazon Redshift dispose de quotas qui limitent l’utilisation des tables pour différents types de nœud de cluster. Si vous choisissez Auto, AWS SCT détermine le nombre de tables à appliquer à votre cluster Amazon Redshift cible en fonction du type de nœud. Vous pouvez éventuellement choisir la valeur manuellement. Pour plus d’informations, consultez Quotas et limites dans Amazon Redshift dans le Guide de gestion Amazon Redshift.

    AWS SCT convertit toutes vos tables sources, même si c'est plus que ce que votre cluster Amazon Redshift peut stocker. AWS SCT stocke le code converti dans votre projet et ne l'applique pas à la base de données cible. Si vous atteignez le quota de cluster Amazon Redshift pour les tables lorsque vous appliquez le code converti, un message d'avertissement s' AWS SCT affiche. AWS SCT Applique également des tables à votre cluster Amazon Redshift cible jusqu'à ce que le nombre de tables atteigne la limite.

  • Pour appliquer une compression aux colonnes d'un tableau Amazon Redshift. Pour ce faire, sélectionnez Utiliser le codage par compression.

    AWS SCT attribue automatiquement un codage de compression aux colonnes à l'aide de l'algorithme Amazon Redshift par défaut. Pour plus d'informations, consultez la section Encodages de compression dans le manuel Amazon Redshift Database Developer Guide.

    Par défaut, Amazon Redshift n'applique pas de compression aux colonnes définies comme clés de tri et de distribution. Vous pouvez modifier ce comportement et appliquer une compression à ces colonnes. Pour ce faire, sélectionnez Utiliser le codage de compression pour les KEY colonnes. Vous ne pouvez sélectionner cette option que lorsque vous sélectionnez l'option Utiliser le codage par compression.

BigQuery vers les paramètres d'optimisation de conversion d'Amazon Redshift

BigQuery Pour modifier les paramètres d'optimisation des conversions d'Amazon Redshift, sélectionnez Paramètres dans AWS SCT, puis sélectionnez Paramètres de conversion. Dans la liste supérieure, choisissez Google BigQuery, puis Google BigQuery — Amazon Redshift. Dans le volet de gauche, sélectionnez Stratégies d'optimisation. AWS SCT affiche les paramètres d'optimisation des conversions pour BigQuery la conversion vers Amazon Redshift.

BigQuery vers les paramètres d'optimisation de conversion d'Amazon Redshift en AWS SCT incluant des options pour les éléments suivants :

  • Pour travailler avec l'optimisation automatique des tables. Pour ce faire, sélectionnez Utiliser le réglage automatique des tables Amazon Redshift.

    L'optimisation automatique des tables est un processus d'autoréglage dans Amazon Redshift qui optimise automatiquement la conception des tables. Pour plus d'informations, consultez la section Utilisation de l'optimisation automatique des tables dans le manuel Amazon Redshift Database Developer Guide.

    Pour vous fier uniquement à l'optimisation automatique des tables, choisissez Aucune pour la stratégie initiale de sélection des clés.

  • Pour choisir les clés de tri et de distribution selon votre stratégie.

    Vous pouvez choisir des clés de tri et de distribution à l'aide des métadonnées Amazon Redshift, des informations statistiques ou des deux options. Pour Stratégie initiale de sélection des clés dans l'onglet Stratégies d'optimisation, choisissez l'une des options suivantes :

    • Utiliser des métadonnées, ignorer les informations statistiques

    • Ignorer les métadonnées, utiliser des informations statistiques

    • Utiliser des métadonnées et des informations statistiques

    Selon l'option que vous choisissez, vous pouvez sélectionner des stratégies d'optimisation. Entrez ensuite la valeur (0 à 100) pour chaque stratégie. Ces valeurs définissent le poids de chaque stratégie. À l'aide de ces valeurs de pondération, AWS SCT définit l'influence de chaque règle sur le choix des clés de distribution et de tri. Les valeurs par défaut sont basées sur les meilleures pratiques de AWS migration.

    Vous pouvez définir la taille des petites tables dans le cadre de la stratégie Find small tables. Pour Nombre minimum de lignes de tableau et Nombre maximum de lignes de tableau, entrez le nombre minimum et maximum de lignes dans un tableau pour le définir comme un petit tableau. AWS SCT applique le style ALL de distribution aux petites tables. Dans ce cas, une copie de la table complète est distribuée à chaque nœud.

  • Pour configurer les détails de la stratégie.

    Outre la définition du poids pour chaque stratégie d'optimisation, vous pouvez configurer les paramètres d'optimisation. Pour ce faire, choisissez Optimisation des conversions.

    • Pour le champ Limite des colonnes clés de tri, entrez le nombre maximum de colonnes dans la clé de tri.

    • Pour une valeur de seuil asymétrique, entrez le pourcentage (0 à 100) d'une valeur asymétrique pour une colonne. AWS SCT exclut les colonnes dont la valeur d'inclinaison est supérieure au seuil de la liste des candidats pour la clé de distribution. AWS SCT définit la valeur asymétrique d'une colonne comme le pourcentage entre le nombre d'occurrences de la valeur la plus courante et le nombre total d'enregistrements.

    • Pour les N principales requêtes de la table d'historique des requêtes, entrez le nombre (1 à 100) des requêtes les plus fréquemment utilisées à analyser.

    • Pour Sélectionner un utilisateur de statistiques, choisissez l'utilisateur de base de données pour lequel vous souhaitez analyser les statistiques de requête.

    Dans l'onglet Stratégies d'optimisation, vous pouvez également définir la taille des petites tables pour la stratégie Rechercher de petites tables. Pour Nombre minimal de lignes de tableau et Nombre maximal de lignes de tableau, entrez le nombre minimum et maximum de lignes dans un tableau pour le considérer comme un petit tableau. AWS SCT applique le style ALL de distribution aux petites tables. Dans ce cas, une copie de la table complète est distribuée à chaque nœud.