Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Une AWS Glue connexion est un objet de catalogue de données qui stocke les informations d'identification de connexion, les chaînes d'URI, les informations du cloud privé virtuel (VPC), etc. pour un magasin de données spécifique. AWS Glue les robots d'exploration, les jobs et les terminaux de développement utilisent des connexions pour accéder à certains types de magasins de données. Vous pouvez utiliser des connexions pour les sources et les cibles, mais aussi réutiliser la même connexion pour plusieurs tâches de crawler ou extraction, transformation et chargement (ETL).
La dernière version du schéma de AWS Glue connexions fournit un moyen unifié de gérer les connexions de données entre les AWS services et les applications, tels que AWS Glue Amazon Athena, et Amazon SageMaker AI Unified Studio.
Présentation de l'utilisation des connecteurs et des connexions
Une connexion contient les propriétés requises pour se connecter à un magasin de données particulier. Lorsque vous créez une connexion, elle est stockée dans AWS Glue Data Catalog. Vous sélectionnez un connecteur, puis créez une connexion basée sur celui-ci.
Vous pouvez vous abonner à des connecteurs pour les magasins de données non pris en charge de manière native AWS Marketplace, puis utiliser ces connecteurs lorsque vous créez des connexions. Les développeurs peuvent également créer leurs propres connecteurs et vous pouvez les utiliser lors de la création de connexions.
Note
Les connexions créées à l'aide de AWS Marketplace connecteurs personnalisés ou de connecteurs AWS Glue Studio apparaissent dans la AWS Glue console avec le type défini surUNKNOWN.
Les étapes suivantes décrivent le processus global d'utilisation des connecteurs dans AWS Glue Studio :
-
Abonnez-vous à un connecteur dans AWS Marketplace, ou développez votre propre connecteur et téléchargez-le sur AWS Glue Studio. Pour de plus amples informations, veuillez consulter Ajouter des connecteurs à AWS Glue Studio.
-
Vérifiez les informations d'utilisation du connecteur. Vous pouvez trouver ces informations sous l'onglet Usage (Utilisation) de la page produit du connecteur. Par exemple, si vous cliquez sur l'onglet Utilisation de cette page produit, AWS Glue Connector for Google BigQuery
, vous pouvez voir dans la section Ressources supplémentaires un lien vers un blog sur l'utilisation de ce connecteur. -
Créez une connexion. Vous sélectionnez le connecteur à utiliser et fournissez des informations supplémentaires pour la connexion, telles que les informations d'identification de connexion, les chaînes d'URI et les informations de Virtual Private Cloud (VPC). Pour de plus amples informations, veuillez consulter Création de connexions pour les connecteurs.
-
Créez un rôle IAM pour votre tâche. La tâche dispose des autorisations du rôle IAM que vous spécifiez quand vous la créez. Ce rôle IAM doit disposer des autorisations nécessaires pour s'authentifier, extraire des données et écrire des données dans vos magasins de données.
-
Créez une tâche ETL et configurez les propriétés de la source de données pour cette tâche. Fournissez les options de connexion et les informations d'authentification comme indiqué par le fournisseur de connecteur personnalisé. Pour de plus amples informations, veuillez consulter Création de tâches avec des connecteurs personnalisés.
-
Personnalisez votre tâche ETL en ajoutant des transformations ou des magasins de données supplémentaires, comme décrit dans Démarrage de tâches Visual ETL dans AWS Glue Studio.
-
Si vous utilisez un connecteur pour la cible de données, configurez les propriétés de la cible de données pour votre tâche ETL. Fournissez les options de connexion et les informations d'authentification comme indiqué par le fournisseur de connecteur personnalisé. Pour de plus amples informations, veuillez consulter Création de tâches avec des connecteurs personnalisés.
-
Personnalisez l'environnement d'exécution de la tâche en configurant ses propriétés, comme décrit dans Modifier les propriétés de tâche.
-
Exécutez la tâche.
Connexions unifiées
Avec les connexions unifiées, vous pouvez configurer une connexion de données une seule fois et elle peut être réutilisée par divers services pour des cas d'utilisation dans les domaines de l'intégration des données, de l'analyse des données et de la science des données. Vous pouvez créer des connexions de données via la AWS Glue console ou des applications personnalisées à l'aide d'une connectivité APIs de données unifiée. Avec les connexions unifiées, vous pouvez configurer une connexion à une source de données à l'aide d'un modèle de configuration de connexion standardisé pour plusieurs services. Ces services (AWS Glue Amazon SageMaker AI Unified Studio et Amazon Athena) peuvent partager et réutiliser la même connexion avec une configuration d'autorisation appropriée.
AWS Glue Studio crée désormais des connexions unifiées par défaut. Dans la AWS Glue console, vous pouvez voir la version de la connexion dans le tableau des connexions sur la page des connexions, sur la page de détail des connexions, et le tableau des connexions sur la page des détails de la tâche.
La version de connexion est visible dans Détails de la connexion :
La version de connexion est également visible lorsque vous consultez toutes vos connexions.
Enfin, la version de connexion est visible dans l'onglet Détails du job pour un job.
Avec les connexions de version 2, vous disposez des fonctionnalités de connectivité de données étendues suivantes :
-
Découverte du type de connexion : Support pour la création de connexions à l'aide de modèles standardisés. AWS Glue découvre automatiquement les types de connexion auxquels vous avez accès ainsi que les entrées requises et facultatives pour un type de connexion donné.
-
Réutilisabilité : définitions de connexion réutilisables sur tous les moteurs et outils de traitement des AWS données tels que AWS Glue Amazon Athena, et Amazon SageMaker AI. Les connexions contiennent désormais AthenaProperties SparkProperties, PythonProperties qui permettent de spécifier des propriétés de connexion spécifiques à l'environnement/au service de calcul en plus des propriétés communes stockées dans. ConnectionProperties Athéna crée désormais des connexions en AWS Glue spécifiant des propriétés spécifiques à Athéna dans le plan des propriétés. AthenaProperties
-
Aperçu des données : possibilité de parcourir les métadonnées et de prévisualiser les données provenant de sources connectées.
-
Métadonnées du connecteur : des connexions réutilisables peuvent être utilisées pour découvrir les métadonnées des tables.
-
Secrets liés au service : les utilisateurs peuvent fournir les informations d'authentification nécessaires OAuth, de base ou personnalisées dans la
CreateConnectiondemande. L' CreateConnection API crée un secret lié au service dans votre compte et stocke les informations d'identification en votre nom.
Types d'authentification pris en charge
Les connexions unifiées prennent en charge les types d'authentification suivants :
-
BASIC — La plupart des types de connexion à la base de données et les types de AWS Glue connexion existants prennent en charge l'authentification de base, qui consiste en un nom d'utilisateur et un mot de passe. Auparavant, le nom des clés SecretsManager était spécifique au connecteur et, par exemple, pouvait être user, username, UserName, opensearch.net.http.auth.user, etc. C'est là que les connexions unifiées ont normalisé les types de connexion d'authentification de base sur les clés USERNAME et PASSWORD.
-
OAUTH2— La majorité des nouveaux types de connexion SaaS prennent en charge OAuth2 le protocole.
-
PERSONNALISÉ — Certains types de connexion disposent d'un autre mécanisme d'authentification, tel que Google, BigQuery où les utilisateurs sont tenus de fournir le JSON qu'ils obtiennent de Google BigQuery.
Considérations
Lorsque vous créez une connexion unifiée pour les sources de données, tenez compte des différences suivantes :
-
Lors de la création d'une connexion unifiée via AWS Glue Studio, les informations d'identification de l'utilisateur sont stockées au AWS Secrets Manager lieu de la connexion elle-même. Cela signifie que les jobs doivent désormais accéder à Secrets Manager.
-
Si les tâches sont exécutées dans un VPC, elles nécessitent soit un point de terminaison VPC, soit une passerelle NAT pour y accéder, AWS Secrets Manager ainsi que le Secure Token Service (STS), ce qui entraîne des coûts supplémentaires.
-
Pour certaines sources de données (Redshift, SQL Server, MySQL, Oracle, PostgreSQL), la création d'une connexion unifiée via nécessite l'accès à et. AWS Glue Studio AWS STS AWS Secrets Manager Cela est nécessaire pour établir une connexion sécurisée et récupérer les informations d'identification requises pour accéder à ces sources de données au sein de votre Virtual Private Cloud (VPC).
-
La création d'une connexion unifiée via AWS Glue Studio nécessite un rôle IAM autorisé à accéder aux ressources VPC AWS Secrets Manager et à les gérer (si vous utilisez un VPC) :
responsable des secrets : GetSecretValue
responsable des secrets : PutSecretValue
responsable des secrets : DescribeSecret
EC2 : CreateNetworkInterface
EC2 : DeleteNetworkInterface
EC2 : DescribeNetworkInterfaces
