Tutoriel : Utilisation du AWS Glue connecteur pour Elasticsearch

Connectez-vous à la console AWS Secrets Manager.

Sur la page de présentation du service ou la page de la liste Secrets, sélectionnez Store a new secret (Stocker un nouveau secret).

Sur la page Store a new secret (Stocker un nouveau secret), sélectionnez Other type of secret (Autre type de secret). Cette option signifie que vous devez fournir la structure et les détails de votre secret.

Ajoutez une paire clé/valeur pour le nom d'utilisateur du OpenSearch cluster. Par exemple :

es.net.http.auth.user: username

Sélectionnez + Add row (+ Ajouter une ligne), puis saisissez une autre paire clé-valeur pour le mot de passe. Par exemple :

es.net.http.auth.pass: password

Choisissez Suivant.

Saisissez un nom de secret. Par exemple : my-es-secret. Vous pouvez ajouter une description si vous le souhaitez.

Enregistrez le nom secret, qui sera utilisé plus tard dans ce didacticiel, puis sélectionnez Next (Suivant).

Sélectionnez à nouveau Next (Suivant), puis Store (Stocker) pour créer le secret.

Si vous n'avez pas encore configuré votre AWS compte pour utiliser License Manager, procédez comme suit :

1. Ouvrez la AWS License Manager console à l'adresse https://console.aws.amazon.com/license-manager.

2. Sélectionnez Create customer managed license (Créer une licence gérée par le client).

3. Dans la fenêtre IAMdes autorisations (configuration unique), choisissez J'accorde AWS License Manager les autorisations requises, puis choisissez Accorder les autorisations.

   Si vous ne voyez pas cette fenêtre, cela signifie que vous avez déjà configuré les autorisations nécessaires.

Ouvrez la console AWS Glue Studio à l'adresse https://console.aws.amazon.com/gluestudio/.

Dans la AWS Glue Studio console, développez l'icône du menu ( ), puis choisissez Connectors dans le volet de navigation.

Sur la page Connectors (Connecteurs), sélectionnez Go to AWS Marketplace (Accéder à MKT).

Dans AWS Marketplace la section Rechercher des AWS Glue Studio produits, saisissez AWS Glue Connector for Elasticsearch dans le champ de recherche, puis appuyez sur Entrée.

Sélectionnez le nom du connecteur, Connecteur AWS Glue pour Elasticsearch.

Sur la page produit du connecteur, utilisez les onglets pour afficher des informations sur le connecteur. Lorsque vous êtes prêt à continuer, sélectionnez Continue to Subscribe (Continuer pour s'abonner).

Lisez les conditions d'utilisation du logiciel. Cliquez sur Accept Terms (Accepter les conditions d'utilisation).

Une fois le processus d'abonnement terminé, la notification suivante apparaît : « Merci de vous être abonné à ce produit ! Vous pouvez à présent configurer votre logiciel. » Au-dessus de la bannière se trouve le bouton Continue to Configuration (Continuer à configurer). Choisissez Continue to Configuration (Continuer vers Configuration).

Choisissez l'option remplissage sur la page Configure this software (Configurer ce logiciel). Vous pouvez choisir entre AWS Glue 1.0/2.0 ou AWS Glue 3.0. Puis sélectionnez Continue to Launch (Continuer pour lancer).

Sur la page Lancer ce logiciel dans la AWS Marketplace console, choisissez Instructions d'utilisation, puis cliquez sur le lien dans la fenêtre qui apparaît.

Votre navigateur est redirigé vers la page de connexion de la AWS Glue Studio console Créer une place de marché.

Saisissez un nom pour la connexion. Par exemple : my-es-connection.

Dans la section Connection access (Accès à la connexion), pour Connection credential type (Type d'informations d'identification de connexion), sélectionnez User name and password (Nom d'utilisateur et mot de passe).

Pour Secret AWS , saisissez le nom de votre secret. Par exemple : my-es-secret.

Dans la section Options réseau, entrez les VPC informations pour vous connecter au OpenSearch cluster.

Sélectionnez Create connection and activate connector (Créer une connexion et activer le connecteur).

Configurez les autorisations décrites dans Vérifier IAM les autorisations nécessaires pour les ETL emplois.

Configurez les autorisations supplémentaires nécessaires lors de l'utilisation de connecteurs avec AWS Glue Studio, comme décrit dansAutorisations requises pour l'utilisation de connecteurs.

Dans AWS Glue Studio, choisissez Connectors.

Dans Your connections (Vos connexions), sélectionnez la connexion que vous venez de créer et sélectionnez Create job (Créer une tâche).

Dans l'éditeur de travail visuel, sélectionnez le nœud Data source (Source de données). Sur la droite, dans l'onglet Data source properties — Connector (Propriétés de la source de données — Connecteur), configurez des informations supplémentaires pour le connecteur.

1. Sélectionnez Add schema (Ajouter un schéma) et saisissez le schéma de l'ensemble de données dans la source de données. Les connexions n'utilisent pas les tables stockées dans le catalogue de données, ce qui signifie que celui-ci AWS Glue Studio ne connaît pas le schéma des données. Vous devez fournir manuellement ces informations de schéma. Pour obtenir des instructions sur l'utilisation de l'éditeur de schéma, veuillez consulter Modifier le schéma d'un nœud de transformation personnalisé.

2. Développez Connection options (Options de connexion).

3. Choisissez Ajouter une nouvelle option et entrez les informations requises pour le connecteur qui n'ont pas été saisies dans le AWS secret :

   • es.nodes : https ://< point de terminaison de OpenSearch domaine>

   • es.port : 443

   • chemin : test

   • es.nodes.wan.only. : true

   Pour en savoir plus sur ces options de connexion, reportez-vous à https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html.

Ajoutez un nœud cible au graphique.

Votre cible de données peut être Amazon S3, ou elle peut utiliser les informations d'un AWS Glue Data Catalog ou d'un connecteur pour écrire des données dans un emplacement différent. Par exemple, vous pouvez utiliser une table de catalogue de données pour écrire dans une base de données AmazonRDS, ou vous pouvez utiliser un connecteur comme cible de données pour écrire dans des magasins de données qui ne sont pas pris en charge de manière native dans AWS Glue.

Si vous sélectionnez un connecteur pour votre cible de données, vous devez choisir une connexion créée pour ce connecteur. En outre, si le fournisseur de connecteurs l'exige, vous devez ajouter des options pour fournir des informations supplémentaires au connecteur. Si vous utilisez une connexion contenant des informations relatives à un AWS secret, vous n'avez pas besoin de fournir le nom d'utilisateur et le mot de passe d'authentification dans les options de connexion.

Ajoutez éventuellement des sources de données supplémentaires et un ou plusieurs nœuds de transformation, comme décrit dans Transformez les données grâce AWS Glue à des transformations gérées.

Configurez les propriétés du travail comme décrit dans Modifier les propriétés de tâche, en commençant par l'étape 3, et enregistrez la tâche.

À l'aide de la AWS Glue Studio console, sur la page de l'éditeur visuel, choisissez Exécuter.

Dans la bannière de succès, sélectionnez Run Details (Détails de l'exécution), ou l'onglet Runs (Exécutions) de l'éditeur visuel pour afficher des informations sur l'exécution de la tâche.