Tutorial: utilizzo del AWS Glue connettore per Elasticsearch

Accedere alla console AWS Secrets Manager.

Nella pagina di introduzione del servizio o nella pagina dell'elenco Secrets (Segreti), scegli Store a new secret (Archivia un nuovo segreto).

Nella pagina Store a new secret (Archivia un nuovo segreto), scegli Other type of secret (Altro tipo di segreto). Questa opzione indica che devi fornire la struttura e i dettagli del tuo segreto.

Aggiungi una coppia chiave e valore per il nome utente del OpenSearch cluster. Per esempio:

es.net.http.auth.user: username

Scegli + Add row (+ Aggiungi riga) e inserisci un'altra coppia chiave-valore per la password. Per esempio:

es.net.http.auth.pass: password

Scegli Next (Successivo).

Immetti il nome di un segreto. Ad esempio: my-es-secret. Facoltativamente, puoi inserire una descrizione.

Registra il nome del segreto, che viene utilizzato più avanti in questo tutorial, quindi scegli Next (Successivo).

Scegli di nuovo Next (Successivo), quindi scegli Store (Archivia) per creare il segreto.

Se non hai già configurato il tuo AWS account per l'utilizzo di License Manager, procedi come segue:

1. Apri la AWS License Manager console in https://console.aws.amazon.com/license-manager.

2. Scegli Create customer managed license (Crea una licenza gestita dal cliente).

3. Nella finestra delle IAMautorizzazioni (configurazione unica), scegli Concedo le autorizzazioni richieste, quindi scegli Concedi AWS License Manager autorizzazioni.

   Se non vedi questa finestra, hai già configurato le autorizzazioni necessarie.

Apri la console AWS Glue Studio all'indirizzo https://console.aws.amazon.com/gluestudio/.

Nella AWS Glue Studio console, espandi l'icona del menu ( ), quindi scegli Connettori nel riquadro di navigazione.

Nella pagina Connectors (Connectors), scegli Go to Marketplace AWS (Vai su Marketplace AWS).

Nella sezione Cerca AWS Glue Studio prodotti Marketplace AWS, inserisci AWS Glue Connector for Elasticsearch nel campo di ricerca, quindi premi Invio.

Seleziona il nome del connettore, Connettore AWS Glue per Elasticsearch.

Nella pagina prodotto del connettore, utilizza le schede per visualizzare le relative informazioni. Quando vuoi continuare, scegli Continue to Subscribe (Continua con la sottoscrizione).

Rivedi i termini di utilizzo del software. Fai clic su Accetta termini.

Al termine del processo di sottoscrizione, verrà visualizzata una notifica: "Grazie per esserti registrato a questo prodotto! Adesso puoi configurare il software". Sopra il banner ci sarà il pulsante Passa alla configurazione. Scegli Continue to Configuration (Passa alla configurazione).

Scegli l'opzione Fulfillment (Compimento) sulla pagina Configure this software (Configura questo software). Puoi scegliere tra AWS Glue 1.0/2.0 o 3.0. AWS Glue Quindi, scegli Continue to Launch (Continua con l'avvio).

Nella pagina Avvia questo software nella Marketplace AWS console, scegli Istruzioni per l'uso, quindi scegli il link nella finestra che appare.

Il browser viene reindirizzato alla pagina Crea connessione al marketplace della AWS Glue Studio console.

Inserisci un nome per la connessione. Per esempio: my-es-connection.

Nella sezione Connection access (Accesso alla connessione), per Connection credential type (Tipo di credenziali di connessione), scegli User name and password (Nome utente e password).

Nel campo AWS secret (Segreto AWS ), inserisci il nome del tuo segreto. Ad esempio: my-es-secret.

Nella sezione Opzioni di rete, inserisci le VPC informazioni per connetterti al OpenSearch cluster.

Scegli Create connection and activate connector (Crea una connessione e attiva il connettore).

Configura le autorizzazioni descritte in Rivedi IAM le autorizzazioni necessarie per i lavori ETL.

Configura le autorizzazioni aggiuntive necessarie quando usi i connettori con AWS Glue Studio, come descritto inAutorizzazioni richieste per l'utilizzo dei connettori.

In AWS Glue Studio, scegli Connettori.

Nell'elenco Your connections (Le tue connessioni), seleziona la connessione appena creata e scegli Create job (Crea processo).

Nell'editor visivo dei processi, scegli il nodo di origine dati. A destra, nella scheda Data source properties - Connector (Proprietà origine dati - Connettore), configura ulteriori informazioni per il connettore.

1. Scegli Add Schema (Aggiungi schema) e inserisci lo schema del set di dati nell'origine dati. Le connessioni non utilizzano tabelle memorizzate nel Catalogo dati, il che AWS Glue Studio significa che non conosce lo schema dei dati. Devi fornire queste informazioni sullo schema manualmente. Per istruzioni su come utilizzare l'editor dello schema, consulta Modifica dello schema in un nodo di trasformazione personalizzato.

2. Espandi Connection options (Opzioni di connessione).

3. Scegli Aggiungi nuova opzione e inserisci le informazioni necessarie per il connettore che non sono state inserite nel AWS segreto:

   • es.nodes: https://< endpoint di OpenSearch dominio>

   • es.port: 443

   • path: test

   • es.nodes.wan.only: true

   Per una spiegazione di queste opzioni di connessione, fai riferimento a: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html.

Aggiungi un nodo di destinazione al grafico.

La destinazione dati può essere Amazon S3 oppure le informazioni provenienti da un AWS Glue Data Catalog o un connettore possono essere usate per scrivere dati in una posizione diversa. Ad esempio, puoi utilizzare una tabella Data Catalog per scrivere su un database in Amazon RDS oppure puoi usare un connettore come destinazione dei dati per scrivere su archivi di dati che non sono supportati nativamente in AWS Glue.

Se si sceglie un connettore per la destinazione dati, è necessario scegliere una connessione creata per tale connettore. Inoltre, se richiesto dal provider del connettore, è necessario aggiungere opzioni per fornire ulteriori informazioni al connettore. Se utilizzi una connessione che contiene informazioni relative a un AWS segreto, non è necessario fornire il nome utente e la password di autenticazione nelle opzioni di connessione.

Facoltativamente, aggiungi ulteriori origini dati e uno o più nodi di trasformazione come descritto in Trasforma i dati con trasformazioni AWS Glue gestite.

Configura le proprietà del processo come descritto in Modificare le proprietà del processo, iniziando dalla fase 3, e salva il lavoro.

Utilizzando la AWS Glue Studio console, nella pagina dell'editor visivo, scegli Esegui.

Nel banner che indica l'esito positivo, scegli Run Details (Dettagli esecuzione), oppure puoi scegliere la scheda Runs (Esecuzioni) dell'editor visivo per visualizzare le informazioni sull'esecuzione del processo.