Connessione ai dati - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connessione ai dati

Una AWS Glue connessione è un oggetto Data Catalog che memorizza credenziali di accesso, URI stringhe, informazioni sul cloud privato virtuale (VPC) e altro ancora per un particolare data store. AWS Glue i crawler, i job e gli endpoint di sviluppo utilizzano le connessioni per accedere a determinati tipi di archivi dati. È possibile utilizzare le connessioni sia per le sorgenti che per le destinazioni e riutilizzare la stessa connessione in più crawler o job di estrazione, trasformazione e caricamento (). ETL

L'ultima versione dello schema delle AWS Glue connessioni offre un modo unificato per gestire le connessioni dati tra AWS servizi e applicazioni AWS Glue Amazon Athena, come Unified Studio. Amazon SageMaker AI

Panoramica sull'utilizzo di connettori e connessioni

Una connessione contiene le proprietà necessarie per connettersi a un particolare datastore. Quando crei una connessione, questa viene archiviata in AWS Glue Data Catalog. Scegli un connettore e quindi crea una connessione basata su di esso.

Puoi sottoscrivere connettori per archivi dati non supportati in Marketplace AWS modo nativo e quindi utilizzarli durante la creazione di connessioni. Gli sviluppatori possono anche creare i propri connettori ed è possibile utilizzarli durante la creazione di connessioni.

Nota

Le connessioni create utilizzando Marketplace AWS connettori personalizzati o in AWS Glue Studio vengono visualizzate nella AWS Glue console con il tipo impostato su. UNKNOWN

I passaggi seguenti descrivono il processo generale di utilizzo dei connettori in AWS Glue Studio:

  1. Iscriviti a un connettore in Marketplace AWS oppure sviluppa il tuo connettore e caricalo su AWS Glue Studio. Per ulteriori informazioni, consulta Aggiunta di connettori a AWS Glue Studio.

  2. Esamina le informazioni sull'utilizzo del connettore. Puoi trovare queste informazioni nella scheda Usage (Utilizzo) nella pagina prodotto del connettore. Ad esempio, se fai clic sulla scheda Utilizzo in questa pagina di prodotto, AWS Glue Connector for Google BigQuery, puoi vedere nella sezione Risorse aggiuntive un link a un blog sull'utilizzo di questo connettore.

  3. Crea una connessione. Scegli il connettore da utilizzare e fornisci informazioni aggiuntive per la connessione, come credenziali di accesso, URI stringhe e informazioni sul cloud privato virtuale (VPC). Per ulteriori informazioni, consulta Creazione di connessioni per i connettori.

  4. Crea un IAM ruolo per il tuo lavoro. Il lavoro presuppone le autorizzazioni del IAM ruolo specificato al momento della creazione. Questo IAM ruolo deve disporre delle autorizzazioni necessarie per autenticarsi, estrarre dati e scrivere dati negli archivi dati.

  5. Crea un ETL lavoro e configura le proprietà dell'origine dati per il tuo ETL lavoro. Fornire le opzioni di connessione e le informazioni di autenticazione secondo le istruzioni fornite dal provider di connettori personalizzati. Per ulteriori informazioni, consulta Creazione di processi con connettori personalizzati.

  6. Personalizza il tuo ETL lavoro aggiungendo trasformazioni o archivi dati aggiuntivi, come descritto inAvvio di ETL lavori visivi in AWS Glue Studio.

  7. Se utilizzi un connettore per la destinazione dati, configura le proprietà della destinazione dati per il tuo ETL lavoro. Fornire le opzioni di connessione e le informazioni di autenticazione secondo le istruzioni fornite dal provider di connettori personalizzati. Per ulteriori informazioni, consulta Creazione di processi con connettori personalizzati.

  8. Personalizza l'ambiente di esecuzione configurando le proprietà del processo, come descritto in Modificare le proprietà del processo.

  9. Esegui il processo.

Connessioni unificate

Con le connessioni unificate, è possibile configurare una connessione dati una sola volta e può essere riutilizzata da vari servizi per casi d'uso nell'integrazione dei dati, nell'analisi dei dati e nella scienza dei dati. È possibile creare connessioni dati tramite la AWS Glue console o applicazioni personalizzate utilizzando la connettività dati unificata. APIs Con le connessioni unificate, puoi configurare una connessione a un'origine dati utilizzando un modello di configurazione della connessione standardizzato per più servizi. Questi servizi (AWS Glue, Amazon SageMaker AI Unified Studio e Amazon Athena) possono condividere e riutilizzare la stessa connessione con una corretta configurazione delle autorizzazioni.

AWS Glue Studio ora crea connessioni unificate per impostazione predefinita. Nella AWS Glue console, è possibile visualizzare la versione della connessione nella tabella delle connessioni nella pagina delle connessioni, nella pagina dei dettagli delle connessioni e nella tabella delle connessioni nella pagina dei dettagli del lavoro.

La versione della connessione è visibile nei dettagli della connessione:

La schermata mostra i dettagli delle connessioni sulla connessione v2.

La versione della connessione è visibile anche quando si visualizzano tutte le connessioni.

La schermata mostra i dettagli delle connessioni sulla connessione v2.

Infine, la versione di connessione è visibile nella scheda Dettagli del lavoro per un lavoro.

La schermata mostra i dettagli delle connessioni sulla connessione v2.

Con le connessioni della versione 2, sono disponibili le seguenti funzionalità estese di connettività dati:

  • Individuazione del tipo di connessione: Supporto per la creazione di connessioni utilizzando modelli standardizzati. AWS Glue rileva automaticamente i tipi di connessione accessibili dall'utente e gli ingressi richiesti e opzionali per un determinato tipo di connessione.

  • Riusabilità: definizioni di connessione riutilizzabili su motori e strumenti di elaborazione AWS dati come, e. AWS Glue Amazon Athena Amazon SageMaker AI Le connessioni ora contengono AthenaProperties, SparkProperties, PythonProperties che consentono di specificare proprietà di connessione specifiche dell'ambiente di calcolo/servizio oltre alle proprietà comuni memorizzate in. ConnectionProperties Athena ora crea connessioni AWS Glue specificando proprietà specifiche di Athena nella mappa delle proprietà. AthenaProperties

  • Anteprima dei dati: possibilità di sfogliare i metadati e visualizzare in anteprima i dati provenienti da fonti connesse.

  • Metadati dei connettori: è possibile utilizzare connessioni riutilizzabili per scoprire i metadati delle tabelle.

  • Segreti collegati al servizio: gli utenti possono fornire le credenziali di autenticazione necessarieOAuth, di base o personalizzate nella richiesta. CreateConnection CreateConnection APICrea un Service Linked Secret nel tuo account e memorizza le credenziali per tuo conto.