Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Sviluppo di connettori personalizzati
Puoi scrivere il codice che legge o scrive dati nel tuo data store e formatta i dati per utilizzarli con AWS Glue Studio lavori. Puoi creare connettori per datastore Spark, Athena e JDBC. Il codice di esempio pubblicato su GitHub fornisce una panoramica delle interfacce di base da implementare.
Per creare il codice del connettore è necessario un ambiente di sviluppo locale. Puoi usare qualsiasi IDE o anche solo un editor della riga di comando per scrivere il connettore. Esempi di ambienti di sviluppo includono:
-
Un ambiente Scala locale con un locale AWS Glue Libreria ETL Maven, come descritta in Sviluppo locale con Scala nella Guida per gli AWS Glue sviluppatori.
-
IntelliJ IDE, scaricando l'IDE da. https://www.jetbrains.com/idea/
Argomenti
Sviluppo dei connettori Spark
Puoi creare un connettore Spark con Spark DataSource API V2 (Spark 2.4) per leggere i dati.
Per creare un connettore Spark personalizzato
Segui i passaggi indicati nel AWS Glue GitHub libreria di esempio per lo sviluppo di connettori Spark, che si trova in https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/README.md.
Sviluppo di connettori Athena
È possibile creare un connettore Athena da utilizzare da AWS Glue e AWS Glue Studio per interrogare un'origine dati personalizzata.
Per creare un connettore Athena personalizzato
Segui i passaggi indicati nel AWS Glue GitHub libreria di esempi per lo sviluppo di connettori Athena, che si trova in https://github.com/aws-samples/aws-glue-samples/. tree/master/GlueCustomConnectors/development/Athena
Sviluppo di connettori JDBC
Puoi creare un connettore che utilizza JDBC per accedere ai datastore.
Per creare un connettore JDBC personalizzato
-
Installa il AWS Glue Le librerie di runtime Spark nel tuo ambiente di sviluppo locale. Fate riferimento alle istruzioni contenute nel AWS Glue GitHub libreria di esempio in https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md.
-
Implementa il driver JDBC responsabile del recupero dei dati dall'origine dati. Fai riferimento alla documentazione Java
per Java SE 8. Crea un punto di ingresso all'interno del tuo codice che AWS Glue Studio utilizza per localizzare il connettore. Il campo Class name (Nome classe) dovrebbe essere il percorso completo del driver JDBC.
-
Usa l'API
GlueContextper leggere i dati con il connettore. Gli utenti possono aggiungere altre opzioni di input nel AWS Glue Studio console per configurare la connessione alla sorgente dati, se necessario. Per un esempio di codice che mostra come leggere e scrivere su un database JDBC con un connettore JDBC personalizzato, vedete Valori Custom e ConnectionType. Marketplace AWS
Esempi di utilizzo di connettori personalizzati con AWS Glue Studio
Fai riferimento ai seguenti blog per esempi di utilizzo di connettori personalizzati:
-
Sviluppo, test e implementazione di connettori personalizzati per i tuoi archivi dati con AWS Glue
-
Apache Hudi: scrittura su tabelle Apache Hudi utilizzando AWS Glue Connettore personalizzato
-
Google BigQuery: migrazione dei dati da Google BigQuery ad Amazon S3 utilizzando AWS Glue connettori personalizzati
-
Snowflake (JDBC): esecuzione di trasformazioni di dati utilizzando Snowflake e AWS Glue
-
SingleStore: Creazione di SingleStore ETL rapidi utilizzando e AWS Glue
Salesforce: inserisci i dati di Salesforce in Amazon S3 utilizzando il connettore personalizzato JDBC
con - CData AWS Glue -
MongoDB: Costruzione AWS Glue Lavori Spark ETL con Amazon DocumentDB (con compatibilità con MongoDB) e MongoDB
-
Amazon Relational Database Service (Amazon RDS): Edificio AWS Glue Crea posti di lavoro ETL introducendo i tuoi driver JDBC per Amazon RDS
Sviluppando AWS Glue connettori per Marketplace AWS
In qualità di AWS partner, puoi creare connettori personalizzati e Marketplace AWS caricarli su cui vendere AWS Glue clienti.
Il processo per lo sviluppo del codice del connettore è lo stesso dei connettori personalizzati, ma il processo di caricamento e verifica del codice del connettore è più dettagliato. Consulta le istruzioni contenute nella sezione Creazione di connettori Marketplace AWS
