Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Entwickeln von benutzerdefinierten Connectors
Sie können den Code schreiben, der Daten aus dem Datenspeicher liest oder in den Datenspeicher schreibt und für die Verwendung mit AWS Glue Studio-Aufträgen formatiert. Sie können Konnektoren für Spark, Athena und JDBC Datenspeicher erstellen. Der unter veröffentlichte Beispielcode GitHub bietet einen Überblick über die grundlegenden Schnittstellen, die Sie implementieren müssen.
Sie benötigen eine lokale Entwicklungsumgebung, um Ihren Connector-Code zu erstellen. Sie können einen beliebigen IDE oder auch nur einen Befehlszeileneditor verwenden, um Ihren Connector zu schreiben. Beispiele für Entwicklungsumgebungen:
-
Eine lokale Scala-Umgebung mit einer lokalen AWS Glue ETL Maven-Bibliothek, wie unter Lokal mit Scala entwickeln im Entwicklerhandbuch beschrieben.AWS Glue
-
IntelliJIDE, indem Sie das IDE Formular herunterladen. https://www.jetbrains.com/idea/
Themen
Entwickeln von Spark-Connectors
Sie können mit Spark DataSource API V2 (Spark 2.4) einen Spark-Konnektor zum Lesen von Daten erstellen.
Erstellen Sie einen benutzerdefinierten Spark-Connector wie folgt
Folgen Sie den Schritten in der AWS Glue GitHub Beispielbibliothek für die Entwicklung von Spark-Konnektoren, die sich unter https://github.com/aws-samples/aws-glue-samples/tree/master/ GlueCustomConnectors /development/Spark/
Entwickeln von Athena-Connectors
Sie können einen Athena-Connector erstellen, der von AWS Glue und AWS Glue Studio zur Abfrage einer benutzerdefinierten Datenquelle verwendet wird.
Erstellen Sie einen benutzerdefinierten Athena-Connector wie folgt
Folgen Sie den Schritten in der AWS Glue GitHub Beispielbibliothek für die Entwicklung von Athena-Konnektoren, die sich unter https://github.com/aws-samples/aws-glue-samples/tree/master/ GlueCustomConnectors /Development/Athena
Konnektoren entwickeln JDBC
Sie können einen Konnektor erstellen, der JDBC für den Zugriff auf Ihre Datenspeicher verwendet wird.
Um einen benutzerdefinierten JDBC Konnektor zu erstellen
-
Installieren Sie die AWS Glue-Spark-Laufzeitbibliotheken in Ihrer lokalen Entwicklungsumgebung. Weitere Informationen finden Sie in der AWS Glue GitHub Beispielbibliothek unter https://github.com/aws-samples/aws-glue-samples/tree/master/ /development//.md GlueCustomConnectors
. GlueSparkRuntime README -
Implementieren Sie den JDBC Treiber, der für das Abrufen der Daten aus der Datenquelle verantwortlich ist. Weitere Informationen finden Sie in der Java-Dokumentation
für Java SE 8. Erstellen Sie einen Einstiegspunkt in Ihrem Code, den AWS Glue Studio verwendet, um Ihren Connector zu finden. Das Feld Klassenname sollte den vollständigen Pfad Ihres JDBC Treibers enthalten.
-
Verwenden Sie den
GlueContextAPI, um Daten mit dem Konnektor zu lesen. Benutzer können weitere Eingabeoptionen in der AWS Glue Studio-Konsole hinzufügen, um gegebenenfalls die Verbindung zur Datenquelle zu konfigurieren. Ein Codebeispiel, das zeigt, wie aus einer JDBC Datenbank mit einem benutzerdefinierten JDBC Konnektor gelesen und in diese geschrieben wird, finden Sie unter Benutzerdefiniert und AWS Marketplace connectionType Werte.
Beispiele für die Verwendung von benutzerdefinierten Connectors mit AWS Glue Studio
Beispiele für die Verwendung von benutzerdefinierten Connectors finden Sie in den folgenden Blogs:
-
Apache Hudi: Schreiben in Apache Hudi-Tabellen mithilfe des benutzerdefinierten AWS Glue-Connectors
-
Google BigQuery: Migrieren von Daten von Google BigQuery zu Amazon S3 mithilfe AWS Glue benutzerdefinierter Konnektoren
-
Snowflake (JDBC): Durchführen von Datentransformationen
mit Snowflake und AWS Glue -
SingleStore: Schnelles Bauen mit und ETL SingleStore AWS Glue
Salesforce: Investieren Sie Salesforce-Daten mithilfe des CData JDBC benutzerdefinierten Connectors in Amazon S3 mit AWS Glue
- -
MongoDB: Erstellen von AWS Glue ETL Spark-Jobs mit Amazon DocumentDB (mit MongoDB-Kompatibilität) und MongoDB
-
Amazon Relational Database Service (AmazonRDS): AWS GlueETLSpark-Jobs erstellen, indem Sie Ihre eigenen JDBC Treiber für Amazon
mitbringen RDS -
Mein SQL (JDBC): https://github.com/aws-samples/aws-glue-samples/blob/master/ /Development/spark/.scala GlueCustomConnectors SparkConnectorMy SQL
AWS GlueEntwicklung von Konnektoren für AWS Marketplace
Als AWS Partner können Sie benutzerdefinierte Konnektoren erstellen und diese hochladen, AWS Marketplace um sie an AWS Glue Kunden zu verkaufen.
Der Prozess zum Entwickeln des Connector-Codes ist der gleiche wie für benutzerdefinierte Connectors, aber der Prozess zum Hochladen und Überprüfen des Connector-Codes ist umfassender. Weitere Informationen finden Sie in den Anweisungen unter Konnektoren erstellen für AWS Marketplace
