Erstellen von benutzerdefinierten Connectors

Datentypmapping – Ihr Connector kann den Typ von Spalten umwandeln, während sie aus dem zugrunde liegenden Datenspeicher gelesen werden. Beispiel: Ein dataTypeMapping von {"INTEGER":"STRING"} konvertiert alle Spalten des Typs Integer in Spalten vom Typ String, während die Datensätze analysiert und der DynamicFrame konstruiert werden. Dies hilft Benutzern, Spalten in Typen ihrer Wahl umzuwandeln.

DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type 
= "custom.jdbc", connection_options = {"dataTypeMapping":{"INTEGER":"STRING"}", 
connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")

Partitionierung für parallele Lesevorgänge – AWS Glueermöglicht parallele Datenlesevorgänge aus dem Datenspeicher, indem die Daten in einer Spalte partitioniert werden. Sie müssen die Partitionsspalte, die untere Partitionsgrenze, die obere Partitionsgrenze und die Anzahl der Partitionen angeben. Mit diesem Feature können Sie Datenparallelität und mehrere Spark Executors verwenden, die der Spark-Anwendung zugewiesen sind.

DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type 
= "custom.jdbc", connection_options = {"upperBound":"200","numPartitions":"4",
"partitionColumn":"id","lowerBound":"0","connectionName":"test-connection-jdbc"},
transformation_ctx = "DataSource0")

AWS Secrets Manager Zum Speichern von Anmeldeinformationen verwenden — Die Datenkatalogverbindung kann auch eine secretId für ein geheimes Geheimnis enthalten, das in gespeichert ist. AWS Secrets Manager In dem AWS Secret können Authentifizierungs- und Anmeldeinformationen sicher gespeichert und zur AWS Glue Laufzeit bereitgestellt werden. Alternativ können Sie auch die secretId wie folgt aus dem Spark-Skript angeben:

DataSource = glueContext.create_dynamic_frame.from_options(connection_type 
= "custom.jdbc", connection_options = {"connectionName":"test-connection-jdbc",
 "secretId"-> "my-secret-id"}, transformation_ctx = "DataSource0")

Filtern der Quelldaten mit Zeilenprädikaten und Spaltenprojektionen — Die AWS Glue Spark-Laufzeit ermöglicht es Benutzern auch, SQL Abfragen nach unten zu verschieben, um Daten an der Quelle mit Zeilenprädikaten und Spaltenprojektionen zu filtern. Auf diese Weise kann Ihr ETL Job gefilterte Daten schneller aus Datenspeichern laden, die Push-Downs unterstützen. Eine SQL Beispielabfrage, die an eine JDBC Datenquelle weitergeleitet wird, ist: SELECT id, name, department FROM department WHERE id < 200.

DataSource = glueContext.create_dynamic_frame.from_options(connection_type = 
"custom.jdbc", connection_options = {"query":"SELECT id, name, department FROM department 
WHERE id < 200","connectionName":"test-connection-jdbc"}, transformation_ctx = 
"DataSource0")

Job-Lesezeichen — AWS Glue unterstützt das inkrementelle Laden von Daten aus JDBC Quellen. AWS Glueverfolgt den zuletzt verarbeiteten Datensatz aus dem Datenspeicher und verarbeitet neue Datensätze in den nachfolgenden ETL Jobausführungen. Auftragslesezeichen verwenden den Primärschlüssel als Standardspalte für den Lesezeichenschlüssel, vorausgesetzt, diese Spalte wird sequenziell vergrößert oder verringert. Weitere Informationen zu Auftragslesezeichen finden Sie unter Auftragslesezeichen im AWS Glue -Entwicklerhandbuch.

DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type = 
"custom.jdbc", connection_options = {"jobBookmarkKeys":["empno"], "jobBookmarkKeysSortOrder"
:"asc", "connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")

Der Pfad zum Speicherort der benutzerdefinierten JAR Codedatei in Amazon S3.

Einen Namen für den Connector, der von AWS Glue Studio verwendet wird.

Ihr Steckertyp, der einer von JDBC, Spark oder Athena sein kann.

Den Namen des Einstiegspunkts in Ihrem benutzerdefinierten Code, den AWS Glue Studio zur Verwendung des Connectors aufruft.

(JDBCnur) Die Basis, die von der JDBC Verbindung für den Datenspeicher URL verwendet wird.

(Optional) Eine Beschreibung des benutzerdefinierten Connectors.