Verwenden Sie Konnektoren und Abhängigkeiten - Managed Service für Apache Flink

Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie Konnektoren und Abhängigkeiten

Konnektoren ermöglichen es Ihnen, Daten über verschiedene Technologien hinweg zu lesen und zu schreiben. Managed Service für Apache Flink bündelt drei Standard-Konnektoren mit Ihrem Studio-Notebook. Sie können auch benutzerdefinierte Konnektoren verwenden. Weitere Informationen zu Konnektoren finden Sie unter Tabelle und SQL Konnektoren in der Apache Flink-Dokumentation.

Standardkonnektoren

Wenn Sie das verwenden, AWS Management Console um Ihr Studio-Notizbuch zu erstellen, enthält Managed Service for Apache Flink standardmäßig die folgenden benutzerdefinierten Konnektoren:flink-sql-connector-kinesis, undflink-connector-kafka_2.12. aws-msk-iam-auth Um über die Konsole ein Studio-Notebook ohne diese benutzerdefinierten Konnektoren zu erstellen, wählen Sie die Option Mit benutzerdefinierten Einstellungen erstellen. Wenn Sie dann zur Seite Konfigurationen gelangen, deaktivieren Sie die Kontrollkästchen neben den beiden Konnektoren.

Wenn Sie das verwenden CreateApplicationAPI, um Ihr Studio-Notizbuch zu erstellen, sind die flink-connector-kafka Konnektoren flink-sql-connector-flink und nicht standardmäßig enthalten. Um sie hinzuzufügen, geben Sie sie als eine MavenReference im CustomArtifactsConfiguration-Datentyp an, wie in den folgenden Beispielen gezeigt.

Der aws-msk-iam-auth Connector ist der Connector, der mit Amazon MSK verwendet werden soll und die Funktion zur automatischen Authentifizierung enthält. IAM

Anmerkung

Die im folgenden Beispiel gezeigten Konnektor-Versionen sind die einzigen Versionen, die wir unterstützen.

For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis", "Version": "1.15.4" } }] For authenticating with AWS MSK through AWS IAM: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.6" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka", "Version": "1.15.4" } }]

Um diese Konnektoren zu einem vorhandenen Notebook hinzuzufügen, verwenden Sie den UpdateApplicationAPIVorgang und geben Sie sie als CustomArtifactsConfigurationUpdate Datentyp MavenReference an.

Anmerkung

Sie können failOnError den flink-sql-connector-kinesis Connector in der Tabelle auf true setzenAPI.

Fügen Sie Abhängigkeiten und benutzerdefinierte Konnektoren hinzu

Gehen Sie folgendermaßen vor AWS Management Console , um Ihrem Studio-Notizbuch eine Abhängigkeit oder einen benutzerdefinierten Connector hinzuzufügen:

  1. Laden Sie die Datei Ihres benutzerdefinierten Konnektors in Amazon S3 hoch.

  2. Wählen Sie im die Option Benutzerdefiniert erstellen AWS Management Console, um Ihr Studio-Notizbuch zu erstellen.

  3. Folgen Sie dem Workflow zur Erstellung eines Studio-Notebooks, bis Sie zum Schritt Konfigurationen gelangen.

  4. Wählen Sie im Abschnitt Benutzerdefinierte Konnektoren die Option Benutzerdefinierten Konnektor hinzufügen aus.

  5. Geben Sie den Amazon-S3-Speicherort der Abhängigkeit oder des benutzerdefinierten Konnektors an.

  6. Wählen Sie Änderungen speichern.

Um beim Erstellen eines neuen Studio-Notebooks mit dem eine Abhängigkeit JAR oder einen benutzerdefinierten Connector hinzuzufügen CreateApplicationAPI, geben Sie den Amazon S3 S3-Speicherort der Abhängigkeit JAR oder des benutzerdefinierten Connectors im CustomArtifactsConfiguration Datentyp an. Um einem vorhandenen Studio-Notebook eine Abhängigkeit oder einen benutzerdefinierten Connector hinzuzufügen, rufen Sie den UpdateApplicationAPIVorgang auf und geben Sie den Amazon S3 S3-Speicherort der Abhängigkeit JAR oder des benutzerdefinierten Connectors im CustomArtifactsConfigurationUpdate Datentyp an.

Anmerkung

Wenn Sie eine Abhängigkeit oder einen benutzerdefinierten Konnektor einbeziehen, müssen Sie auch alle zugehörigen transitiven Abhängigkeiten einbeziehen, die nicht darin gebündelt sind.