使用連接器和相依性 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用連接器和相依性

連接器可讓您跨越各種技術讀取和寫入資料。Managed Service for Apache Flink 會將三個預設連接器與您的 Studio 筆記本綁定。您也可以使用自訂連接器。如需有關連接器的詳細資訊,請參閱 Apache Flink 文件中的資料表和SQL連接器

預設連接器

如果您使用建立 Studio 筆記本,Apache Flink 的受管理服務預設會包含下列自訂連接器:flink-sql-connector-kinesisflink-connector-kafka_2.12aws-msk-iam-auth。 AWS Management Console 若要在沒有這些自訂連接器的情況下透過主控台建立 Studio 筆記本,請選擇使用自訂設定建立選項。然後,當您進入組態頁面時,清除兩個連接器旁邊的核取方塊。

如果您使用CreateApplicationAPI建立 Studio 筆記本,則預設不會包含flink-sql-connector-flinkflink-connector-kafka連接器。若要新增它們,請將它們指定為 CustomArtifactsConfiguration 資料類型的 MavenReference,如下列範例所示。

aws-msk-iam-auth連接器是與 Amazon 搭配使用的連接器MSK,其中包含用於自動驗證的功能IAM。

注意

下列範例中顯示的連接器版本是我們支援的唯一版本。

For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis", "Version": "1.15.4" } }] For authenticating with AWS MSK through AWS IAM: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.6" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka", "Version": "1.15.4" } }]

若要將這些連接器新增至現有的筆記本,請使用UpdateApplicationAPI作業並將其指定為CustomArtifactsConfigurationUpdate資料類型MavenReference中的。

注意

您可以針failOnError對表格中的flink-sql-connector-kinesis連接器設定為 true API。

新增相依性和自訂連接器

若要使用將相依性或自訂連接器新增至您的 Studio 筆記本,請依照下列步驟執行: AWS Management Console

  1. 將自訂連接器的檔案上傳到 Amazon S3。

  2. 在中 AWS Management Console,選擇用於建立 Studio 筆記本的自訂建立選項。

  3. 遵循 Studio 筆記本建立工作流程,直到進入組態步驟。

  4. 自訂連接器區段,選擇新增自訂連接器

  5. 指定相依性或自訂連接器的 Amazon S3 位置。

  6. 選擇 Save changes (儲存變更)。

若要在使用建立新的 Studio 筆記本時新增相依性JAR或自訂連接器 CreateApplicationAPI,請在CustomArtifactsConfiguration資料類型中指定相依性的 Amazon S3 位置JAR或自訂連接器。若要將相依性或自訂連接器新增至現有 Studio 筆記本,請呼叫UpdateApplicationAPI作業,並在CustomArtifactsConfigurationUpdate資料類型中指定相依性的 Amazon S3 位置JAR或自訂連接器。

注意

包含相依性或自訂連接器時,還必須包含其中未綁定的所有可轉移相依性。