コネクタと依存関係を使用する - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

コネクタと依存関係を使用する

コネクタを使用すると、さまざまなテクノロジーにわたってデータの読み書きが可能になります。Apache Flink 用 Managed Service では、Studio ノートブックに 3 つのデフォルトコネクタがバンドルされています。カスタムコネクタを使用することもできます。コネクタの詳細については、Apache Flink ドキュメントの「テーブルとSQLコネクタ」を参照してください。

デフォルトコネクター

を使用して Studio ノートブック AWS Management Console を作成する場合、Apache Flink 用 Managed Service には、デフォルトで flink-sql-connector-kinesisflink-connector-kafka_2.12、 のカスタムコネクタが含まれていますaws-msk-iam-auth。これらのカスタムコネクタを使用せずにコンソールから Studio ノートブックを作成するには、[カスタム設定で作成] オプションを選択します。次に、[Configurations] ページに移動し、2つのコネクターの横にあるチェックボックスをオフにします。

を使用して Studio ノートブックCreateApplicationAPIを作成する場合、 flink-sql-connector-flinkおよび flink-connector-kafka コネクタはデフォルトでは含まれません。これらを追加するには、以下の例のように CustomArtifactsConfiguration データタイプに MavenReference を指定します。

aws-msk-iam-auth コネクタは、 で自動的に認証MSKする機能を含む Amazon で使用するコネクタですIAM。

注記

以下の例に示されているコネクタバージョンは、当社がサポートしている唯一のバージョンです。

For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis", "Version": "1.15.4" } }] For authenticating with AWS MSK through AWS IAM: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.6" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka", "Version": "1.15.4" } }]

これらのコネクタを既存のノートブックに追加するには、 UpdateApplicationAPIオペレーションを使用してCustomArtifactsConfigurationUpdate、データ型MavenReferenceに として指定します。

注記

テーブル のflink-sql-connector-kinesisコネクタ に対して true failOnErrorに設定できますAPI。

依存関係とカスタムコネクタを追加する

を使用して Studio ノートブック AWS Management Console に依存関係またはカスタムコネクタを追加するには、次の手順に従います。

  1. カスタムコネクタのファイルを Amazon S3 にアップロードします。

  2. で AWS Management Console、Studio ノートブックを作成するためのカスタム作成オプションを選択します。

  3. Studio ノートブック作成ワークフローに従って 設定 ステップまで進みます。

  4. [カスタムコネクタ] セクションで [カスタムコネクタを追加] を選択します。

  5. 依存関係またはカスタムコネクタの Amazon S3 のロケーションを指定します。

  6. [Save changes] (変更の保存) をクリックします。

を使用して新しい Studio ノートブックを作成するときに依存関係JARまたはカスタムコネクタを追加するにはCreateApplicationAPI、依存関係の Amazon S3 の場所JARまたはカスタムコネクタを CustomArtifactsConfiguration データ型に指定します。依存関係またはカスタムコネクタを既存の Studio ノートブックに追加するには、 UpdateApplicationAPIオペレーションを呼び出し、依存関係の Amazon S3 の場所JARまたはカスタムコネクタを CustomArtifactsConfigurationUpdate データ型に指定します。

注記

依存関係またはカスタムコネクタを含める場合は、その中にバンドルされていない推移的な依存関係もすべて含める必要があります。