テーブルプロパティ - Managed Service for Apache Flink
Apache Flink の時間値を定義するFlink コネクタとフォーマットプロパティを使用する

Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

テーブルプロパティ

データフィールドに加えて、 AWS Glue テーブルはテーブルプロパティを使用して Studio ノートブックに他の情報を提供します。Managed Service for Apache Flink では、次の AWS Glue テーブルプロパティを使用します。

AWS Glue テーブルにプロパティを追加するには、次の手順を実行します。

  1. にサインイン AWS Management Console し、 で AWS Glue コンソールを開きますhttps://console.aws.amazon.com/glue/。

  2. テーブルのリストから、アプリケーションがデータ接続情報を保存するために使用するテーブルを選択します。[Action]、[テーブル詳細の編集] を選択します。

  3. [テーブルプロパティ] で、[キー] に managed-flink.proctime、[値] に user_action_time を入力します。

Apache Flink の時間値を定義する

Apache Flink は、「Processing Time」や「Event Time」など、ストリーム処理イベントの発生時刻を記述する時間値を提供します。これらの値をアプリケーション出力に含めるには、Managed Service for Apache Flink ランタイムにこれらの値を指定されたフィールドに出力するように指示するプロパティを AWS Glue テーブルに定義します。

テーブルプロパティで使用するキーと値は次のとおりです。

Timestamp タイプ キー 値
処理時間 マネージド flink.proctime AWS Glue が値を公開するために使用する列名。この列名は既存のテーブル列に対応していません。
イベント時刻 Managed-flink.rowtime AWS Glue が値を公開するために使用する列名。この列名は既存のテーブル列に対応します。

managed-flink. watermark。column_name.ミリ秒

 ミリ秒単位の透かし間隔

Flink コネクタとフォーマットプロパティを使用する

AWS Glue テーブルプロパティを使用して、データソースに関する情報をアプリケーションの Flink コネクタに提供します。Apache Flink 用 Managed Service がコネクタに使用するプロパティの例は、次のとおりです。

Connector Type キー 値
Kafka format Kafka メッセージの逆シリアル化とシリアル化に使用される形式。例: jsonまたは csv。
scan.startup.mode Kafka コンシューマーのスタートアップモード。例: earliest-offsetまたは timestamp。
Kinesis format Kinesis データストリームレコードの逆シリアル化とシリアル化に使用される形式。例: jsonまたは csv。
aws.region ストリームが定義されている AWS リージョン。
S3 (ファイルシステム） format ファイルの逆シリアル化とシリアル化に使用される形式。例: jsonまたは csv。
path Amazon S3 パス。例: s3://mybucket/。

Kinesis と Apache Kafka 以外のコネクタの詳細情報については、コネクタのマニュアルを参照してください。