テーブルプロパティ - Managed Service for Apache Flink
Apache Flink 時間値を定義するFlink コネクタと形式のプロパティを使用する

Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

テーブルプロパティ

データフィールドに加えて、 AWS Glue テーブルはテーブルプロパティを使用して Studio ノートブックにその他の情報を提供します。Managed Service for Apache Flink では、次の AWS Glue テーブルプロパティを使用します。

AWS Glue テーブルにプロパティを追加するには、以下を実行します。

  1. にサインイン AWS Management Console し、 で AWS Glue コンソールを開きますhttps://console.aws.amazon.com/glue/。

  2. テーブルのリストから、アプリケーションがデータ接続情報を保存するために使用するテーブルを選択します。[Action]、[テーブル詳細の編集] を選択します。

  3. [テーブルプロパティ] で、[キー] に managed-flink.proctime、[値] に user_action_time を入力します。

Apache Flink 時間値を定義する

Apache Flink は、「Processing Time」や「Event Time」など、ストリーム処理イベントの発生時刻を記述する時間値を提供します。これらの値をアプリケーション出力に含めるには、Managed Service for Apache Flink ランタイムにこれらの値を指定されたフィールドに出力するように指示するプロパティを AWS Glue テーブルに定義します。

テーブルプロパティで使用するキーと値は次のとおりです。

Timestamp タイプ キー 値
処理時間 managed-flink.proctime 値が公開されるの AWS Glue に使用する列名。この列名は、既存のテーブル列に対応していません。
イベント時刻 managed-flink.rowtime 値が公開されるの AWS Glue に使用する列名。この列名は、既存のテーブル列に対応します。

managed-flink.watermark。column_name.ミリ秒

 ウォーターマーク間隔のミリ秒単位

Flink コネクタと形式のプロパティを使用する

AWS Glue テーブルプロパティを使用して、データソースに関する情報をアプリケーションの Flink コネクタに提供します。Apache Flink 用 Managed Service がコネクタに使用するプロパティの例は、次のとおりです。

Connector Type キー 値
Kafka format Kafka メッセージのシリアル化とシリアル化に使用される形式。例: jsonまたは csv。
scan.startup.mode Kafka コンシューマーの起動モード。例: earliest-offsetまたは timestamp。
Kinesis format Kinesis データストリームレコードの逆シリアル化とシリアル化に使用される形式。例: jsonまたは csv。
aws.region ストリームが定義されている AWS リージョン。
S3 (ファイルシステム） format json または など、ファイルのシリアル化とシリアル化に使用される形式。 csv
path Amazon S3 パス。例: s3://mybucket/

Kinesis と Apache Kafka 以外のコネクタの詳細情報については、コネクタのマニュアルを参照してください。