資料表屬性 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

資料表屬性

除了資料欄位之外,您的資料 AWS Glue 表還會使用表格屬性為您的 Studio 筆記本提供其他資訊。適用於 Apache Flink 的受管理服務會使用下列 AWS Glue 表格屬性:

若要將屬性新增至 AWS Glue 表格,請執行下列操作:

  1. 登入 AWS Management Console 並開啟 AWS Glue 主控台,位於https://console.aws.amazon.com/glue/

  2. 從資料表清單中,選擇應用程式用於儲存其資料連線資訊的資料表。依序選擇動作編輯資料表詳細資訊

  3. 資料表屬性下,為索引鍵輸入 managed-flink.proctime,為輸入 user_action_time

定義阿帕奇 Flink 時間值

Apache Flink 提供描述何時發生串流處理事件的時間值,例如處理時間事件時間。若要在應用程式輸出中包含這些值,請在 AWS Glue 資料表上定義屬性,以告知 Apache Flink 執行階段的受管理服務將這些值發送到指定的欄位中。

您在資料表屬性中使用的索引鍵和值如下所示:

Timestamp 類型 金鑰
處理時間 管理 FLINK AWS Glue 將用於暴露值的列名稱。此欄名稱不對應於現有的資料表資料行。
活動時間 管理弗林克. 行時間 AWS Glue 將用於暴露值的列名稱。此欄名稱對應於現有的表格欄。

管理 FLINK. 水印。column_name. 毫秒

浮水印間隔 (毫秒)

使用 Flink 連接器和格式內容

您可以使用 AWS Glue 資料表屬性向應用程式的 Flink 連接器提供資料來源的相關資訊。Managed Service for Apache Flink 用於連接器的一些屬性範例如下:

連接器類型 金鑰
卡夫卡 format 用於反序列化和序列化卡夫卡消息的格式,例如或。json csv
scan.startup.mode 卡夫卡消費者的啟動模式,例如或 earliest-offset timestamp
Kinesis format 用來反序列化和序列化 Kinesis 資料串流記錄的格式,例如或。json csv
aws.region 定義串流的 AWS 區域。
S3(文件系統) 格式 用於反序列化和序列化文件的格式,例如或。json csv
path Amazon S3 路徑,例如s3://mybucket/

如需 Kinesis 和 Apache Kafka 以外的其他連接器的相關資訊,請參閱連接器的文件。