Tabelleneigenschaften - Managed Service für Apache Flink
Definieren Sie Apache Flink-ZeitwerteVerwenden Sie die Flink-Konnektor- und Formateigenschaften

Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Tabelleneigenschaften

Zusätzlich zu den Datenfeldern stellen Ihre AWS Glue Tabellen mithilfe von Tabelleneigenschaften weitere Informationen für Ihr Studio-Notizbuch bereit. Managed Service für Apache Flink verwendet die folgenden AWS Glue Tabelleneigenschaften:

Gehen Sie wie folgt vor, um einer AWS Glue Tabelle eine Eigenschaft hinzuzufügen:

  1. Melden Sie sich bei der an AWS Management Console und öffnen Sie die AWS Glue Konsole unter https://console.aws.amazon.com/glue/.

  2. Wählen Sie aus der Tabellenliste die Tabelle aus, die Ihre Anwendung zum Speichern von Datenverbindungsinformationen verwendet. Wählen Sie Aktion, Tabellendetails bearbeiten aus.

  3. Geben Sie unter Tabelleneigenschaften den Wert managed-flink.proctime für Schlüssel und user_action_time für Wert ein.

Definieren Sie Apache Flink-Zeitwerte

Apache Flink stellt Zeitwerte bereit, die beschreiben, wann Ereignisse bei der Stream-Verarbeitung aufgetreten sind, z. B. Verarbeitungszeit und Ereigniszeit. Um diese Werte in Ihre Anwendungsausgabe aufzunehmen, definieren Sie Eigenschaften in Ihrer AWS Glue Tabelle, die die Laufzeit von Managed Service for Apache Flink anweisen, diese Werte in die angegebenen Felder auszugeben.

Die Schlüssel und Werte, die Sie in Ihren Tabelleneigenschaften verwenden, lauten wie folgt:

Zeitstempeltyp Schlüssel Wert
Dauer der Verarbeitung managed-flink.proctime Der Spaltenname, der verwendet AWS Glue wird, um den Wert verfügbar zu machen. Dieser Spaltenname entspricht keiner vorhandenen Tabellenspalte.
Zeit des Ereignisses managed-flink.rowtime Der Spaltenname, der verwendet AWS Glue wird, um den Wert verfügbar zu machen. Dieser Spaltenname entspricht einer vorhandenen Tabellenspalte.

managed-flink.watermark.column_name. Millisekunden

 Das Wasserzeichenintervall in Millisekunden

Verwenden Sie den Flink-Anschluss und die Formateigenschaften

Mithilfe von AWS Glue -Tabelleneigenschaften stellen Sie den Flink-Konnektoren Ihrer Anwendung Informationen über Ihre Datenquellen zur Verfügung. Im Folgenden einige Beispiele für die Eigenschaften, die Managed Service für Apache Flink für Konnektoren verwendet:

Konnektortyp Schlüssel Wert
Kafka format Das Format, das zur Deserialisierung und Serialisierung von Kafka-Nachrichten verwendet wird, z. B. oder. json csv
scan.startup.mode Der Startmodus für den Kafka-Verbraucher, z. B. oder. earliest-offset timestamp
Kinesis format Das Format, das zum Deserialisieren und Serialisieren von Kinesis-Datenstream-Datensätzen verwendet wird, z. B. oder. json csv
aws.region Die AWS Region, in der der Stream definiert ist.
S3 (Dateisystem) Format Das Format, das zum Deserialisieren und Serialisieren von Dateien verwendet wird, z. B. oder. json csv
path Der Amazon S3 S3-Pfad, z. s3://mybucket/ B.

Weitere Informationen zu anderen Konnektoren neben Kinesis und Apache Kafka finden Sie in der Dokumentation Ihres Konnektors.