Proprietà tabella - Servizio gestito per Apache Flink
Definire i valori temporali di Apache FlinkUsa il connettore Flink e le proprietà di formato

Il servizio gestito da Amazon per Apache Flink era precedentemente noto come Analisi dei dati Amazon Kinesis per Apache Flink.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Proprietà tabella

Oltre ai campi dati, le AWS Glue tabelle forniscono altre informazioni al notebook Studio utilizzando le proprietà delle tabelle. Managed Service for Apache Flink utilizza le seguenti proprietà della AWS Glue tabella:

Per aggiungere una proprietà a una AWS Glue tabella, procedi come segue:

  1. Accedi a AWS Management Console e apri la AWS Glue console all'indirizzo https://console.aws.amazon.com/glue/.

  2. Dall'elenco di tabelle, seleziona la tabella che l'applicazione utilizza per memorizzare le informazioni sulla connessione dati. Scegli Operazione > Modifica dettagli tabella.

  3. In Proprietà tabella, inserisci managed-flink.proctime per chiave e user_action_time per valore.

Definisci i valori temporali di Apache Flink

Apache Flink fornisce valori temporali che descrivono quando si sono verificati eventi di elaborazione del flusso, come Tempo di elaborazione e Ora evento. Per includere questi valori nell'output dell'applicazione, definisci le proprietà nella AWS Glue tabella che indicano al runtime di Managed Service for Apache Flink di emettere questi valori nei campi specificati.

Le chiavi e i valori utilizzati nelle proprietà della tabella sono i seguenti:

Tipo timestamp Chiave Valore
Tempo di elaborazione managed-flink.proctime Il nome della colonna che AWS Glue verrà utilizzato per esporre il valore. Questo nome di colonna non corrisponde a una colonna di tabella esistente.
Ora dell'evento managed-flink.rowtime Il nome della colonna che AWS Glue verrà utilizzato per esporre il valore. Questo nome di colonna corrisponde a una colonna di tabella esistente.

managed-flink.watermark.column_name.millisecondi

 L'intervallo della filigrana in millisecondi

Usa il connettore Flink e le proprietà di formato

Fornisci informazioni sulle origini dati ai connettori Flink dell'applicazione utilizzando le proprietà della tabella AWS Glue . Di seguito sono riportati alcuni esempi delle proprietà utilizzate per i connettori dal servizio gestito per Apache Flink:

Tipo di connettore Chiave Valore
Kafka format Il formato utilizzato per deserializzare e serializzare i messaggi di Kafka, ad esempio o. json csv
scan.startup.mode La modalità di avvio per il consumatore Kafka, ad esempio o. earliest-offset timestamp
Kinesis format Il formato utilizzato per deserializzare e serializzare i record del flusso di dati Kinesis, ad esempio o. json csv
aws.region La AWS regione in cui è definito lo stream.
S3 (Filesystem) format Il formato utilizzato per deserializzare e serializzare i file, ad esempio o. json csv
path Il percorso Amazon S3, ad es. s3://mybucket/

Per ulteriori informazioni su altri connettori oltre a Kinesis e Apache Kafka, consulta la documentazione relativa al tuo connettore.