Propriétés de tableau - Service géré pour Apache Flink
Définition des valeurs temporelles d'Apache FlinkUtiliser le connecteur Flink et les propriétés de format

Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Propriétés de tableau

Outre les champs de données, vos AWS Glue tables fournissent d'autres informations à votre bloc-notes Studio à l'aide des propriétés des tables. Le service géré pour Apache Flink utilise les propriétés de AWS Glue table suivantes :

Pour ajouter une propriété à une AWS Glue table, procédez comme suit :

  1. Connectez-vous à la AWS Glue console AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/glue/.

  2. Dans la liste des tables, choisissez la table que votre application utilise pour stocker ses informations de connexion de données. Choisissez Action, puis Modifier les détails de la table.

  3. Sous Propriétés de la table, saisissez managed-flink.proctime pour la clé et user_action_time pour la valeur.

Définition des valeurs temporelles d'Apache Flink

Apache Flink fournit des valeurs temporelles qui décrivent le moment où les événements de traitement des flux se sont produits, tels que le temps de traitement et l’heure de l’événement. Pour inclure ces valeurs dans la sortie de votre application, vous définissez des propriétés sur votre AWS Glue table qui indiquent au runtime Managed Service for Apache Flink d'émettre ces valeurs dans les champs spécifiés.

Les clés et les valeurs que vous utilisez dans les propriétés de votre table sont les suivantes :

Type d’horodatage Clé Valeur
Délai de traitement managed-flink.proctime Le nom de colonne qui AWS Glue sera utilisé pour exposer la valeur. Ce nom de colonne ne correspond pas à une colonne de table existante.
Heure de l'événement managed-flink.rowtime Le nom de colonne qui AWS Glue sera utilisé pour exposer la valeur. Ce nom de colonne correspond à une colonne de table existante.

managed-flink.watermark.column_name.millisecondes

 L'intervalle entre les filigranes en millisecondes

Utiliser le connecteur Flink et les propriétés de format

Vous fournissez des informations sur vos sources de données aux connecteurs Flink de votre application à l’aide des propriétés de table AWS Glue . Voici quelques exemples des propriétés que le service géré pour Apache Flink utilise pour les connecteurs :

Type de connecteur Clé Valeur
Kafka format Le format utilisé pour désérialiser et sérialiser les messages Kafka, par exemple ou. json csv
scan.startup.mode Le mode de démarrage pour le consommateur de Kafka, par exemple earliest-offset outimestamp.
Kinésis format Format utilisé pour désérialiser et sérialiser les enregistrements du flux de données Kinesis, par exemple ou. json csv
aws.region AWS Région dans laquelle le flux est défini.
S3 (système de fichiers) format Le format utilisé pour désérialiser et sérialiser les fichiers, par exemple ou. json csv
path Le chemin Amazon S3, par s3://mybucket/ ex.

Pour plus d’informations sur les autres connecteurs autres que Kinesis et Apache Kafka, consultez la documentation de votre connecteur.