Propiedades de la tabla - Managed Service para Apache Flink
Defina los valores de tiempo de Apache FlinkUtilice las propiedades del conector y el formato de Flink

Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Propiedades de la tabla

Además de los campos de datos, AWS Glue las tablas proporcionan otra información a la libreta de Studio mediante las propiedades de las tablas. El servicio gestionado para Apache Flink utiliza las siguientes propiedades de AWS Glue tabla:

Para añadir una propiedad a una AWS Glue tabla, haga lo siguiente:

  1. Inicie sesión en AWS Management Console y abra la AWS Glue consola en https://console.aws.amazon.com/glue/.

  2. En la lista de tablas, elija aquella que la aplicación utiliza para almacenar la información de conexión de datos. Seleccione Acción y edite los detalles de la tabla.

  3. En Propiedades de la tabla, introduzca managed-flink.proctime para la clave y user_action_time para el valor.

Defina los valores de tiempo de Apache Flink

Apache Flink proporciona valores de tiempo que describen cuándo se produjeron los eventos de procesamiento de la transmisión, como el Tiempo de procesamiento y el Tiempo del evento. Para incluir estos valores en el resultado de la aplicación, defina propiedades en la AWS Glue tabla que indiquen al servicio gestionado para el entorno de ejecución de Apache Flink que emita estos valores en los campos especificados.

Las claves y los valores que utiliza en las propiedades de la tabla son los siguientes:

Tipo de timestamp Clave Valor
Tiempo de procesamiento managed-flink.proctime El nombre de la columna que se utilizará para exponer el AWS Glue valor. El nombre de esta columna no corresponde a una columna de tabla existente.
Hora del evento managed-flink.rowtime El nombre de la columna que se utilizará para exponer el AWS Glue valor. El nombre de esta columna corresponde a una columna de la tabla existente.

managed-flink.watermark.column_name.milisegundos

 El intervalo de la marca de agua en milisegundos

Utilice las propiedades de formato y conector de Flink

La información sobre las fuentes de datos se proporciona a los conectores Flink de la aplicación mediante las propiedades de tabla AWS Glue . A continuación se muestran algunos ejemplos de las propiedades que Managed Service para Apache Flink utiliza para los conectores:

Tipo de conector Clave Valor
Kafka format El formato utilizado para deserializar y serializar los mensajes de Kafka, por ejemplo, o json csv
scan.startup.mode El modo de inicio para el consumidor de Kafka, por ejemplo, o. earliest-offset timestamp
Kinesis format El formato utilizado para deserializar y serializar los registros de transmisión de datos de Kinesis, por ejemplo, o. json csv
aws.region La AWS región en la que se define la transmisión.
S3 (sistema de archivos) format El formato utilizado para deserializar y serializar archivos, por ejemplo, o. json csv
path La ruta Amazon S3, s3://mybucket/ p. ej.

Para obtener más información sobre otros conectores además de Kinesis y Apache Kafka, consulte la documentación del conector.