Propriedades da tabela - Managed Service for Apache Flink
Defina os valores de tempo do Apache FlinkUse o conector Flink e as propriedades de formato

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Propriedades da tabela

Além dos campos de dados, suas AWS Glue tabelas fornecem outras informações ao seu notebook Studio usando as propriedades da tabela. O Managed Service para Apache Flink usa as seguintes propriedades de AWS Glue tabela:

Para adicionar uma propriedade a uma AWS Glue tabela, faça o seguinte:

  1. Faça login no AWS Management Console e abra o AWS Glue console em https://console.aws.amazon.com/glue/.

  2. Na lista de tabelas, escolha a tabela que o aplicativo usa para armazenar suas informações de conexão de dados. Selecione Ação, Editar detalhes da tabela.

  3. Em Propriedades da tabela, insira managed-flink.proctime para chave e user_action_time para Valor.

Defina os valores de tempo do Apache Flink

O Apache Flink fornece valores de tempo que descrevem quando os eventos de processamento do stream ocorreram, como Tempo de Processamento e Tempo do Evento. Para incluir esses valores na saída do seu aplicativo, você define propriedades em sua AWS Glue tabela que instruem o tempo de execução do Managed Service for Apache Flink a emitir esses valores nos campos especificados.

As chaves e os valores que você usa nas propriedades da tabela são os seguintes:

Tipo Timestamp Chave Valor
Tempo de processamento managed-flink.proctime O nome da coluna que AWS Glue será usada para expor o valor. Esse nome de coluna não corresponde a uma coluna de tabela existente.
Horário do evento managed-flink.rowtime O nome da coluna que AWS Glue será usada para expor o valor. Esse nome de coluna corresponde a uma coluna de tabela existente.

managed-flink.watermark.column_name.milissegundos

 O intervalo da marca d'água em milissegundos

Use o conector Flink e as propriedades de formato

Você fornece informações sobre suas fontes de dados aos conectores Flink do seu aplicativo usando as propriedades da tabela AWS Glue . Alguns exemplos das propriedades que o Managed Service for Apache Flink usa para conectores são os seguintes:

Tipo de conector Chave Valor
Kafka format O formato usado para desserializar e serializar mensagens do Kafka, por exemplo, ou. json csv
scan.startup.mode O modo de inicialização para o consumidor do Kafka, por exemplo, ou. earliest-offset timestamp
Kinesis format O formato usado para desserializar e serializar registros de stream de dados do Kinesis, por exemplo, ou. json csv
aws.region A AWS região em que o riacho é definido.
S3 (sistema de arquivos) format O formato usado para desserializar e serializar arquivos, por exemplo, ou. json csv
path O caminho do Amazon S3, por exemplo s3://mybucket/

Para obter mais informações sobre outros conectores além do Kinesis e do Apache Kafka, consulte a documentação do seu conector.