Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Além dos campos de dados, suas AWS Glue tabelas fornecem outras informações ao seu notebook Studio usando as propriedades da tabela. O Managed Service para Apache Flink usa as seguintes propriedades de AWS Glue tabela:
Defina os valores de tempo do Apache Flink: essas propriedades definem como o Managed Service for Apache Flink emite valores de tempo de processamento de dados internos do Apache Flink.
Use o conector Flink e as propriedades de formato: essas propriedades fornecem informações sobre seus fluxos de dados.
Para adicionar uma propriedade a uma AWS Glue tabela, faça o seguinte:
Faça login no AWS Management Console e abra o AWS Glue console em https://console.aws.amazon.com/glue/
. Na lista de tabelas, escolha a tabela que o aplicativo usa para armazenar suas informações de conexão de dados. Selecione Ação, Editar detalhes da tabela.
Em Propriedades da tabela, insira
managed-flink.proctimepara chave euser_action_timepara Valor.
Defina os valores de tempo do Apache Flink
O Apache Flink fornece valores de tempo que descrevem quando os eventos de processamento do stream ocorreram, como Tempo de Processamento e
As chaves e os valores que você usa nas propriedades da tabela são os seguintes:
| Tipo Timestamp | Chave | Valor |
|---|---|---|
| Tempo de processamento |
managed-flink.proctime | O nome da coluna que AWS Glue será usada para expor o valor. Esse nome de coluna não corresponde a uma coluna de tabela existente. |
| Horário do evento |
managed-flink.rowtime | O nome da coluna que AWS Glue será usada para expor o valor. Esse nome de coluna corresponde a uma coluna de tabela existente. |
managed-flink.watermark. |
O intervalo da marca d'água em milissegundos |
Use o conector Flink e as propriedades de formato
Você fornece informações sobre suas fontes de dados aos conectores Flink do seu aplicativo usando as propriedades da tabela AWS Glue . Alguns exemplos das propriedades que o Managed Service for Apache Flink usa para conectores são os seguintes:
| Tipo de conector | Chave | Valor |
|---|---|---|
| Kafka |
format |
O formato usado para desserializar e serializar mensagens do Kafka, por exemplo, ou. json csv |
scan.startup.mode |
O modo de inicialização para o consumidor do Kafka, por exemplo, ou. earliest-offset timestamp |
|
| Kinesis |
format |
O formato usado para desserializar e serializar registros de stream de dados do Kinesis, por exemplo, ou. json csv |
aws.region |
A AWS região em que o riacho é definido. | |
| S3 (sistema de arquivos) |
formato | O formato usado para desserializar e serializar arquivos, por exemplo, ou. json csv |
path |
O caminho do Amazon S3, por exemplo s3://mybucket/ |
Para obter mais informações sobre outros conectores além do Kinesis e do Apache Kafka, consulte a documentação do seu conector.
