Exemplos de Java para Managed Service para Apache Flink - Managed Service for Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Exemplos de Java para Managed Service para Apache Flink

Os exemplos a seguir demonstram como criar aplicativos escritos em Java.

nota

A maioria dos exemplos foi projetada para ser executada localmente, na sua máquina IDE de desenvolvimento e na sua preferida, e no Amazon Managed Service para Apache Flink. Eles demonstram os mecanismos que você pode usar para transmitir os parâmetros do aplicativo e como definir a dependência corretamente para executar o aplicativo nos dois ambientes sem alterações.

Este exemplo ilustra como definir customização TypeInfo em seu registro ou objeto de estado para evitar que a serialização volte para a serialização menos eficiente do Kryo. Isso é necessário, por exemplo, quando seus objetos contêm um List ouMap. Para obter mais informações, consulte Tipos de dados e serialização na documentação do Apache Flink. O exemplo também mostra como testar se a serialização do seu objeto se baseia na serialização menos eficiente do Kryo.

Exemplo de código: CustomTypeInfo

Este exemplo mostra um aplicativo simples, lendo de um stream de dados do Kinesis e gravando em outro stream de dados do Kinesis, usando o. DataStream API O exemplo demonstra como configurar o arquivo com as dependências corretas, criar o uber- e depois analisar os parâmetros de configuraçãoJAR, para que você possa executar o aplicativo localmente, no seu IDE e no Amazon Managed Service para Apache Flink.

Exemplo de código: GettingStarted

Este exemplo mostra um aplicativo simples usando Table API SQL e. Ele demonstra como integrar o DataStream API com o Table API ou SQL no mesmo aplicativo Java. Também demonstra como usar o DataGen conector para gerar dados de teste aleatórios de dentro do próprio aplicativo Flink, sem a necessidade de um gerador de dados externo.

Exemplo completo: GettingStartedTable

Este exemplo demonstra como usar o DataStream API's FileSink para gravar JSON arquivos em um bucket do S3.

Exemplo de código: S3Sink

Este exemplo demonstra como configurar uma fonte que consome de um stream de dados do Kinesis, usando o consumidor padrão EFO ou, e como configurar um coletor no stream de dados do Kinesis.

Exemplo de código: KinesisConnectors

Este exemplo mostra como enviar dados para o Amazon Data Firehose (anteriormente conhecido como Kinesis Data Firehose).

Exemplo de código: KinesisFirehoseSink

Este exemplo demonstra quatro tipos de agregação de janelas no. DataStream API

  1. Janela deslizante com base no tempo de processamento

  2. Janela deslizante com base na hora do evento

  3. Janela de queda com base no tempo de processamento

  4. Janela de queda com base na hora do evento

Exemplo de código: Janelamento

Este exemplo mostra como adicionar métricas personalizadas ao seu aplicativo Flink e enviá-las para CloudWatch métricas.

Exemplo de código: CustomMetrics

Este exemplo ilustra como você pode usar os provedores de configuração do Kafka para configurar um armazenamento de chaves e um armazenamento confiável personalizados com certificados para autenticação m TLS para o conector Kafka. Essa técnica permite carregar os certificados personalizados necessários do Amazon S3 e os segredos de AWS Secrets Manager quando o aplicativo é iniciado.

Exemplo de código: Kafka-m TLS -Keystore- ConfigProviders

Este exemplo ilustra como você pode usar os provedores de configuração do Kafka para obter credenciais AWS Secrets Manager e baixar o armazenamento confiável do Amazon S3 para configurar a autenticação /em um conector Kafka. SASL SCRAM Essa técnica permite carregar os certificados personalizados necessários do Amazon S3 e os segredos de AWS Secrets Manager quando o aplicativo é iniciado.

Exemplo de código: Kafka- _ - SASL SSL ConfigProviders