Exemplos em Python de serviço gerenciado para Apache Flink - Managed Service for Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Exemplos em Python de serviço gerenciado para Apache Flink

Os exemplos a seguir demonstram como criar aplicativos escritos em Python.

nota

A maioria dos exemplos foi projetada para ser executada localmente, na sua máquina IDE de desenvolvimento e na sua preferida, e no Amazon Managed Service para Apache Flink. Eles demonstram o mecanismo simples que você pode usar para passar os parâmetros do aplicativo e como definir a dependência corretamente para executar o aplicativo nos dois ambientes sem alterações.

Dependências do projeto

A maioria dos PyFlink exemplos exige uma ou mais dependências na forma de JAR arquivos, por exemplo, para conectores Flink. Essas dependências devem então ser empacotadas com o aplicativo quando implantadas no Amazon Managed Service para Apache Flink.

Os exemplos a seguir já incluem as ferramentas que permitem executar o aplicativo localmente para desenvolvimento e teste, além de empacotar as dependências necessárias corretamente. Essas ferramentas requerem o uso de Java JDK11 e Apache Maven. Consulte o que README está contido em cada exemplo para obter instruções específicas.

Exemplos

Este exemplo demonstra a estrutura básica de um PyFlink aplicativo usando código SQL incorporado em Pyton. Esse projeto também fornece um esqueleto para qualquer PyFlink aplicativo que inclua JAR dependências, como conectores. A README seção fornece orientações detalhadas sobre como executar seu aplicativo Python localmente para desenvolvimento. O exemplo também mostra como incluir uma única JAR dependência, o conector SQL Kinesis neste exemplo, em PyFlink seu aplicativo.

Exemplo de código: GettingStarted

Este exemplo demonstra quatro tipos de agregação de janelas SQL incorporadas em um aplicativo Python.

  1. Janela deslizante com base no tempo de processamento

  2. Janela deslizante com base na hora do evento

  3. Janela de queda com base no tempo de processamento

  4. Janela de queda com base na hora do evento

Exemplo de código: Janelamento

Este exemplo mostra como gravar sua saída no Amazon S3 como JSON arquivos, usando SQL incorporado em um aplicativo Python. Você deve ativar o ponto de verificação para que o coletor do S3 grave e rotacione arquivos no Amazon S3.

Exemplo de código: S3Sink

Este exemplo demonstra como definir uma função definida pelo usuário, implementá-la em Python e usá-la em SQL código executado em um aplicativo Python.

Exemplo de código: UDF

Este exemplo demonstra como enviar dados para o Amazon Data SQL Firehose usando.

Exemplo de código: FirehoseSink