Serviço gerenciado para Apache Flink: como funciona

Modo de foco

Serviço gerenciado para Apache Flink: como funciona - Managed Service for Apache Flink

Programe seu aplicativo Apache Flink Crie seu serviço gerenciado para o aplicativo Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O Managed Service for Apache Flink é um serviço totalmente gerenciado da Amazon que permite usar um aplicativo Apache Flink para processar dados de streaming. Primeiro, você programa seu aplicativo Apache Flink e, em seguida, cria seu serviço gerenciado para o aplicativo Apache Flink.

Programe seu aplicativo Apache Flink

Um aplicativo Apache Flink é um aplicativo Java ou Scala criado com a estrutura Apache Flink. Você cria e constrói seu aplicativo Apache Flink localmente.

Os aplicativos usam principalmente a DataStream API ou a API de tabela. Os outros Apache Flink também APIs estão disponíveis para você usar, mas são menos usados na criação de aplicativos de streaming.

As características dos dois APIs são as seguintes:

DataStream API

O modelo de programação da DataStream API Apache Flink é baseado em dois componentes:

Fluxo de dados: a representação estruturada de um fluxo contínuo de registros de dados.
Operador de transformação: usa um ou mais fluxos de dados como entrada e produz um ou mais fluxos de dados como saída.

Os aplicativos criados com a DataStream API fazem o seguinte:

Leem dados de uma fonte de dados (como um fluxo do Kinesis ou um tópico do Amazon MSK).
Aplicam transformações aos dados, como filtragem, agregação ou enriquecimento.
Gravam os dados transformados em um coletor de dados.

Os aplicativos que usam a DataStream API podem ser escritos em Java ou Scala e podem ser lidos de um stream de dados do Kinesis, de um tópico do Amazon MSK ou de uma fonte personalizada.

Seu aplicativo processa dados usando um conector. O Apache Flink usa os tipos de conectores a seguir:

Fonte: um conector usado para ler dados externos.
Coletor: um conector usado para gravar em locais externos.
Operador: um conector usado para processar dados dentro do aplicativo.

Um aplicativo típico consiste em pelo menos um fluxo de dados com uma fonte, um fluxo de dados com um ou mais operadores e pelo menos um coletor de dados.

Para obter mais informações sobre como usar a DataStream API, consulteRevise os componentes DataStream da API.

API de tabela

O modelo de programação da API de tabela do Apache Flink é baseado nos seguintes componentes:

Ambiente de tabela: uma interface para dados subjacentes usado para criar e hospedar uma ou mais tabelas.
Tabela: um objeto que fornece acesso a uma tabela ou exibição SQL.
Fonte da tabela: usada para ler dados de uma fonte externa, como um tópico do Amazon MSK.
Função de tabela: uma consulta SQL ou chamada de API usada para transformar dados.
Coletor de tabela: usado para gravar dados em um local externo, como um bucket do Amazon S3.

Os aplicativos criados com a API de tabela fazem o seguinte:

Criam um TableEnvironment conectando-se a um Table Source.
Criam uma tabela no TableEnvironment usando as funções de consultas SQL ou API de tabela.
Executam uma consulta na tabela usando a API de tabela ou SQL
Aplicam transformações nos resultados da consulta usando funções de API de tabela ou consultas SQL.
Gravam os resultados da consulta ou função em um Table Sink.

Os aplicativos que usam a API de tabela podem ser escritos em Java ou Scala e podem consultar dados usando chamadas de API ou consultas SQL.

Para obter mais informações sobre como usar a API de tabela, consulte Componentes da API da Tabela de Revisão.

Crie seu serviço gerenciado para o aplicativo Apache Flink

O Managed Service for Apache Flink é um AWS serviço que cria um ambiente para hospedar seu aplicativo Apache Flink e fornece as seguintes configurações:

Use propriedades de tempo de execução: parâmetros que você pode fornecer ao seu aplicativo. Você pode alterar esses parâmetros sem recompilar o código do aplicativo.
Implemente a tolerância a falhas: como seu aplicativo se recupera de interrupções e reinicializações.
Registro e monitoramento no Amazon Managed Service para Apache Flink: como seu aplicativo registra eventos no CloudWatch Logs.
Implemente o escalonamento de aplicativos: como seu aplicativo provisiona recursos de computação.

Você pode criar seu aplicativo Managed Service for Apache Flink usando o console ou o AWS CLI. Para começar a criar um aplicativo Managed Service for Apache Flink, consulte Tutorial: Comece a usar a DataStream API no Managed Service para Apache Flink.