Serviço gerenciado para Apache Flink: como funciona - Managed Service for Apache Flink
Programe seu aplicativo Apache FlinkCrie seu serviço gerenciado para o aplicativo Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Serviço gerenciado para Apache Flink: como funciona

O Managed Service for Apache Flink é um serviço totalmente gerenciado da Amazon que permite usar um aplicativo Apache Flink para processar dados de streaming. Primeiro, você programa seu aplicativo Apache Flink e, em seguida, cria seu serviço gerenciado para o aplicativo Apache Flink.

Programe seu aplicativo Apache Flink

Um aplicativo Apache Flink é um aplicativo Java ou Scala criado com a estrutura Apache Flink. Você cria e constrói seu aplicativo Apache Flink localmente.

Os aplicativos usam principalmente a tabela DataStream APIou a tabela API. Os outros Apache Flink também APIs estão disponíveis para você usar, mas são menos usados na criação de aplicativos de streaming.

As características dos dois APIs são as seguintes:

DataStream API

O modelo de DataStream API programação Apache Flink é baseado em dois componentes:

  • Fluxo de dados: a representação estruturada de um fluxo contínuo de registros de dados.

  • Operador de transformação: usa um ou mais fluxos de dados como entrada e produz um ou mais fluxos de dados como saída.

Os aplicativos criados com o DataStream API fazem o seguinte:

  • Leia dados de uma fonte de dados (como um stream do Kinesis ou um MSK tópico da Amazon).

  • Aplicam transformações aos dados, como filtragem, agregação ou enriquecimento.

  • Gravam os dados transformados em um coletor de dados.

Os aplicativos que usam o DataStream API podem ser escritos em Java ou Scala e podem ser lidos de um stream de dados do Kinesis, de um tópico da MSK Amazon ou de uma fonte personalizada.

Seu aplicativo processa dados usando um conector. O Apache Flink usa os tipos de conectores a seguir:

  • Fonte: um conector usado para ler dados externos.

  • Coletor: um conector usado para gravar em locais externos.

  • Operador: um conector usado para processar dados dentro do aplicativo.

Um aplicativo típico consiste em pelo menos um fluxo de dados com uma fonte, um fluxo de dados com um ou mais operadores e pelo menos um coletor de dados.

Para obter mais informações sobre como usar o DataStream API, consulte DataStream APIComponentes de revisão.

Tabela API

O modelo de API programação do Apache Flink Table é baseado nos seguintes componentes:

  • Ambiente de tabela: uma interface para dados subjacentes usado para criar e hospedar uma ou mais tabelas.

  • Tabela: Um objeto que fornece acesso a uma SQL tabela ou exibição.

  • Fonte da tabela: usada para ler dados de uma fonte externa, como um MSK tópico da Amazon.

  • Função de tabela: uma SQL consulta ou API chamada usada para transformar dados.

  • Coletor de tabela: usado para gravar dados em um local externo, como um bucket do Amazon S3.

Os aplicativos criados com a Tabela API fazem o seguinte:

  • Criam um TableEnvironment conectando-se a um Table Source.

  • Crie uma tabela TableEnvironment usando SQL consultas ou API funções de tabela.

  • Execute uma consulta na tabela usando Tabela API ou SQL

  • Aplique transformações nos resultados da consulta usando funções de tabela ou SQL consultas.

  • Gravam os resultados da consulta ou função em um Table Sink.

Os aplicativos que usam a tabela API podem ser escritos em Java ou Scala e podem consultar dados usando API chamadas ou SQL consultas.

Para obter mais informações sobre como usar a tabelaAPI, consulteAPIComponentes da tabela de revisão.

Crie seu serviço gerenciado para o aplicativo Apache Flink

O Managed Service for Apache Flink é um AWS serviço que cria um ambiente para hospedar seu aplicativo Apache Flink e fornece as seguintes configurações:

Você pode criar seu aplicativo Managed Service for Apache Flink usando o console ou o AWS CLI. Para começar a criar um aplicativo Managed Service for Apache Flink, consulte Tutorial: Comece a usar o serviço DataStream API gerenciado para Apache Flink.