Comece a usar o Amazon Managed Service para Apache Flink () DataStream API - Managed Service for Apache Flink
Analise os componentes do aplicativoPreencha os pré-requisitos necessários

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Comece a usar o Amazon Managed Service para Apache Flink () DataStream API

Esta seção apresenta os conceitos fundamentais do Managed Service for Apache Flink e a implementação de um aplicativo em Java usando o. DataStream API Ela descreve as opções disponíveis para criar e testar seus aplicativos. Ela também fornece instruções para instalar as ferramentas necessárias para concluir os tutoriais deste guia e criar seu primeiro aplicativo.

Tópicos

Analise os componentes do aplicativo Managed Service for Apache Flink

nota

O Amazon Managed Service para Apache Flink oferece suporte a todo o Apache Flink APIs e, potencialmente, a todos os idiomas. JVM Para obter mais informações, consulte Flink's APIs.

Dependendo da API sua escolha, a estrutura do aplicativo e a implementação são um pouco diferentes. Este tutorial de introdução aborda a implementação dos aplicativos usando o DataStream API em Java.

Para processar dados, seu aplicativo Managed Service for Apache Flink usa um aplicativo Java que processa a entrada e produz a saída usando o tempo de execução do Apache Flink.

Um aplicativo típico do Managed Service for Apache Flink tem os seguintes componentes:

  • Propriedades de tempo de execução: você pode usar propriedades de tempo de execução para passar parâmetros de configuração para seu aplicativo e alterá-los sem modificar e republicar o código.

  • Fontes: o aplicativo consome dados de uma ou mais fontes. Uma fonte usa um conector para ler dados de um sistema externo, como um stream de dados do Kinesis ou um bucket do Kafka. Para obter mais informações, consulte Adicione fontes de dados de streaming ao Managed Service for Apache Flink.

  • Operadores: o aplicativo processa dados usando um ou mais operadores. Um operador pode transformar, enriquecer ou agregar dados. Para obter mais informações, consulte Transforme dados usando operadores no Managed Service for Apache Flink.

  • Coletores: o aplicativo envia dados para fontes externas por meio de coletores. Um coletor usa um conector v para enviar dados para um stream de dados do Kinesis, um tópico do Kafka, Amazon S3 ou um banco de dados relacional. Você também pode usar um conector especial para imprimir a saída somente para fins de desenvolvimento. Para obter mais informações, consulte Grave dados usando coletores no Managed Service for Apache Flink.

Seu aplicativo requer algumas dependências externas, como os conectores Flink que seu aplicativo usa ou, potencialmente, uma biblioteca Java. Para ser executado no Amazon Managed Service para Apache Flink, o aplicativo deve ser empacotado junto com as dependências em um fat-jar e carregado em um bucket do Amazon S3. Em seguida, crie um aplicativo do Managed Service for Apache Flink. Você passa a localização do pacote de código, junto com qualquer outro parâmetro de configuração de tempo de execução.

Este tutorial demonstra como usar o Apache Maven para empacotar o aplicativo e como executá-lo localmente no local IDE de sua escolha.

Cumpra os pré-requisitos para concluir os exercícios

Para concluir as etapas neste guia, você deve ter o seguinte:

  • Cliente do Git. Instale o cliente Git, caso ainda não tenha feito isso.

  • Java Development Kit (JDK) versão 11. Instale um Java JDK 11 e defina a variável de JAVA_HOME ambiente para apontar para seu local de JDK instalação. Se você não tiver um JDK 11, poderá usar o Amazon Coretto 11 ou qualquer outro padrão JDK de sua escolha.

    • Para verificar se você o JDK instalou corretamente, execute o comando a seguir. A saída será diferente se você estiver usando um que não JDK seja o Amazon Corretto. Verifique se a versão é 11.x.

      $ java --version

openjdk 11.0.23 2024-04-16 LTS
OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

  • Apache Maven. Instale o Apache Maven, caso ainda não tenha feito isso. Para saber como instalá-lo, consulte Instalando o Apache Maven.

    • Para testar a instalação do Apache Maven, insira o seguinte:

    $ mvn -version

  • IDEpara o desenvolvimento local. Recomendamos que você use um ambiente de desenvolvimento, como Eclipse, Java Neon ou IntelliJ, para desenvolver e IDEAcompilar seu aplicativo.

    • Para testar a instalação do Apache Maven, insira o seguinte:

    $ mvn -version

Para começar a usar, vá até Configurar uma AWS conta e criar um usuário administrador.