Crie um serviço gerenciado para o aplicativo Apache Flink - Managed Service for Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Crie um serviço gerenciado para o aplicativo Apache Flink

Este tópico contém informações sobre a criação de um serviço gerenciado para o aplicativo Apache Flink.

Crie seu serviço gerenciado para o código do aplicativo Apache Flink

Esta seção descreve os componentes que você usa para criar o código do aplicativo Managed Service for Apache Flink.

Recomendamos que você use a versão mais recente suportada do Apache Flink para o seu código do aplicativo. Para obter informações sobre a atualização de aplicativos Managed Service for Apache Flink, consulte Use atualizações de versão in-loco para o Apache Flink.

Você cria o código do seu aplicativo usando o Apache Maven. Um projeto Apache Maven usa um arquivo pom.xml para especificar as versões dos componentes que ele usa.

nota

O Managed Service para Apache Flink suporta JAR arquivos de até 512 MB de tamanho. Se você usar um JAR arquivo maior do que isso, seu aplicativo falhará ao iniciar.

Agora, os aplicativos podem usar o Java API de qualquer versão do Scala. Você deve agrupar a biblioteca padrão Scala de sua escolha em seus aplicativos Scala.

Para obter informações sobre como criar um aplicativo Managed Service for Apache Flink que usa Apache Beam, consulte Use o Apache Beam com o Managed Service para aplicativos Apache Flink.

Ao usar o runtime do Managed Service for Apache Flink versão 1.1.0 e posterior, você especifica a versão do Apache Flink que seu aplicativo usa ao compilar seu aplicativo. Você fornece a versão do Apache Flink com o -Dflink.version parâmetro. Por exemplo, se você estiver usando o Apache Flink 1.19.1, forneça o seguinte:

mvn package -Dflink.version=1.19.1

Para criar aplicativos com versões anteriores do Apache Flink, consulte. Versões anteriores

Crie seu serviço gerenciado para o aplicativo Apache Flink

Depois de criar o código do seu aplicativo, faça o seguinte para criar seu serviço gerenciado para o aplicativo Apache Flink:

  • Faça upload do código do aplicativo: faça upload do código do aplicativo em um bucket do Amazon S3. Ao criar o aplicativo, você especifica o nome do bucket do S3 e o nome do objeto do código do aplicativo. Para ver um tutorial que mostra como fazer o upload do código do seu aplicativo, consulte o Tutorial: Comece a usar o serviço DataStream API gerenciado para Apache Flink tutorial.

  • Crie seu aplicativo Managed Service for Apache Flink: use um dos métodos a seguir para criar seu aplicativo Managed Service for Apache Flink:

    • Crie seu serviço gerenciado para o aplicativo Apache Flink usando o AWS console: Você pode criar e configurar seu aplicativo usando o AWS console.

      Quando você cria seu aplicativo usando o console, os recursos dependentes do seu aplicativo (como fluxos de CloudWatch registros, IAM funções e IAM políticas) são criados para você.

      Ao criar seu aplicativo usando o console, você especifica qual versão do Apache Flink seu aplicativo usa selecionando-a no menu suspenso na página Managed Service for Apache Flink - Criar aplicativo.

      Para ver um tutorial sobre como usar o console para criar um aplicativo, consulte o Tutorial: Comece a usar o serviço DataStream API gerenciado para Apache Flink tutorial.

    • Crie seu serviço gerenciado para o aplicativo Apache Flink usando o AWS CLI: Você pode criar e configurar seu aplicativo usando o. AWS CLI

      Ao criar seu aplicativo usando oCLI, você também deve criar manualmente os recursos dependentes do seu aplicativo (como fluxos de CloudWatch registros, IAM funções e IAM políticas).

      Ao criar seu aplicativo usando oCLI, você especifica qual versão do Apache Flink seu aplicativo usa usando o RuntimeEnvironment parâmetro da CreateApplication ação.

    nota

    Você pode alterar o RuntimeEnvironment de um aplicativo existente. Para saber como, consulte Use atualizações de versão in-loco para o Apache Flink.

Inicie seu serviço gerenciado para o aplicativo Apache Flink

Depois de criar o código do aplicativo, carregá-lo no S3 e criar seu aplicativo Managed Service for Apache Flink, você inicia o aplicativo. O início de um aplicativo Managed Service for Apache Flink normalmente leva vários minutos.

Use um dos métodos a seguir para iniciar o aplicativo:

  • Inicie seu aplicativo Managed Service for Apache Flink usando o AWS console: Você pode executar seu aplicativo escolhendo Executar na página do seu aplicativo no AWS console.

  • Inicie seu aplicativo Managed Service for Apache Flink usando AWS API: Você pode executar seu aplicativo usando a StartApplicationação.

Verifique seu serviço gerenciado para o aplicativo Apache Flink

Você pode verificar se o aplicativo está funcionando das seguintes maneiras:

  • Usando CloudWatch registros: você pode usar o CloudWatch Logs e o CloudWatch Logs Insights para verificar se o aplicativo está funcionando corretamente. Para obter informações sobre como usar o CloudWatch Logs com seu aplicativo Managed Service for Apache Flink, consulte. Registro e monitoramento no Amazon Managed Service para Apache Flink

  • Usando CloudWatch métricas: você pode usar CloudWatch métricas para monitorar a atividade do seu aplicativo ou a atividade nos recursos que seu aplicativo usa para entrada ou saída (como streams do Kinesis, streams Firehose ou buckets do Amazon S3). Para obter mais informações sobre CloudWatch métricas, consulte Como trabalhar com métricas no Guia CloudWatch do usuário da Amazon.

  • Monitoramento de locais de saída: se seu aplicativo grava a saída em um local (como um bucket ou banco de dados do Amazon S3), você pode monitorar esse local para dados gravados.