Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Crie um caderno Studio
Um notebook Studio contém consultas ou programas escritos em SQL Python ou Scala que são executados em dados de streaming e retornam resultados analíticos. Você cria seu aplicativo usando o console ou o CLI e fornece consultas para analisar os dados da sua fonte de dados.
Seu aplicativo tem os seguintes componentes:
Uma fonte de dados, como um MSK cluster da Amazon, um stream de dados do Kinesis ou um bucket do Amazon S3.
Um AWS Glue banco de dados. Esse banco de dados contém tabelas, que armazenam esquemas e endpoints de origem e destino de seus dados. Para obter mais informações, consulte Trabalhe com AWS Glue.
Código do seu aplicativo Seu código implementa sua consulta ou programa de análise.
Suas configurações do aplicativo e propriedades de runtime. Para obter informações sobre configurações do aplicativo e propriedades de runtime, consulte os seguintes tópicos no Guia do desenvolvedor para aplicativos Apache Flink:
Paralelismo e escalonamento de aplicativos: você usa a configuração de paralelismo do seu aplicativo para controlar o número de consultas que seu aplicativo pode executar simultaneamente. Suas consultas também podem aproveitar o aumento do paralelismo se tiverem vários caminhos de execução, como nas seguintes circunstâncias:
Ao processar vários fragmentos de um fluxo de dados do Kinesis
Ao particionar dados usando o operador
KeyBy.Ao usar vários operadores de janela
Para obter mais informações sobre o escalonamento de aplicativos, consulte Escalonamento de aplicativos no Managed Service for Apache Flink.
Logs e monitoramento: para obter informações sobre logs e monitoramento de aplicativos, consulte Logs e monitoramento no Amazon Managed Service for Apache Flink para Apache Flink.
-
Seu aplicativo usa pontos de verificação e pontos de salvamento para tolerância a falhas. Os pontos de verificação e os pontos de salvamento não estão habilitados por padrão para notebooks Studio.
Você pode criar seu notebook Studio usando o AWS Management Console ou AWS CLI o.
Ao criar o aplicativo a partir do console, você tem as seguintes opções:
No MSK console da Amazon, escolha seu cluster e escolha Processar dados em tempo real.
No console do Kinesis Data Streams, selecione seu fluxo de dados e, em seguida, na aba Aplicativos, selecione Processar dados em tempo real.
No console Managed Service for Apache Flink, selecione a aba Studio e, em seguida, selecione Criar notebook Studio.
Para ver um tutorial, consulte Detecção de eventos com serviço gerenciado para Apache Flink
Para ver um exemplo de uma solução de notebook Studio mais avançada, consulte Apache Flink no Amazon Managed Service for Apache Flink Studio
