Informações sobre a versão anterior do Managed Service for Apache Flink

1. Certifique-se de ter o Apache Maven instalado e que sua variável de JAVA_HOME ambiente aponte para um JDK em vez de a. JRE Você pode testar a instalação do Apache Maven com o seguinte comando:

   mvn -version

2. Baixe o código-fonte do Apache Flink versão 1.8.2:

   wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz

3. Descompacte o código-fonte do Apache Flink:

   tar -xvf flink-1.8.2-src.tgz

4. Vá para o diretório do código-fonte do Apache Flink:

   cd flink-1.8.2

5. Compile e instale o Apache Flink:

   mvn clean install -Pinclude-kinesis -DskipTests

   nota

   Se você estiver compilando o Flink no Microsoft Windows, precisará adicionar o parâmetro -Drat.skip=true.

Para se inscrever em um Conta da AWS

1. Abra a https://portal.aws.amazon.com/billing/inscrição.

2. Siga as instruções online.

   Parte do procedimento de inscrição envolve receber uma chamada telefônica e inserir um código de verificação no teclado do telefone.

   Quando você se inscreve em um Conta da AWS, um Usuário raiz da conta da AWSé criado. O usuário raiz tem acesso a todos os Serviços da AWS e atributos na conta. Como prática recomendada de segurança, atribua o acesso administrativo a um usuário e use somente o usuário-raiz para executar tarefas que exigem acesso de usuário-raiz.

Proteja seu Usuário raiz da conta da AWS

1. Faça login AWS Management Consolecomo proprietário da conta escolhendo Usuário raiz e inserindo seu endereço de Conta da AWS e-mail. Na próxima página, insira sua senha.

   Para obter ajuda ao fazer login usando o usuário raiz, consulte Fazer login como usuário raiz no Guia do usuário do Início de Sessão da AWS .

2. Ative a autenticação multifator (MFA) para seu usuário root.

   Para obter instruções, consulte Habilitar um MFA dispositivo virtual para seu usuário Conta da AWS root (console) no Guia IAM do usuário.

Criar um usuário com acesso administrativo

1. Ative o IAM Identity Center.

   Para obter instruções, consulte Habilitar AWS IAM Identity Center no Guia do usuário do AWS IAM Identity Center .

2. No IAM Identity Center, conceda acesso administrativo a um usuário.

   Para ver um tutorial sobre como usar o Diretório do Centro de Identidade do IAM como fonte de identidade, consulte Configurar o acesso do usuário com o padrão Diretório do Centro de Identidade do IAM no Guia AWS IAM Identity Center do usuário.

Iniciar sessão como o usuário com acesso administrativo

• Para entrar com seu usuário do IAM Identity Center, use o login URL que foi enviado ao seu endereço de e-mail quando você criou o usuário do IAM Identity Center.

  Para obter ajuda para fazer login usando um usuário do IAM Identity Center, consulte Como fazer login no portal de AWS acesso no Guia Início de Sessão da AWS do usuário.

Atribuir acesso a usuários adicionais

1. No IAM Identity Center, crie um conjunto de permissões que siga as melhores práticas de aplicação de permissões com privilégios mínimos.

   Para obter instruções, consulte Create a permission set no Guia do usuário do AWS IAM Identity Center .

2. Atribua usuários a um grupo e, em seguida, atribua o acesso de autenticação única ao grupo.

   Para obter instruções, consulte Add groups no Guia do usuário do AWS IAM Identity Center .

Para configurar o AWS CLI

1. Faça download e configure a AWS CLI. Para obter instruções, consulte os seguintes tópicos no Guia do usuário do AWS Command Line Interface :

   • Instalar a AWS Command Line Interface

   • Configurar a AWS CLI

2. Adicione um perfil nomeado para o usuário administrador no AWS CLI config arquivo. Você pode usar esse perfil ao executar os comandos da AWS CLI . Para obter mais informações sobre perfis nomeados, consulte Perfis nomeados no Guia do usuário da AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Para obter uma lista das AWS regiões disponíveis, consulte Regiões e endpoints no Referência geral da Amazon Web Services.

   nota

   O código e os comandos de exemplo neste tutorial usam a região Oeste dos EUA (Oregon). Para usar uma região diferente, altere a região no código e nos comandos deste tutorial para a região que você deseja usar.

3. Verifique a configuração digitando o seguinte comando no prompt de comando:

   aws help

Como criar os fluxos de dados (AWS CLI)

1. Para criar o primeiro stream (ExampleInputStream), use o seguinte comando do Amazon Kinesis create-stream AWS CLI .

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Para criar o segundo fluxo que o aplicativo usa para gravar a saída, execute o mesmo comando, alterando o nome da transmissão para ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

   
       import datetime
       import json
       import random
       import boto3
       STREAM_NAME = "ExampleInputStream"
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2')) 

2. Mais adiante neste tutorial, você executa o script stock.py para enviar dados para o aplicativo.

   $ python stock.py

1. Duplique o repositório remoto usando o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/GettingStarted.

Para compilar o código do aplicativo

1. Para usar o código do aplicativo, você o compila e o empacota em um JAR arquivo. Há duas formas de compilar e empacotar o código:

   • Use a ferramenta de linha de comando do Maven. Crie seu JAR arquivo executando o seguinte comando no diretório que contém o pom.xml arquivo:

     mvn package -Dflink.version=1.13.2

   • Use o ambiente de desenvolvimento. Consulte a documentação de seu ambiente de desenvolvimento para obter mais detalhes.

     nota

     O código-fonte fornecido depende de bibliotecas do Java 11.

   Você pode carregar seu pacote como um JAR arquivo ou compactar seu pacote e carregá-lo como um ZIP arquivo. Se você criar seu aplicativo usando o AWS CLI, você especifica seu tipo de conteúdo de código (JARouZIP).

2. Se houver erros durante a compilação, verifique se sua variável de ambiente JAVA_HOME está definida corretamente.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Selecione Criar bucket.

3. Insira ka-app-code-<username> no campo Nome do bucket. Adicione um sufixo para o nome do bucket, como o nome do usuário, para torná-lo globalmente exclusivo. Selecione Next (Próximo).

4. Na etapa Configurar opções, mantenha as configurações como estão e selecione Próximo.

5. Na etapa Definir permissões, mantenha as configurações como estão e selecione Próximo.

6. Selecione Criar bucket.

7. No console do Amazon S3, escolha o - ka-app-code<username>bucket e escolha Upload.

8. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar que você criou na etapa anterior. Selecione Next (Próximo).

9. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de análise.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Descrição, insira My java test app.

   • Em Runtime, selecione Apache Flink.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.13.

4. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Selecione Policies (Políticas). Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou para você na seção anterior.

3. Na página Summary (Resumo), selecione Edit policy (Editar política). Escolha a JSONguia.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua a conta de amostra IDs (012345678901) com o ID da sua conta.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Na MyApplicationpágina, escolha Configurar.

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Em Acesso aos recursos do aplicativo, para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

4. Insira o seguinte:

   ID do grupo	Chave	Valor
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

6. Para CloudWatch registrar, marque a caixa de seleção Ativar.

7. Selecione Atualizar.

Para criar uma função do IAM

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. No painel de navegação, selecione Roles (Funções) e Create Role (Criar função).

3. Em Selecionar tipo de identidade de confiança, selecione Serviço da AWS . Em Choose the service that will use this role (Selecionar o serviço que usará esta função), selecione Kinesis. Em Select your use case (Selecionar seu caso de uso), selecione Kinesis Analytics.

   Selecione Next: Permissions (Próximo: permissões).

4. Na página Attach permissions policies, selecione Next: Review. Você pode anexar políticas de permissões depois de criar a função.

5. Na página Create role (Criar função), insira MF-stream-rw-role para o Role name (Nome da função). Selecione Criar função.

   Agora você criou uma nova IAM função chamadaMF-stream-rw-role. Em seguida, você atualiza as políticas de confiança e de permissões para a função.

6. Anexe a política de permissões à função.

   nota

   Para este exercício, o Managed Service for Apache Flink assume esse perfil para ler dados de um fluxo de dados do Kinesis (origem) e gravar a saída em outro fluxo de dados do Kinesis. Depois, você anexa a política que criou na etapa anterior, Criação de uma política de permissões.

   1. Na página Summary (Resumo), selecione a guia Permissions (Permissões).

   2. Selecione Attach Policies.

   3. Na caixa de pesquisa, insira AKReadSourceStreamWriteSinkStream (a política que você criou na seção anterior).

   4. Escolha a AKReadSourceStreamWriteSinkStreampolítica e escolha Anexar política.

1. Salve o JSON código a seguir em um arquivo chamadocreate_request.json. Substitua ARN a função de ARN exemplo pela função que você criou anteriormente. Substitua o ARN sufixo do bucket (username) pelo sufixo que você escolheu na seção anterior. Substitua o ID da conta de exemplo (012345678901) na função de execução do serviço pelo ID da conta.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_15",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Execute a ação CreateApplication com a solicitação anterior para criar o aplicativo:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Para iniciar o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadostart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Execute a ação StartApplication com a solicitação anterior para iniciar o aplicativo:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Como interromper o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadostop_request.json.

   {
      "ApplicationName": "test"
   }
   

2. Execute a ação StopApplication com a seguinte solicitação para interromper o aplicativo:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Para atualizar propriedades de ambiente para o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadoupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Execute a ação UpdateApplication com a solicitação anterior para atualizar as propriedades do ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. No painel Managed Service for Apache Flink, escolha. MyApplication

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel Kinesis Data Streams, escolha. ExampleInputStream

3. Na ExampleInputStreampágina, escolha Excluir Kinesis Stream e confirme a exclusão.

4. Na página Kinesis Streams, escolha o, escolha Ações ExampleOutputStream, escolha Excluir e confirme a exclusão.

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Escolha o ka-app-code -<username> balde.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Escolha a política kinesis-analytics-service- MyApplication -us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Escolha a função kinesis-analytics- MyApplication -us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Escolha o grupo/aws/kinesis-analytics/MyApplicationlog.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

Para se inscrever em um Conta da AWS

1. Abra a https://portal.aws.amazon.com/billing/inscrição.

2. Siga as instruções online.

   Parte do procedimento de inscrição envolve receber uma chamada telefônica e inserir um código de verificação no teclado do telefone.

   Quando você se inscreve em um Conta da AWS, um Usuário raiz da conta da AWSé criado. O usuário raiz tem acesso a todos os Serviços da AWS e atributos na conta. Como prática recomendada de segurança, atribua o acesso administrativo a um usuário e use somente o usuário-raiz para executar tarefas que exigem acesso de usuário-raiz.

Proteja seu Usuário raiz da conta da AWS

1. Faça login AWS Management Consolecomo proprietário da conta escolhendo Usuário raiz e inserindo seu endereço de Conta da AWS e-mail. Na próxima página, insira sua senha.

   Para obter ajuda ao fazer login usando o usuário raiz, consulte Fazer login como usuário raiz no Guia do usuário do Início de Sessão da AWS .

2. Ative a autenticação multifator (MFA) para seu usuário root.

   Para obter instruções, consulte Habilitar um MFA dispositivo virtual para seu usuário Conta da AWS root (console) no Guia IAM do usuário.

Criar um usuário com acesso administrativo

1. Ative o IAM Identity Center.

   Para obter instruções, consulte Habilitar AWS IAM Identity Center no Guia do usuário do AWS IAM Identity Center .

2. No IAM Identity Center, conceda acesso administrativo a um usuário.

   Para ver um tutorial sobre como usar o Diretório do Centro de Identidade do IAM como fonte de identidade, consulte Configurar o acesso do usuário com o padrão Diretório do Centro de Identidade do IAM no Guia AWS IAM Identity Center do usuário.

Iniciar sessão como o usuário com acesso administrativo

• Para entrar com seu usuário do IAM Identity Center, use o login URL que foi enviado ao seu endereço de e-mail quando você criou o usuário do IAM Identity Center.

  Para obter ajuda para fazer login usando um usuário do IAM Identity Center, consulte Como fazer login no portal de AWS acesso no Guia Início de Sessão da AWS do usuário.

Atribuir acesso a usuários adicionais

1. No IAM Identity Center, crie um conjunto de permissões que siga as melhores práticas de aplicação de permissões com privilégios mínimos.

   Para obter instruções, consulte Create a permission set no Guia do usuário do AWS IAM Identity Center .

2. Atribua usuários a um grupo e, em seguida, atribua o acesso de autenticação única ao grupo.

   Para obter instruções, consulte Add groups no Guia do usuário do AWS IAM Identity Center .

Para configurar o AWS CLI

1. Faça download e configure a AWS CLI. Para obter instruções, consulte os seguintes tópicos no Guia do usuário do AWS Command Line Interface :

   • Instalar a AWS Command Line Interface

   • Configurar a AWS CLI

2. Adicione um perfil nomeado para o usuário administrador no AWS CLI config arquivo. Você pode usar esse perfil ao executar os comandos da AWS CLI . Para obter mais informações sobre perfis nomeados, consulte Perfis nomeados no Guia do usuário da AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Para obter uma lista das AWS regiões disponíveis, consulte Regiões e endpoints no Referência geral da Amazon Web Services.

   nota

   O código e os comandos de exemplo neste tutorial usam a região Oeste dos EUA (Oregon). Para usar uma região diferente, altere a região no código e nos comandos deste tutorial para a região que você deseja usar.

3. Verifique a configuração digitando o seguinte comando no prompt de comando:

   aws help

Como criar os fluxos de dados (AWS CLI)

1. Para criar o primeiro stream (ExampleInputStream), use o seguinte comando do Amazon Kinesis create-stream AWS CLI .

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Para criar o segundo fluxo que o aplicativo usa para gravar a saída, execute o mesmo comando, alterando o nome da transmissão para ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Mais adiante neste tutorial, você executa o script stock.py para enviar dados para o aplicativo.

   $ python stock.py

1. Duplique o repositório remoto usando o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/GettingStarted.

Para compilar o código do aplicativo

1. Para usar o código do aplicativo, você o compila e o empacota em um JAR arquivo. Há duas formas de compilar e empacotar o código:

   • Use a ferramenta de linha de comando do Maven. Crie seu JAR arquivo executando o seguinte comando no diretório que contém o pom.xml arquivo:

     mvn package -Dflink.version=1.11.3

   • Use o ambiente de desenvolvimento. Consulte a documentação de seu ambiente de desenvolvimento para obter mais detalhes.

     nota

     O código-fonte fornecido depende de bibliotecas do Java 11. Certifique-se de que a versão Java do seu projeto seja 11.

   Você pode carregar seu pacote como um JAR arquivo ou compactar seu pacote e carregá-lo como um ZIP arquivo. Se você criar seu aplicativo usando o AWS CLI, você especifica seu tipo de conteúdo de código (JARouZIP).

2. Se houver erros durante a compilação, verifique se sua variável de ambiente JAVA_HOME está definida corretamente.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Selecione Criar bucket.

3. Insira ka-app-code-<username> no campo Nome do bucket. Adicione um sufixo para o nome do bucket, como o nome do usuário, para torná-lo globalmente exclusivo. Selecione Next (Próximo).

4. Na etapa Configurar opções, mantenha as configurações como estão e selecione Próximo.

5. Na etapa Definir permissões, mantenha as configurações como estão e selecione Próximo.

6. Selecione Criar bucket.

7. No console do Amazon S3, escolha o - ka-app-code<username>bucket e escolha Upload.

8. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar que você criou na etapa anterior. Selecione Next (Próximo).

9. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de análise.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Descrição, insira My java test app.

   • Em Runtime, selecione Apache Flink.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.11 (versão recomendada).

4. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Selecione Policies (Políticas). Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou para você na seção anterior.

3. Na página Summary (Resumo), selecione Edit policy (Editar política). Escolha a JSONguia.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua a conta de amostra IDs (012345678901) com o ID da sua conta.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Na MyApplicationpágina, escolha Configurar.

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Em Acesso aos recursos do aplicativo, para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

4. Em Properties (Propriedades), Group ID (ID do grupo), insira ProducerConfigProperties.

5. Insira as seguintes propriedades e valores de aplicativo:

   ID do grupo	Chave	Valor
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

6. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

7. Para CloudWatch registrar, marque a caixa de seleção Ativar.

8. Selecione Atualizar.

Para criar uma função do IAM

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. No painel de navegação, selecione Roles (Funções) e Create Role (Criar função).

3. Em Selecionar tipo de identidade de confiança, selecione Serviço da AWS . Em Choose the service that will use this role (Selecionar o serviço que usará esta função), selecione Kinesis. Em Select your use case (Selecionar seu caso de uso), selecione Kinesis Analytics.

   Selecione Next: Permissions (Próximo: permissões).

4. Na página Attach permissions policies, selecione Next: Review. Você pode anexar políticas de permissões depois de criar a função.

5. Na página Create role (Criar função), insira MF-stream-rw-role para o Role name (Nome da função). Selecione Criar função.

   Agora você criou uma nova IAM função chamadaMF-stream-rw-role. Em seguida, você atualiza as políticas de confiança e de permissões para a função.

6. Anexe a política de permissões à função.

   nota

   Para este exercício, o Managed Service for Apache Flink assume esse perfil para ler dados de um fluxo de dados do Kinesis (origem) e gravar a saída em outro fluxo de dados do Kinesis. Depois, você anexa a política que criou na etapa anterior, Criar uma política de permissões.

   1. Na página Summary (Resumo), selecione a guia Permissions (Permissões).

   2. Selecione Attach Policies.

   3. Na caixa de pesquisa, insira AKReadSourceStreamWriteSinkStream (a política que você criou na seção anterior).

   4. Escolha a AKReadSourceStreamWriteSinkStreampolítica e escolha Anexar política.

1. Salve o JSON código a seguir em um arquivo chamadocreate_request.json. Substitua ARN a função de ARN exemplo pela função que você criou anteriormente. Substitua o ARN sufixo do bucket (username) pelo sufixo que você escolheu na seção anterior. Substitua o ID da conta de exemplo (012345678901) na função de execução do serviço pelo ID da conta.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_11",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Execute a ação CreateApplication com a solicitação anterior para criar o aplicativo:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Para iniciar o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadostart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Execute a ação StartApplication com a solicitação anterior para iniciar o aplicativo:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Como interromper o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadostop_request.json.

   
   {
       "ApplicationName": "test"
   }
   

2. Execute a ação StopApplication com a seguinte solicitação para interromper o aplicativo:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Para atualizar propriedades de ambiente para o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadoupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Execute a ação UpdateApplication com a solicitação anterior para atualizar as propriedades do ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. No painel Managed Service for Apache Flink, escolha. MyApplication

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel Kinesis Data Streams, escolha. ExampleInputStream

3. Na ExampleInputStreampágina, escolha Excluir Kinesis Stream e confirme a exclusão.

4. Na página Kinesis Streams, escolha o, escolha Ações ExampleOutputStream, escolha Excluir e confirme a exclusão.

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Escolha o ka-app-code -<username> balde.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Escolha a política kinesis-analytics-service- MyApplication -us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Escolha a função kinesis-analytics- MyApplication -us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Escolha o grupo/aws/kinesis-analytics/MyApplicationlog.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

Para se inscrever em um Conta da AWS

1. Abra a https://portal.aws.amazon.com/billing/inscrição.

2. Siga as instruções online.

   Parte do procedimento de inscrição envolve receber uma chamada telefônica e inserir um código de verificação no teclado do telefone.

   Quando você se inscreve em um Conta da AWS, um Usuário raiz da conta da AWSé criado. O usuário raiz tem acesso a todos os Serviços da AWS e atributos na conta. Como prática recomendada de segurança, atribua o acesso administrativo a um usuário e use somente o usuário-raiz para executar tarefas que exigem acesso de usuário-raiz.

Proteja seu Usuário raiz da conta da AWS

1. Faça login AWS Management Consolecomo proprietário da conta escolhendo Usuário raiz e inserindo seu endereço de Conta da AWS e-mail. Na próxima página, insira sua senha.

   Para obter ajuda ao fazer login usando o usuário raiz, consulte Fazer login como usuário raiz no Guia do usuário do Início de Sessão da AWS .

2. Ative a autenticação multifator (MFA) para seu usuário root.

   Para obter instruções, consulte Habilitar um MFA dispositivo virtual para seu usuário Conta da AWS root (console) no Guia IAM do usuário.

Criar um usuário com acesso administrativo

1. Ative o IAM Identity Center.

   Para obter instruções, consulte Habilitar AWS IAM Identity Center no Guia do usuário do AWS IAM Identity Center .

2. No IAM Identity Center, conceda acesso administrativo a um usuário.

   Para ver um tutorial sobre como usar o Diretório do Centro de Identidade do IAM como fonte de identidade, consulte Configurar o acesso do usuário com o padrão Diretório do Centro de Identidade do IAM no Guia AWS IAM Identity Center do usuário.

Iniciar sessão como o usuário com acesso administrativo

• Para entrar com seu usuário do IAM Identity Center, use o login URL que foi enviado ao seu endereço de e-mail quando você criou o usuário do IAM Identity Center.

  Para obter ajuda para fazer login usando um usuário do IAM Identity Center, consulte Como fazer login no portal de AWS acesso no Guia Início de Sessão da AWS do usuário.

Atribuir acesso a usuários adicionais

1. No IAM Identity Center, crie um conjunto de permissões que siga as melhores práticas de aplicação de permissões com privilégios mínimos.

   Para obter instruções, consulte Create a permission set no Guia do usuário do AWS IAM Identity Center .

2. Atribua usuários a um grupo e, em seguida, atribua o acesso de autenticação única ao grupo.

   Para obter instruções, consulte Add groups no Guia do usuário do AWS IAM Identity Center .

Para configurar o AWS CLI

1. Faça download e configure a AWS CLI. Para obter instruções, consulte os seguintes tópicos no Guia do usuário do AWS Command Line Interface :

   • Instalar a AWS Command Line Interface

   • Configurar a AWS CLI

2. Adicione um perfil nomeado para o usuário administrador no AWS CLI config arquivo. Você pode usar esse perfil ao executar os comandos da AWS CLI . Para obter mais informações sobre perfis nomeados, consulte Perfis nomeados no Guia do usuário da AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Para obter uma lista das regiões disponíveis, consulte Regiões e endpoints do na Referência geral da Amazon Web Services.

   nota

   O código e os comandos de exemplo neste tutorial usam a região Oeste dos EUA (Oregon). Para usar uma AWS região diferente, altere a região no código e nos comandos deste tutorial para a região que você deseja usar.

3. Verifique a configuração digitando o seguinte comando no prompt de comando:

   aws help

Como criar os fluxos de dados (AWS CLI)

1. Para criar o primeiro stream (ExampleInputStream), use o seguinte comando do Amazon Kinesis create-stream AWS CLI .

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Para criar o segundo fluxo que o aplicativo usa para gravar a saída, execute o mesmo comando, alterando o nome da transmissão para ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Mais adiante neste tutorial, você executa o script stock.py para enviar dados para o aplicativo.

   $ python stock.py

1. Duplique o repositório remoto usando o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/GettingStarted_1_8.

Para compilar o código do aplicativo

1. Para usar o código do aplicativo, você o compila e o empacota em um JAR arquivo. Há duas formas de compilar e empacotar o código:

   • Use a ferramenta de linha de comando do Maven. Crie seu JAR arquivo executando o seguinte comando no diretório que contém o pom.xml arquivo:

     mvn package -Dflink.version=1.8.2

   • Use o ambiente de desenvolvimento. Consulte a documentação de seu ambiente de desenvolvimento para obter mais detalhes.

     nota

     O código-fonte fornecido depende de bibliotecas do Java 1.8. Certifique-se de que a versão Java do seu projeto seja 1.8.

   Você pode carregar seu pacote como um JAR arquivo ou compactar seu pacote e carregá-lo como um ZIP arquivo. Se você criar seu aplicativo usando o AWS CLI, você especifica seu tipo de conteúdo de código (JARouZIP).

2. Se houver erros durante a compilação, verifique se sua variável de ambiente JAVA_HOME está definida corretamente.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Selecione Criar bucket.

3. Insira ka-app-code-<username> no campo Nome do bucket. Adicione um sufixo para o nome do bucket, como o nome do usuário, para torná-lo globalmente exclusivo. Selecione Next (Próximo).

4. Na etapa Configurar opções, mantenha as configurações como estão e selecione Próximo.

5. Na etapa Definir permissões, mantenha as configurações como estão e selecione Próximo.

6. Selecione Criar bucket.

7. No console do Amazon S3, escolha o - ka-app-code<username>bucket e escolha Upload.

8. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar que você criou na etapa anterior. Selecione Next (Próximo).

9. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de análise.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Descrição, insira My java test app.

   • Em Runtime, selecione Apache Flink.

   • Deixe o menu suspenso da versão como Apache Flink 1.8 (versão recomendada).

4. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Selecione Policies (Políticas). Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou para você na seção anterior.

3. Na página Summary (Resumo), selecione Edit policy (Editar política). Escolha a JSONguia.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua a conta de amostra IDs (012345678901) com o ID da sua conta.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Na MyApplicationpágina, escolha Configurar.

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Em Acesso aos recursos do aplicativo, para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

4. Insira as seguintes propriedades e valores de aplicativo:

   ID do grupo	Chave	Valor
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

6. Para CloudWatch registrar, marque a caixa de seleção Ativar.

7. Selecione Atualizar.

1. Na MyApplicationpágina, escolha Executar. Confirme a ação.

2. Quando o aplicativo estiver em execução, atualize a página. O console mostra o Gráfico do aplicativo.

Para criar uma função do IAM

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. No painel de navegação, selecione Roles (Funções) e Create Role (Criar função).

3. Em Selecionar tipo de identidade de confiança, selecione Serviço da AWS . Em Choose the service that will use this role (Selecionar o serviço que usará esta função), selecione Kinesis. Em Select your use case (Selecionar seu caso de uso), selecione Kinesis Analytics.

   Selecione Next: Permissions (Próximo: permissões).

4. Na página Attach permissions policies, selecione Next: Review. Você pode anexar políticas de permissões depois de criar a função.

5. Na página Create role (Criar função), insira MF-stream-rw-role para o Role name (Nome da função). Selecione Criar função.

   Agora você criou uma nova IAM função chamadaMF-stream-rw-role. Em seguida, você atualiza as políticas de confiança e de permissões para a função.

6. Anexe a política de permissões à função.

   nota

   Para este exercício, o Managed Service for Apache Flink assume esse perfil para ler dados de um fluxo de dados do Kinesis (origem) e gravar a saída em outro fluxo de dados do Kinesis. Depois, você anexa a política que criou na etapa anterior, Criar uma política de permissões.

   1. Na página Summary (Resumo), selecione a guia Permissions (Permissões).

   2. Selecione Attach Policies.

   3. Na caixa de pesquisa, insira AKReadSourceStreamWriteSinkStream (a política que você criou na seção anterior).

   4. Escolha a AKReadSourceStreamWriteSinkStreampolítica e escolha Anexar política.

1. Salve o JSON código a seguir em um arquivo chamadocreate_request.json. Substitua ARN a função de ARN exemplo pela função que você criou anteriormente. Substitua o ARN sufixo do bucket (username) pelo sufixo que você escolheu na seção anterior. Substitua o ID da conta de exemplo (012345678901) na função de execução do serviço pelo ID da conta.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_8",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Execute a ação CreateApplication com a solicitação anterior para criar o aplicativo:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Para iniciar o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadostart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Execute a ação StartApplication com a solicitação anterior para iniciar o aplicativo:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Como interromper o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadostop_request.json.

   
   {
      "ApplicationName": "test"
   }
   

2. Execute a ação StopApplication com a seguinte solicitação para interromper o aplicativo:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Para atualizar propriedades de ambiente para o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadoupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Execute a ação UpdateApplication com a solicitação anterior para atualizar as propriedades do ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. No painel Managed Service for Apache Flink, escolha. MyApplication

3. Selecione Configurar.

4. Na seção Snapshots, selecione Desativar e, em seguida, selecione Atualizar.

5. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel Kinesis Data Streams, escolha. ExampleInputStream

3. Na ExampleInputStreampágina, escolha Excluir Kinesis Stream e confirme a exclusão.

4. Na página Kinesis Streams, escolha o, escolha Ações ExampleOutputStream, escolha Excluir e confirme a exclusão.

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Escolha o ka-app-code -<username> balde.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Escolha a política kinesis-analytics-service- MyApplication -us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Escolha a função kinesis-analytics- MyApplication -us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Escolha o grupo/aws/kinesis-analytics/MyApplicationlog.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

Para se inscrever em um Conta da AWS

1. Abra a https://portal.aws.amazon.com/billing/inscrição.

2. Siga as instruções online.

   Parte do procedimento de inscrição envolve receber uma chamada telefônica e inserir um código de verificação no teclado do telefone.

   Quando você se inscreve em um Conta da AWS, um Usuário raiz da conta da AWSé criado. O usuário raiz tem acesso a todos os Serviços da AWS e atributos na conta. Como prática recomendada de segurança, atribua o acesso administrativo a um usuário e use somente o usuário-raiz para executar tarefas que exigem acesso de usuário-raiz.

Proteja seu Usuário raiz da conta da AWS

1. Faça login AWS Management Consolecomo proprietário da conta escolhendo Usuário raiz e inserindo seu endereço de Conta da AWS e-mail. Na próxima página, insira sua senha.

   Para obter ajuda ao fazer login usando o usuário raiz, consulte Fazer login como usuário raiz no Guia do usuário do Início de Sessão da AWS .

2. Ative a autenticação multifator (MFA) para seu usuário root.

   Para obter instruções, consulte Habilitar um MFA dispositivo virtual para seu usuário Conta da AWS root (console) no Guia IAM do usuário.

Criar um usuário com acesso administrativo

1. Ative o IAM Identity Center.

   Para obter instruções, consulte Habilitar AWS IAM Identity Center no Guia do usuário do AWS IAM Identity Center .

2. No IAM Identity Center, conceda acesso administrativo a um usuário.

   Para ver um tutorial sobre como usar o Diretório do Centro de Identidade do IAM como fonte de identidade, consulte Configurar o acesso do usuário com o padrão Diretório do Centro de Identidade do IAM no Guia AWS IAM Identity Center do usuário.

Iniciar sessão como o usuário com acesso administrativo

• Para entrar com seu usuário do IAM Identity Center, use o login URL que foi enviado ao seu endereço de e-mail quando você criou o usuário do IAM Identity Center.

  Para obter ajuda para fazer login usando um usuário do IAM Identity Center, consulte Como fazer login no portal de AWS acesso no Guia Início de Sessão da AWS do usuário.

Atribuir acesso a usuários adicionais

1. No IAM Identity Center, crie um conjunto de permissões que siga as melhores práticas de aplicação de permissões com privilégios mínimos.

   Para obter instruções, consulte Create a permission set no Guia do usuário do AWS IAM Identity Center .

2. Atribua usuários a um grupo e, em seguida, atribua o acesso de autenticação única ao grupo.

   Para obter instruções, consulte Add groups no Guia do usuário do AWS IAM Identity Center .

Para configurar o AWS CLI

1. Faça download e configure a AWS CLI. Para obter instruções, consulte os seguintes tópicos no Guia do usuário do AWS Command Line Interface :

   • Instalar a AWS Command Line Interface

   • Configurar a AWS CLI

2. Adicione um perfil nomeado para o usuário administrador no AWS CLI config arquivo. Você pode usar esse perfil ao executar os comandos da AWS CLI . Para obter mais informações sobre perfis nomeados, consulte Perfis nomeados no Guia do usuário da AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Para obter uma lista das AWS regiões disponíveis, consulte Regiões e endpoints no Referência geral da Amazon Web Services.

   nota

   O código e os comandos de exemplo neste tutorial usam a região Oeste dos EUA (Oregon). Para usar uma região diferente, altere a região no código e nos comandos deste tutorial para a região que você deseja usar.

3. Verifique a configuração digitando o seguinte comando no prompt de comando:

   aws help

Como criar os fluxos de dados (AWS CLI)

1. Para criar o primeiro stream (ExampleInputStream), use o seguinte comando do Amazon Kinesis create-stream AWS CLI .

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Para criar o segundo fluxo que o aplicativo usa para gravar a saída, execute o mesmo comando, alterando o nome da transmissão para ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Mais adiante neste tutorial, você executa o script stock.py para enviar dados para o aplicativo.

   $ python stock.py

1. Duplique o repositório remoto usando o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/GettingStarted_1_6.

Para compilar o código do aplicativo

1. Para usar o código do aplicativo, você o compila e o empacota em um JAR arquivo. Há duas formas de compilar e empacotar o código:

   • Use a ferramenta de linha de comando do Maven. Crie seu JAR arquivo executando o seguinte comando no diretório que contém o pom.xml arquivo:

     mvn package

     nota

     O parâmetro -Dflink.version não é necessário para o runtime do Managed Service for Apache Flink versão 1.0.1; ele só é necessário para a versão 1.1.0 e posterior. Para obter mais informações, consulte Especifique a versão do Apache Flink do seu aplicativo.

   • Use o ambiente de desenvolvimento. Consulte a documentação de seu ambiente de desenvolvimento para obter mais detalhes.

   Você pode carregar seu pacote como um JAR arquivo ou compactar seu pacote e carregá-lo como um ZIP arquivo. Se você criar seu aplicativo usando o AWS CLI, você especifica seu tipo de conteúdo de código (JARouZIP).

2. Se houver erros durante a compilação, verifique se sua variável de ambiente JAVA_HOME está definida corretamente.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Selecione Criar bucket.

3. Insira ka-app-code-<username> no campo Nome do bucket. Adicione um sufixo para o nome do bucket, como o nome do usuário, para torná-lo globalmente exclusivo. Selecione Next (Próximo).

4. Na etapa Configurar opções, mantenha as configurações como estão e selecione Próximo.

5. Na etapa Definir permissões, mantenha as configurações como estão e selecione Próximo.

6. Selecione Criar bucket.

7. No console do Amazon S3, escolha o - ka-app-code<username>bucket e escolha Upload.

8. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar que você criou na etapa anterior. Escolha Próximo.

9. Na etapa Definir permissões, mantenha as configurações como estão. Escolha Próximo.

10. Na etapa Definir propriedades, mantenha as configurações como estão. Escolha Carregar.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de análise.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Descrição, insira My java test app.

   • Em Runtime, selecione Apache Flink.

     nota

     O Managed Service for Apache Flink usa o Apache Flink versão 1.8.2 ou 1.6.2.

   • Altere o pulldown da versão para Apache Flink 1.6.

4. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Selecione Policies (Políticas). Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou para você na seção anterior.

3. Na página Summary (Resumo), selecione Edit policy (Editar política). Escolha a JSONguia.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua a conta de amostra IDs (012345678901) com o ID da sua conta.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Na MyApplicationpágina, escolha Configurar.

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira java-getting-started-1.0.jar.

3. Em Acesso aos recursos do aplicativo, para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

4. Insira as seguintes propriedades e valores de aplicativo:

   ID do grupo	Chave	Valor
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

6. Para CloudWatch registrar, marque a caixa de seleção Ativar.

7. Selecione Atualizar.

1. Na MyApplicationpágina, escolha Executar. Confirme a ação.

2. Quando o aplicativo estiver em execução, atualize a página. O console mostra o Gráfico do aplicativo.

Para criar uma função do IAM

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. No painel de navegação, selecione Roles (Funções) e Create Role (Criar função).

3. Em Selecionar tipo de identidade de confiança, selecione Serviço da AWS . Em Choose the service that will use this role (Selecionar o serviço que usará esta função), selecione Kinesis. Em Select your use case (Selecionar seu caso de uso), selecione Kinesis Analytics.

   Selecione Next: Permissions (Próximo: permissões).

4. Na página Attach permissions policies, selecione Next: Review. Você pode anexar políticas de permissões depois de criar a função.

5. Na página Create role (Criar função), insira MF-stream-rw-role para o Role name (Nome da função). Selecione Criar função.

   Agora você criou uma nova IAM função chamadaMF-stream-rw-role. Em seguida, você atualiza as políticas de confiança e de permissões para a função.

6. Anexe a política de permissões à função.

   nota

   Para este exercício, o Managed Service for Apache Flink assume esse perfil para ler dados de um fluxo de dados do Kinesis (origem) e gravar a saída em outro fluxo de dados do Kinesis. Depois, você anexa a política que criou na etapa anterior, Criação de uma política de permissões.

   1. Na página Summary (Resumo), selecione a guia Permissions (Permissões).

   2. Selecione Attach Policies.

   3. Na caixa de pesquisa, insira AKReadSourceStreamWriteSinkStream (a política que você criou na seção anterior).

   4. Escolha a AKReadSourceStreamWriteSinkStreampolítica e escolha Anexar política.

1. Salve o JSON código a seguir em um arquivo chamadocreate_request.json. Substitua ARN a função de ARN exemplo pela função que você criou anteriormente. Substitua o ARN sufixo do bucket (username) pelo sufixo que você escolheu na seção anterior. Substitua o ID da conta de exemplo (012345678901) na função de execução do serviço pelo ID da conta.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_6",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "java-getting-started-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Execute a ação CreateApplication com a solicitação anterior para criar o aplicativo:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Para iniciar o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadostart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Execute a ação StartApplication com a solicitação anterior para iniciar o aplicativo:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Como interromper o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadostop_request.json.

   {
      "ApplicationName": "test"
   }
   

2. Execute a ação StopApplication com a seguinte solicitação para interromper o aplicativo:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Para atualizar propriedades de ambiente para o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadoupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Execute a ação UpdateApplication com a solicitação anterior para atualizar as propriedades do ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. No painel Managed Service for Apache Flink, escolha. MyApplication

3. Selecione Configurar.

4. Na seção Snapshots, selecione Desativar e, em seguida, selecione Atualizar.

5. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel Kinesis Data Streams, escolha. ExampleInputStream

3. Na ExampleInputStreampágina, escolha Excluir Kinesis Stream e confirme a exclusão.

4. Na página Kinesis Streams, escolha o, escolha Ações ExampleOutputStream, escolha Excluir e confirme a exclusão.

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Escolha o ka-app-code -<username> balde.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Escolha a política kinesis-analytics-service- MyApplication -us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Escolha a função kinesis-analytics- MyApplication -us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Escolha o grupo/aws/kinesis-analytics/MyApplicationlog.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

   
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Execute o script stock.py:

   $ python stock.py

   Mantenha o script em execução enquanto você conclui o restante do tutorial.

1. Instale o cliente do Git se você ainda não tiver feito isso. Para obter mais informações, consulte Instalando o Git.

2. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/TumblingWindow.

1. Instale o Java e o Maven, caso ainda não o tenha feito. Para obter mais informações, consulte Preencha os pré-requisitos necessários no tutorial Tutorial: Comece a usar o serviço DataStream API gerenciado para Apache Flink.

2. Compile o aplicativo com o seguinte comando:

   mvn package -Dflink.version=1.15.3

   nota

   O código-fonte fornecido depende de bibliotecas do Java 11.

1. No console do Amazon S3, escolha o - ka-app-code<username>bucket e escolha Upload.

2. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar que você criou na etapa anterior.

3. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de análise.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink.

     nota

     O Managed Service for Apache Flink usa o Apache Flink versão 1.15.2.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.15.2 (versão recomendada).

4. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Selecione Policies (Políticas). Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou para você na seção anterior.

3. Na página Summary (Resumo), selecione Edit policy (Editar política). Escolha a JSONguia.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua a conta de amostra IDs (012345678901) com o ID da sua conta.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Na MyApplicationpágina, escolha Configurar.

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Em Acesso aos recursos do aplicativo, para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

4. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

5. Para CloudWatch registrar, marque a caixa de seleção Ativar.

6. Selecione Atualizar.

1. Na MyApplicationpágina, escolha Executar. Deixe a opção Executar sem snapshot selecionada e confirme a ação.

2. Quando o aplicativo estiver em execução, atualize a página. O console mostra o Gráfico do aplicativo.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. no painel Managed Service for Apache Flink, escolha. MyApplication

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. No painel Kinesis Data Streams, escolha. ExampleInputStream

3. Na ExampleInputStreampágina, escolha Excluir Kinesis Stream e confirme a exclusão.

4. Na página Kinesis Streams, escolha o, escolha Ações ExampleOutputStream, escolha Excluir e confirme a exclusão.

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Escolha o ka-app-code -<username> balde.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Escolha a política kinesis-analytics-service- MyApplication -us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Escolha a função kinesis-analytics- MyApplication -us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Escolha o grupo/aws/kinesis-analytics/MyApplicationlog.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Execute o script stock.py:

   $ python stock.py

   Mantenha o script em execução enquanto você conclui o restante do tutorial.

1. Instale o cliente do Git se você ainda não tiver feito isso. Para obter mais informações, consulte Instalando o Git.

2. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/SlidingWindow.

1. Instale o Java e o Maven, caso ainda não o tenha feito. Para obter mais informações, consulte Preencha os pré-requisitos necessários no tutorial Tutorial: Comece a usar o serviço DataStream API gerenciado para Apache Flink.

2. Compile o aplicativo com o seguinte comando:

   mvn package -Dflink.version=1.15.3

   nota

   O código-fonte fornecido depende de bibliotecas do Java 11.

1. No console do Amazon S3, escolha o - ka-app-code<username>bucket e, em seguida, escolha Upload.

2. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar que você criou na etapa anterior.

3. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de análise.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.15.2 (versão recomendada).

4. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Selecione Policies (Políticas). Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou para você na seção anterior.

3. Na página Summary (Resumo), selecione Edit policy (Editar política). Escolha a JSONguia.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua a conta de amostra IDs (012345678901) com o ID da sua conta.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Na MyApplicationpágina, escolha Configurar.

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Em Acesso aos recursos do aplicativo, para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

4. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

5. Para CloudWatch registrar, marque a caixa de seleção Ativar.

6. Selecione Atualizar.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel Managed Service for Apache Flink, escolha. MyApplication

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. No painel Kinesis Data Streams, escolha. ExampleInputStream

3. Na ExampleInputStreampágina, escolha Excluir Kinesis Stream e confirme a exclusão.

4. Na página Kinesis Streams, escolha o, escolha Ações ExampleOutputStream, escolha Excluir e confirme a exclusão.

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Escolha o ka-app-code -<username> balde.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Escolha a política kinesis-analytics-service- MyApplication -us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Escolha a função kinesis-analytics- MyApplication -us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Escolha o grupo/aws/kinesis-analytics/MyApplicationlog.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

   
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Execute o script stock.py:

   $ python stock.py

   Mantenha o script em execução enquanto você conclui o restante do tutorial.

1. Instale o cliente do Git se você ainda não tiver feito isso. Para obter mais informações, consulte Instalando o Git.

2. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/S3Sink.

1. Instale o Java e o Maven, caso ainda não o tenha feito. Para obter mais informações, consulte Preencha os pré-requisitos necessários no tutorial Tutorial: Comece a usar o serviço DataStream API gerenciado para Apache Flink.

2. Compile o aplicativo com o seguinte comando:

   mvn package -Dflink.version=1.15.3

1. No console do Amazon S3, escolha o - ka-app-code<username>bucket, navegue até a pasta de código e escolha Upload.

2. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar que você criou na etapa anterior.

3. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de análise.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.15.2 (versão recomendada).

4. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

   nota

   Ao criar um serviço gerenciado para o aplicativo Apache Flink usando o console, você tem a opção de criar uma IAM função e uma política para seu aplicativo. O aplicativo usa essa função e política para acessar os recursos dependentes. Esses IAM recursos são nomeados usando o nome do aplicativo e a região da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink.

   • Deixe a versão como Apache Flink versão 1.15.2 (versão recomendada).

6. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

7. Selecione Create application (Criar aplicativo).

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Selecione Policies (Políticas). Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou para você na seção anterior.

3. Na página Summary (Resumo), selecione Edit policy (Editar política). Escolha a JSONguia.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua a conta de amostra IDs (012345678901) com o ID da sua conta. Substitua <username> pelo seu nome de usuário.

   {
               "Sid": "S3",
               "Effect": "Allow",
               "Action": [
                   "s3:Abort*",
                   "s3:DeleteObject*",
                   "s3:GetObject*",
                   "s3:GetBucket*",
                   "s3:List*",
                   "s3:ListBucket",
                   "s3:PutObject"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-<username>",
                   "arn:aws:s3:::ka-app-code-<username>/*"
               ]
             }, 
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:%LOG_STREAM_PLACEHOLDER%"
               ]
           }
           ,
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           
       ]
   }

1. Na MyApplicationpágina, escolha Configurar.

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira code/aws-kinesis-analytics-java-apps-1.0.jar.

3. Em Acesso aos recursos do aplicativo, para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

4. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

5. Para CloudWatch registrar, marque a caixa de seleção Ativar.

6. Selecione Atualizar.

1. Na MyApplicationpágina, escolha Executar. Deixe a opção Executar sem snapshot selecionada e confirme a ação.

2. Quando o aplicativo estiver em execução, atualize a página. O console mostra o Gráfico do aplicativo.

1. Adicione as seguintes declarações de importação ao início do arquivo S3StreamingSinkJob.java:

   import org.apache.flink.streaming.api.functions.sink.filesystem.rollingpolicies.DefaultRollingPolicy;
   import org.apache.flink.streaming.api.functions.sink.filesystem.bucketassigners.DateTimeBucketAssigner;

2. Atualize o método createS3SinkFromStaticConfig() no código para que fique como se segue:

   private static StreamingFileSink<String> createS3SinkFromStaticConfig() {
   
       final StreamingFileSink<String> sink = StreamingFileSink
           .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8"))
           .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH"))
           .withRollingPolicy(DefaultRollingPolicy.create().build())
           .build();
       return sink;
   }
               

1. Aumente a CheckpointInterval configuração do aplicativo. A entrada a seguir para a UpdateApplicationação define o intervalo do ponto de verificação em 10 minutos:

   {
      "ApplicationConfigurationUpdate": {  
         "FlinkApplicationConfigurationUpdate": { 
            "CheckpointConfigurationUpdate": {
               "ConfigurationTypeUpdate" : "CUSTOM", 
               "CheckpointIntervalUpdate": 600000
            }
         }
      },
      "ApplicationName": "MyApplication",
      "CurrentApplicationVersionId": 5
   }

   Para usar o código anterior, especifique a versão atual do aplicativo. Você pode recuperar a versão do aplicativo usando a ListApplicationsação.

2. Adicione a seguinte declaração de importação ao início do arquivo S3StreamingSinkJob.java:

   import java.util.concurrent.TimeUnit; 

3. Atualize o método createS3SinkFromStaticConfig no arquivo S3StreamingSinkJob.java para que fique como se segue:

   private static StreamingFileSink<String> createS3SinkFromStaticConfig() {
   
           final StreamingFileSink<String> sink = StreamingFileSink
                   .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8"))
                   .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH"))
                   .withRollingPolicy(
                           DefaultRollingPolicy.create()
                               .withRolloverInterval(TimeUnit.MINUTES.toMillis(8))
                               .withInactivityInterval(TimeUnit.MINUTES.toMillis(5))
                               .withMaxPartSize(1024 * 1024 * 1024)
                               .build())
                   .build();
           return sink;
       }

   O exemplo de código anterior define a frequência de gravações no bucket do Amazon S3 em oito minutos.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel Managed Service for Apache Flink, escolha. MyApplication

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. No painel Kinesis Data Streams, escolha. ExampleInputStream

3. Na ExampleInputStreampágina, escolha Excluir Kinesis Stream e confirme a exclusão.

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Escolha o ka-app-code -<username> balde.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Escolha a política kinesis-analytics-service- MyApplication -us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Funções.

7. Escolha a função kinesis-analytics- MyApplication -us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. Na barra de navegação, selecione Logs.

3. Escolha o grupo/aws/kinesis-analytics/MyApplicationlog.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

1. Instale o cliente do Git se você ainda não tiver feito isso. Para obter mais informações, consulte Instalando o Git.

2. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. O código do aplicativo está localizado no arquivo amazon-kinesis-data-analytics-java-examples/KafkaConnectors/KafkaGettingStartedJob.java. Você pode examinar o código para se familiarizar com a estrutura do código do aplicativo Managed Service for Apache Flink.

4. Use a ferramenta Maven de linha de comando ou seu ambiente de desenvolvimento preferido para criar o arquivo. JAR Para compilar o JAR arquivo usando a ferramenta Maven de linha de comando, digite o seguinte:

   mvn package -Dflink.version=1.15.3

   Se a compilação for feita com sucesso, o seguinte arquivo será criado:

   target/KafkaGettingStartedJob-1.0.jar

   nota

   O código-fonte fornecido depende de bibliotecas do Java 11. Se você estiver usando um ambiente de desenvolvimento,

1. No console do Amazon S3, escolha o - ka-app-code<username>bucket e escolha Upload.

2. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo KafkaGettingStartedJob-1.0.jar que você criou na etapa anterior.

3. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Abra o console do Managed Service for Apache Flink em /flink. https://console.aws.amazon.com

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de análise.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink 1.15.2.

4. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Na MyApplicationpágina, escolha Configurar.

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira KafkaGettingStartedJob-1.0.jar.

3. Em Acesso aos recursos do aplicativo, para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

   nota

   Quando você especifica recursos do aplicativo usando o console (como CloudWatch Logs ou AmazonVPC), o console modifica sua função de execução do aplicativo para conceder permissão para acessar esses recursos.

4. Em Propriedades, selecione Adicionar grupo. Insira as seguintes propriedades:

   ID do grupo	Chave	Valor
   KafkaSource	tópico	AWS KafkaTutorialTopic
   KafkaSource	bootstrap.servers	The bootstrap server list you saved previously
   KafkaSource	security.protocol	SSL
   KafkaSource	ssl.truststore.location	/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
   KafkaSource	ssl.truststore.password	changeit

   nota

   O ssl.truststore.password para o certificado padrão é “changeit”; você não precisa alterar esse valor se estiver usando o certificado padrão.

   Selecione Adicionar grupo novamente. Insira as seguintes propriedades:

   ID do grupo	Chave	Valor
   KafkaSink	tópico	AWS KafkaTutorialTopicDestination
   KafkaSink	bootstrap.servers	The bootstrap server list you saved previously
   KafkaSink	security.protocol	SSL
   KafkaSink	ssl.truststore.location	/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
   KafkaSink	ssl.truststore.password	changeit
   KafkaSink	transaction.timeout.ms	1000

   O código do aplicativo lê as propriedades do aplicativo acima para configurar a fonte e o coletor usados para interagir com o seu MSK cluster VPC e o da Amazon. Para obter mais informações sobre usar as propriedades, consulte Use propriedades de tempo de execução.

5. Em Snapshots, selecione Desativar. Isso facilitará a atualização do aplicativo sem carregar dados inválidos do estado do aplicativo.

6. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

7. Para CloudWatch registrar, escolha a caixa de seleção Ativar.

8. Na seção Virtual Private Cloud (VPC), escolha a VPC para associar ao seu aplicativo. Escolha as sub-redes e o grupo de segurança associados à sua VPC que você deseja que o aplicativo use para acessar VPC os recursos.

9. Selecione Atualizar.

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Execute o script stock.py:

   $ python stock.py

   Mantenha o script em execução enquanto você conclui o restante do tutorial.

1. Instale o cliente do Git se você ainda não tiver feito isso. Para obter mais informações, consulte Instalando o Git.

2. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/EfoConsumer.

1. Instale o Java e o Maven, caso ainda não o tenha feito. Para obter mais informações, consulte Preencha os pré-requisitos necessários no tutorial Tutorial: Comece a usar o serviço DataStream API gerenciado para Apache Flink.

2. Compile o aplicativo com o seguinte comando:

   mvn package -Dflink.version=1.15.3

   nota

   O código-fonte fornecido depende de bibliotecas do Java 11.

1. No console do Amazon S3, escolha o - ka-app-code<username>bucket e escolha Upload.

2. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo aws-kinesis-analytics-java-apps-1.0.jar que você criou na etapa anterior.

3. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de análise.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Runtime, selecione Apache Flink.

     nota

     O Managed Service for Apache Flink usa o Apache Flink versão 1.15.2.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.15.2 (versão recomendada).

4. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Selecione Policies (Políticas). Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou para você na seção anterior.

3. Na página Summary (Resumo), selecione Edit policy (Editar política). Escolha a JSONguia.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua a conta de amostra IDs (012345678901) com o ID da sua conta.

   nota

   Essas permissões concedem ao aplicativo a capacidade de acessar o EFO consumidor.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "AllStreams",
               "Effect": "Allow",
               "Action": [
                   "kinesis:ListShards",
                   "kinesis:ListStreamConsumers",
                   "kinesis:DescribeStreamSummary"
               ],
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/*"
           },
           {
               "Sid": "Stream",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStream",
                   "kinesis:RegisterStreamConsumer",
                   "kinesis:DeregisterStreamConsumer"
               ],
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           },
           {
               "Sid": "Consumer",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStreamConsumer",
                   "kinesis:SubscribeToShard"
               ],
               "Resource": [
                   "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app",
                   "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app:*"
               ]
           }
       ]
   }

1. Na MyApplicationpágina, escolha Configurar.

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira aws-kinesis-analytics-java-apps-1.0.jar.

3. Em Acesso aos recursos do aplicativo, para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

4. Em Propriedades, selecione Criar grupo.

5. Insira as seguintes propriedades e valores de aplicativo:

   ID do grupo	Chave	Valor
   ConsumerConfigProperties	flink.stream.recordpublisher	EFO
   ConsumerConfigProperties	flink.stream.efo.consumername	basic-efo-flink-app
   ConsumerConfigProperties	INPUT_STREAM	ExampleInputStream
   ConsumerConfigProperties	flink.inputstream.initpos	LATEST
   ConsumerConfigProperties	AWS_REGION	us-west-2

6. Em Propriedades, selecione Criar grupo.

7. Insira as seguintes propriedades e valores de aplicativo:

   ID do grupo	Chave	Valor
   ProducerConfigProperties	OUTPUT_STREAM	ExampleOutputStream
   ProducerConfigProperties	AWS_REGION	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

8. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

9. Para CloudWatch registrar, marque a caixa de seleção Ativar.

10. Selecione Atualizar.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. no painel Managed Service for Apache Flink, escolha. MyApplication

3. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. No painel Kinesis Data Streams, escolha. ExampleInputStream

3. Na ExampleInputStreampágina, escolha Excluir Kinesis Stream e confirme a exclusão.

4. Na página Kinesis Streams, escolha o, escolha Ações ExampleOutputStream, escolha Excluir e confirme a exclusão.

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Escolha o ka-app-code -<username> balde.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Escolha a política kinesis-analytics-service- MyApplication -us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Na barra de navegação, selecione Roles (Funções).

7. Escolha a função kinesis-analytics- MyApplication -us-west-2.

8. Selecione Excluir função e, em seguida, confirme a exclusão.

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Escolha o grupo/aws/kinesis-analytics/MyApplicationlog.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.

1. Crie um arquivo denominado stock.py com o conteúdo a seguir:

    import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Execute o script stock.py:

   $ python stock.py

   Mantenha o script em execução enquanto você conclui o restante do tutorial.

1. Duplique o repositório remoto com o seguinte comando:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Navegue até o diretório amazon-kinesis-data-analytics-java-examples/FirehoseSink.

1. Instale o Java e o Maven, caso ainda não o tenha feito. Para obter mais informações, consulte Preencha os pré-requisitos necessários no tutorial Tutorial: Comece a usar o serviço DataStream API gerenciado para Apache Flink.

2. Para usar o conector Kinesis no aplicativo a seguir, você precisa baixar, compilar e instalar o Apache Maven. Para obter mais informações, consulte Usando o conector Apache Flink Kinesis Streams com versões anteriores do Apache Flink.

3. Compile o aplicativo com o seguinte comando:

   mvn package -Dflink.version=1.15.3

   nota

   O código-fonte fornecido depende de bibliotecas do Java 11.

Para fazer upload do código do aplicativo

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. No console, escolha o ka-app-code -<username>bucket e, em seguida, escolha Upload.

3. Na etapa Selecionar arquivos, selecione Adicionar arquivos. Navegue até o arquivo java-getting-started-1.0.jar que você criou na etapa anterior.

4. Você não precisa alterar nenhuma das configurações para o objeto, em seguida, selecione Upload.

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel do Managed Service for Apache Flink, selecione Criar aplicativo de análise.

3. Na página Managed Service for Apache Flink - Criar aplicativo, forneça os detalhes do aplicativo da seguinte forma:

   • Em Nome do aplicativo, insira MyApplication.

   • Em Descrição, insira My java test app.

   • Em Runtime, selecione Apache Flink.

     nota

     O Managed Service for Apache Flink usa o Apache Flink versão 1.15.2.

   • Deixe o menu suspenso de versão como Apache Flink versão 1.15.2 (versão recomendada).

4. Para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

5. Selecione Create application (Criar aplicativo).

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Selecione Policies (Políticas). Selecione a política kinesis-analytics-service-MyApplication-us-west-2 que o console criou para você na seção anterior.

3. Na página Summary (Resumo), selecione Edit policy (Editar política). Escolha a JSONguia.

4. Adicione a seção destacada do exemplo de política a seguir à política. Substitua todas as instâncias da conta de amostra IDs (012345678901) com o ID da sua conta.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
              ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteDeliveryStream",
               "Effect": "Allow",
               "Action": "firehose:*",
               "Resource": "arn:aws:firehose:us-west-2:012345678901:deliverystream/ExampleDeliveryStream"
           }
       ]
   }

1. Na MyApplicationpágina, escolha Configurar.

2. Na página Configurar aplicativo, forneça o Local do código:

   • Em Bucket do Amazon S3, insira ka-app-code-<username>.

   • Em Caminho do objeto do Amazon S3, insira java-getting-started-1.0.jar.

3. Em Acesso aos recursos do aplicativo, para permissões de acesso, escolha Criar/atualizar IAM função kinesis-analytics-MyApplication-us-west-2.

4. Em Monitoramento, confirme se Nível de monitoramento de métricas está definido como Aplicativo.

5. Para CloudWatch registrar, marque a caixa de seleção Ativar.

6. Selecione Atualizar.

Para criar uma função do IAM

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. No painel de navegação, selecione Roles (Funções) e Create Role (Criar função).

3. Em Selecionar tipo de identidade de confiança, selecione Serviço da AWS . Em Choose the service that will use this role (Selecionar o serviço que usará esta função), selecione Kinesis. Em Select your use case (Selecionar seu caso de uso), selecione Kinesis Analytics.

   Selecione Next: Permissions (Próximo: permissões).

4. Na página Attach permissions policies, selecione Next: Review. Você pode anexar políticas de permissões depois de criar a função.

5. Na página Create role (Criar função), insira MF-stream-rw-role para o Role name (Nome da função). Selecione Criar função.

   Agora você criou uma nova IAM função chamadaMF-stream-rw-role. Em seguida, você atualiza as políticas de confiança e de permissões para a função.

6. Anexe a política de permissões à função.

   nota

   Para este exercício, o Managed Service for Apache Flink assume esse perfil para ler dados de um fluxo de dados do Kinesis (origem) e gravar a saída em outro fluxo de dados do Kinesis. Depois, você anexa a política que criou na etapa anterior, Criação de uma política de permissões.

   1. Na página Summary (Resumo), selecione a guia Permissions (Permissões).

   2. Selecione Attach Policies.

   3. Na caixa de pesquisa, insira AKReadSourceStreamWriteSinkStream (a política que você criou na seção anterior).

   4. Escolha a AKReadSourceStreamWriteSinkStreampolítica e escolha Anexar política.

1. Salve o JSON código a seguir em um arquivo chamadocreate_request.json. Substitua ARN a função de ARN exemplo pela função que você criou anteriormente. Substitua o ARN sufixo do bucket pelo sufixo que você escolheu na Crie recursos dependentes seção (ka-app-code-<username>.) Substitua o ID da conta de amostra (012345678901) na função de execução do serviço com o ID da sua conta.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_15",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "java-getting-started-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           }
         }
       }
   }
   
   

2. Execute a ação CreateApplication com a solicitação anterior para criar o aplicativo:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Para iniciar o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadostart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Execute a ação StartApplication com a solicitação anterior para iniciar o aplicativo:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Como interromper o aplicativo

1. Salve o JSON código a seguir em um arquivo chamadostop_request.json.

   
   {
       "ApplicationName": "test"
   }
   

2. Execute a ação StopApplication com a seguinte solicitação para interromper o aplicativo:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

1. Abra o console do Managed Service for Apache Flink em /flink https://console.aws.amazon.com

2. No painel Managed Service for Apache Flink, escolha. MyApplication

3. Selecione Configurar.

4. Na seção Snapshots, selecione Desativar e, em seguida, selecione Atualizar.

5. Na página do aplicativo, selecione Excluir e, em seguida, confirme a exclusão.

1. Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. No painel Kinesis Data Streams, escolha. ExampleInputStream

3. Na ExampleInputStreampágina, escolha Excluir Kinesis Stream e confirme a exclusão.

1. Abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. No painel Firehose, escolha. ExampleDeliveryStream

3. Na ExampleDeliveryStreampágina, escolha Excluir stream do Firehose e confirme a exclusão.

1. Abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Escolha o ka-app-code -<username> balde.

3. Selecione Excluir e, em seguida, insira o nome do bucket para confirmar a exclusão.

4. Se você criou um bucket do Amazon S3 para o destino do seu stream do Firehose, exclua esse bucket também.

1. Abra o IAM console em https://console.aws.amazon.com/iam/.

2. Na barra de navegação, selecione Políticas.

3. No controle do filtro, insira kinesis.

4. Escolha a política kinesis-analytics-service- MyApplication -us-west-2.

5. Selecione Ações da política e, em seguida, Excluir.

6. Se você criou uma nova política para seu stream do Firehose, exclua essa política também.

7. Na barra de navegação, selecione Roles (Funções).

8. Escolha a função kinesis-analytics- MyApplication -us-west-2.

9. Selecione Excluir função e, em seguida, confirme a exclusão.

10. Se você criou uma nova função para seu stream do Firehose, exclua essa função também.

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Logs.

3. Escolha o grupo/aws/kinesis-analytics/MyApplicationlog.

4. Selecione Excluir grupo de logs e, em seguida, confirme a exclusão.