Processar um CSV arquivo do Amazon S3 usando um mapa distribuído - AWS Step Functions
Etapa 1: Criar a máquina de estadoEtapa 2: Executar a máquina de estado

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Processar um CSV arquivo do Amazon S3 usando um mapa distribuído

Este projeto de amostra demonstra como você pode usar o estado do Mapa Distribuído para iterar mais de 10.000 linhas de um CSV arquivo que é gerado usando um Lambda função. O CSV arquivo contém informações de envio de pedidos de clientes e é armazenado em um bucket do Amazon S3. O Mapa Distribuído itera em um lote de 10 linhas no CSV arquivo para análise de dados.

O Mapa Distribuído contém um Lambda função para detectar quaisquer pedidos atrasados. O Mapa distribuído também contém um Mapa Inline para processar os pedidos atrasados em um lote e retornar esses pedidos atrasados em uma matriz. Para cada pedido atrasado, o Mapa Inline envia uma mensagem para um Amazon SQS queue. Por fim, esse projeto de exemplo armazena os resultados do Execução de mapa em outro bucket do Amazon S3 em seu Conta da AWS.

Com o Mapa distribuído, você pode realizar até 10 mil execuções paralelas de fluxo de trabalho secundário por vez. Neste projeto de exemplo, a simultaneidade máxima do Mapa distribuído é definida em mil, o que a limita a mil execuções paralelas de fluxo de trabalho secundário.

Esse projeto de amostra cria a máquina de estado, os AWS recursos de suporte e configura IAM as permissões relacionadas. Explore este projeto de exemplo para saber como usar o Mapa distribuído para orquestrar workloads paralelas em grande escala ou usá-lo como ponto de partida para seus próprios projetos.

Etapa 1: Criar a máquina de estado

  1. Abra o console do Step Functions e clique em Criar máquina de estado.

  2. Encontre e escolha o modelo inicial com o qual você deseja trabalhar. Escolha Próximo para continuar.

  3. Escolha Executar uma demonstração para criar um ready-to-deploy fluxo de trabalho e somente leitura, ou escolha Criar nele para criar uma definição de máquina de estado editável na qual você possa criar e implantar posteriormente.

  4. Escolha Usar modelo para continuar com a seleção.

As próximas etapas dependem da escolha anterior:

  1. Faça uma demonstração — Você pode revisar a máquina de estado antes de criar um projeto somente para leitura com recursos implantados pelo AWS CloudFormation seu. Conta da AWS

    É possível visualizar a definição da máquina de estado e, quando estiver tudo pronto, escolher Implantar e executar para implantar o projeto e criar os recursos.

    A implantação pode demorar até dez minutos para criar recursos e permissões. É possível usar o link do ID da pilha para monitorar o andamento no AWS CloudFormation.

    Após a conclusão da implantação, você deverá ver a nova máquina de estado no console.

  2. Comece a criar: é possível revisar e editar a definição do fluxo de trabalho. Talvez seja necessário definir valores para espaços reservados no projeto de exemplo antes de tentar executar o fluxo de trabalho personalizado.

nota

Cobranças padrão podem ser aplicadas aos serviços implantados na conta.

Etapa 2: Executar a máquina de estado

  1. Na página Máquinas de estado, escolha seu projeto de exemplo.

  2. Na página do projeto de exemplo, escolha Iniciar execução.

  3. Na caixa de diálogo Iniciar execução, faça o seguinte:

    1. (Opcional) Insira um nome de execução personalizado para substituir o padrão gerado.

      ASCIINão-nomes e registro

      Step Functions aceita nomes para máquinas de estado, execuções, atividades e rótulos que não contenham ASCII caracteres. Como esses caracteres não funcionarão com a Amazon CloudWatch, recomendamos usar somente ASCII caracteres para que você possa acompanhar as métricas CloudWatch.

    2. (Opcional) Na caixa Entrada, insira os valores de entrada comoJSON. É possível ignorar essa etapa se estiver executando uma demonstração.

    3. Selecione Iniciar execução.

    O console do Step Functions direcionará você para uma página Detalhes da execução, na qual você pode escolher estados em Visualização do gráfico para explorar informações relacionadas no painel Detalhes da etapa.

Parabéns!

Agora você deve ter uma demonstração em execução ou uma definição de máquina de estado que possa ser personalizada.