Execute um AWS Batch trabalho com o Lambda - AWS Step Functions

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Execute um AWS Batch trabalho com o Lambda

Este projeto de amostra demonstra como usar o Step Functions para pré-processar dados com AWS Lambda funções e, em seguida, AWS Batch orquestrar trabalhos.

Neste projeto, o Step Functions usa uma máquina de estado para invocar uma função do Lambda para fazer um pré-processamento simples antes do envio de uma tarefa de AWS Batch . Várias tarefas podem ser invocadas dependendo do resultado ou do sucesso do anterior.

Etapa 1: Criar a máquina de estado e provisionar os recursos

  1. Abra o console do Step Functions e clique em Criar máquina de estado.

  2. Digite Batch job with Lambda no campo de pesquisa e escolha Trabalho em lote com Lambda a partir dos resultados de pesquisa que são retornados.

  3. Escolha Próximo para continuar.

  4. Step Functions lista o Serviços da AWS usado no projeto de amostra que você selecionou. Também mostra um gráfico de fluxo de trabalho para o projeto de amostra. Implante esse projeto no seu Conta da AWS ou use-o como ponto de partida para criar seus próprios projetos. Com base em como você deseja prosseguir, escolha Executar uma demonstração ou Criar com base nela.

    ‎Este projeto de exemplo implementa os recursos a seguir.

    • Uma função do Lambda

    • Um trabalho do AWS Batch

    • Uma máquina de AWS Step Functions estado

    • Funções relacionadas AWS Identity and Access Management (IAM)

    A imagem a seguir mostra o gráfico do fluxo de trabalho para o projeto de exemplo de Trabalho em lote com Lambda:

    Gráfico do fluxo de trabalho para o projeto de exemplo de Trabalho em lote com Lambda.
  5. Escolha Usar modelo para continuar com a seleção.

  6. Execute um destes procedimentos:

    • Se você selecionou Build on it, o Step Functions cria o protótipo do fluxo de trabalho, mas não implanta os recursos na definição do fluxo de trabalho, para que você possa continuar criando seu protótipo de fluxo de trabalho.

      No Workflow StudioModo de design, você pode inserir estados adicionais em seu protótipo de fluxo de trabalho. Ou você pode alternar para o Modo de código para usar o editor de código integrado para editar a definição Amazon States Language (ASL) da sua máquina de estado a partir do console Step Functions.

      Importante

      Talvez seja necessário atualizar o espaço reservado Amazon Resource Name (ARN) para os recursos usados no projeto de amostra antes de poder executar seu fluxo de trabalho.

    • Se você selecionou Executar uma demonstração, o Step Functions cria um projeto somente para leitura que usa um AWS CloudFormation modelo para implantar os AWS recursos desse modelo no seu. Conta da AWS Você pode visualizar a definição da máquina de estado escolhendo o modo Código.

      Escolha Implantar e executar para implantar o projeto e criar os recursos.

      Observe que a implantação pode levar até 10 minutos para que os recursos e IAM as permissões sejam criados. Enquanto seus recursos estão sendo implantados, você pode abrir o link do AWS CloudFormation Stack ID para ver quais recursos estão sendo provisionados.

      Depois que todos os recursos tiverem sido criados, você deverá ver o projeto na página State Machines no console.

      Importante

      Taxas padrão podem ser aplicadas a cada serviço usado no CloudFormation modelo.

Etapa 2: Executar a máquina de estado

  1. Na página Máquinas de estado, escolha seu projeto de exemplo.

  2. Na página do projeto de exemplo, escolha Iniciar execução.

  3. Na caixa de diálogo Iniciar execução, faça o seguinte:

    1. (Opcional) Para identificar sua execução, você pode especificar um nome ou usar o nome de execução padrão gerado.

      nota

      Step Functions aceita nomes para máquinas de estado, execuções, atividades e rótulos que não contenham ASCII caracteres. Como nomes sem ASCII caracteres não funcionarão com a Amazon CloudWatch, recomendamos usar somente ASCII caracteres para que você possa acompanhar as métricas. CloudWatch

    2. (Opcional) Na caixa Entrada, insira os valores de entrada no JSON formato para executar seu fluxo de trabalho.

      Se você optar por Executar uma demonstração, não precisará fornecer nenhuma entrada de execução.

      nota

      Se o projeto de demonstração que você implementou contiver dados de entrada de execução pré-preenchidos, use essa entrada para executar a máquina de estado.

    3. Selecione Iniciar execução.

    4. O console do Step Functions direciona você para uma página em que o título é o ID da execução. Essa página é conhecida como página de Detalhes da execução. Nesta página, você pode revisar os resultados da execução à medida que a execução avança ou após a conclusão.

      Para revisar os resultados da execução, escolha estados individuais na Exibição em gráfico e, em seguida, escolha as guias individuais no painel Detalhes da etapa para visualizar os detalhes de cada estado, incluindo entrada, saída e definição, respectivamente. Para obter detalhes sobre as informações de execução que você pode visualizar na página Detalhes da execução, consulte Página de Detalhes da execução — Visão geral da interface.

Exemplo de código da máquina de estado

A máquina de estado neste projeto de amostra se AWS Batch integra à Amazon SNS passando parâmetros diretamente para esses recursos.

Navegue por este exemplo de máquina de estado para ver como o Step Functions controla AWS Batch a Amazon SNS conectando-se ao Amazon Resource Name (ARN) no Resource campo e passando Parameters para o serviçoAPI.

Para obter mais informações sobre como AWS Step Functions controlar outros AWS serviços, consulteIntegrando outros serviços com Step Functions.

{ "Comment": "An example of the Amazon States Language for using batch job with pre-processing lambda", "StartAt": "Generate batch job input", "TimeoutSeconds": 3600, "States": { "Generate batch job input": { "Type": "Task", "Resource": "arn:aws:states:::lambda:invoke", "OutputPath": "$.batch_input", "Parameters": { "FunctionName": "<GENERATE_BATCH_JOB_INPUT_LAMBDA_FUNCTION_NAME>" }, "Next": "Submit Batch Job" }, "Submit Batch Job": { "Type": "Task", "Resource": "arn:aws:states:::batch:submitJob.sync", "Parameters": { "JobName": "BatchJobFanOut", "JobQueue": "<BATCH_QUEUE_ARN>", "JobDefinition": "<BATCH_JOB_DEFINITION_ARN>", "Parameters.$": "$.batch_input" }, "End": true } } }

IAMExemplo

Essas políticas example AWS Identity and Access Management (IAM) geradas pelo projeto de amostra incluem o menor privilégio necessário para executar a máquina de estado e os recursos relacionados. Recomendamos que você inclua somente as permissões necessárias em suas IAM políticas.

exemplo BatchJobWithLambdaAccessPolicy
{ "Version": "2012-10-17", "Statement": [ { "Action": [ "sns:Publish" ], "Resource": [ "arn:aws:sns:us-west-2:123456789012:ManageBatchJob-SNSTopic-JHLYYG7AZPZI" ], "Effect": "Allow" }, { "Action": [ "batch:SubmitJob", "batch:DescribeJobs", "batch:TerminateJob" ], "Resource": "*", "Effect": "Allow" }, { "Action": [ "events:PutTargets", "events:PutRule", "events:DescribeRule" ], "Resource": [ "arn:aws:events:us-west-2:123456789012:rule/StepFunctionsGetEventsForBatchJobsRule" ], "Effect": "Allow" } ] }
exemplo InvokeGenerateBatchJobMapLambdaPolicy
{ "Statement": [ { "Action": [ "lambda:InvokeFunction" ], "Resource": "arn:aws:lambda:us-west-2:123456789012:function:StepFunctionsSample-BatchWithL-GenerateBatchJobMap-444455556666", "Effect": "Allow" } ] }

Para obter informações sobre como configurar IAM ao usar Step Functions com outros AWS serviços, consulteComo o Step Functions gera IAM políticas para serviços integrados.