Trova un AWS Batch lavoro

Questo progetto di esempio dimostra come utilizzare Eseguire la mappatura lo stato di Step Functions per eseguire AWS Batch lavori a tutto volume.

In questo progetto, Step Functions utilizza una macchina a stati per richiamare una funzione Lambda per eseguire una semplice preelaborazione, quindi richiama AWS Batch più lavori in parallelo utilizzando lo stato. Eseguire la mappatura

Fase 1: Creare la macchina a stati e fornire risorse

Fase 2: Eseguire la macchina a stati

Esempio di codice della macchina a stati

La macchina a stati di questo progetto di esempio si integra con AWS Batch Amazon SNS passando i parametri direttamente a tali risorse.

Sfoglia questo esempio di macchina a stati per vedere come Step Functions controlla AWS Batch Amazon SNS connettendosi all'Amazon Resource Name (ARN) sul Resource campo e passando Parameters all'API del servizio.

Per ulteriori informazioni su come AWS Step Functions controllare altri AWS servizi, consulta. Utilizzo AWS Step Functions con altri servizi

{
  "Comment": "An example of the Amazon States Language for fanning out AWS Batch job",
  "StartAt": "Generate batch job input",
  "TimeoutSeconds": 3600,
  "States": {
    "Generate batch job input": {
      "Type": "Task",
      "Resource": "arn:aws:states:::lambda:invoke",
      "OutputPath": "$.Payload",
      "Parameters": {
        "FunctionName": "<GENERATE_BATCH_JOB_INPUT_LAMBDA_FUNCTION_NAME>"
      },
      "Next": "Fan out batch jobs"
    },
    "Fan out batch jobs": {
      "Comment": "Start multiple executions of batch job depending on pre-processed data",
      "Type": "Map",
      "End": true,
      "ItemsPath": "$",
      "Parameters": {
        "BatchNumber.$": "$$.Map.Item.Value"
      },
      "Iterator": {
        "StartAt": "Submit Batch Job",
        "States": {
          "Submit Batch Job": {
            "Type": "Task",
            "Resource": "arn:aws:states:::batch:submitJob.sync",
            "Parameters": {
              "JobName": "BatchJobFanOut",
              "JobQueue": "<BATCH_QUEUE_ARN>",
              "JobDefinition": "<BATCH_JOB_DEFINITION_ARN>"
            },
            "End": true
          }
        }
      }
    }
  }
}

Esempio IAM

Questi esempi di policy AWS Identity and Access Management (IAM) generati dal progetto di esempio includono il minimo privilegio necessario per eseguire la macchina a stati e le risorse correlate. Ti consigliamo di includere solo le autorizzazioni necessarie nelle tue policy IAM.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "batch:SubmitJob",
                "batch:DescribeJobs",
                "batch:TerminateJob"
            ],
            "Resource": "*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "events:PutTargets",
                "events:PutRule",
                "events:DescribeRule"
            ],
            "Resource": [
                "arn:aws:events:us-west-2:123456789012:rule/StepFunctionsGetEventsForBatchJobsRule"
            ],
            "Effect": "Allow"
        }
    ]
}

{
    "Statement": [
        {
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": "arn:aws:lambda:us-west-2:123456789012:function:StepFunctionsSample-BatchJobFa-GenerateBatchJobMap-444455556666",
            "Effect": "Allow"
        }
    ]
}

Per informazioni su come configurare IAM quando si utilizza Step Functions con altri AWS servizi, vederePolitiche IAM per servizi integrati.