大規模な並列ワークロード向けに Step Functions で Map ステートを分散モードで使用する

マップステートの処理モード。このモードでは、Map 状態の各反復処理が子ワークフロー実行として実行されるため、高い同時実行性が可能になります。子ワークフローの実行にはそれぞれ独自の実行履歴があり、親ワークフローの実行履歴とは別のものです。このモードは、大規模な Amazon S3 のデータソースからの入力の読み取りをサポートします。

[分散] 処理モードに設定されたマップステート。

Map 状態が実行する一連のステップ。

1 つ以上の分散マップ状態を含むワークフロー。

分散マップ状態の反復。子ワークフローの実行には独自の実行履歴があり、親ワークフローの実行履歴とは別のものです。

分散モードで Map 状態を実行すると、Step Functions はマップ実行リソースを作成します。マップ実行とは、分散マップ状態によって開始する一連の子ワークフロー実行、およびこれらの実行をコントロールするランタイム設定を指します。Step Functions は、マップの実行に Amazon リソースネーム (ARN) を割り当てます。マップ実行は、Step Functions コンソールで確認できます。DescribeMapRun API アクションを呼び出すこともできます。また、マップ実行は CloudWatch にメトリクスを送信します。

詳細については、「マップ実行の表示」を参照してください。

状態のタイプ (Map など) を設定します。

Map 状態処理モードと定義を指定する次の JSON オブジェクトが含まれます。

データセットとその場所を指定します。Map 状態は指定されたデータセットから入力データを受け取ります。

分散モードでは、以前の状態から渡された JSON ペイロードまたは大規模な Amazon S3 データソースのいずれかをデータセットとして使用できます。詳細については、「ItemReader (Map)」を参照してください。

JSON 配列、または配列に評価する必要がある JSONata 式。

JsonPath 構文を使用してリファレンスパスを指定し、状態入力内の項目の配列を含む JSON ノードを選択します。

分散モードでは、前のステップの JSON 配列を状態入力として使用する場合にのみ、このフィールドを指定します。詳細については、「ItemsPath (Map、JSONPath のみ）」を参照してください。

各 Map 状態反復に渡される前に、個々のデータセットアイテムの値をオーバーライドします。

このフィールドでは、キーと値のペアのコレクションを含む有効な JSON 入力を指定します。これらのペアは、ステートマシン定義で定義する静的な値でも、パスを使用して状態入力から選択された値でも、コンテキストオブジェクトからアクセスされる値でもかまいません。詳細については、「ItemSelector (Map)」を参照してください。

データセットアイテムの一括処理を指定します。子ワークフローを実行するたびに、入力としてこれらのバッチを受け取ります。詳細については、「ItemBatcher (Map)」を参照してください。

並行して実行できる子ワークフローの実行数を指定します。インタープリタは、指定された回数までの子ワークフローの並行実行のみを許可します。同時実行値を指定しないか、0 に設定した場合、Step Functions は同時実行を制限せず、子ワークフローを 10,000 回並行実行します。JSONata 状態では、整数に評価される JSONata 式を指定できます。

リファレンスパスを使用して状態の入力からタイムアウト値を動的に最大同時実行値を指定する場合は、MaxConcurrencyPath を使用してください。解決されると、リファレンスパスは、値が負でない整数のフィールドを選択する必要があります。

マップ実行で許容できる失敗項目の割合を定義します。この割合を超えると、マップ実行は自動的に失敗します。Step Functions は、失敗またはタイムアウトしたアイテムの総数をアイテムの総数で割った結果として、失敗したアイテムの割合を計算します。0 から 100 までの値を指定する必要があります。詳細については、「Step Functions での分散マップ状態の失敗しきい値の設定」を参照してください。

JSONata 状態では、整数に評価される JSONata 式を指定できます。

リファレンスパスを使用して状態の入力から許容される失敗の割合の値を動的に指定したい場合は、ToleratedFailurePercentagePath を使用してください。解決されると、リファレンスパスは、値が 0～100の フィールドを選択する必要があります。

マップ実行で許容される障害アイテムの数を定義します。この数を超えると、マップ実行は自動的に失敗します。詳細については、「Step Functions での分散マップ状態の失敗しきい値の設定」を参照してください。

JSONata 状態では、整数に評価される JSONata 式を指定できます。

リファレンスパスを使用して状態の入力から許容される失敗数の値を動的に指定したい場合は、ToleratedFailureCountPath を使用してください。解決されると、リファレンスパスは、値が負でない整数のフィールドを選択する必要があります。

Map 状態を一意に識別する文字列。Step Functions は、マップ実行ごとにマップ実行 ARN にラベルを追加します。以下は、demoLabel という名前のカスタムラベルを持つマップ実行 ARN の例です。

arn:aws:states:us-east-1:123456789012:mapRun:demoWorkflow/demoLabel:3c39a231-69bb-3d89-8607-9e124eddbb0b

ラベルを指定しない場合、Step Functions では一意のラベルが自動的に生成されます。

Step Functions がすべての子ワークフローの実行結果を書き込む Amazon S3 内の場所を指定します。

Step Functions は、実行の入出力、ARN、実行状態など、すべての子ワークフローの実行データを統合します。次に、指定した Amazon S3 の場所のそれぞれのファイルに、同じステータスの実行をエクスポートします。詳細については、「ResultWriter (Map)」を参照してください。

Map 状態の結果をエクスポートしない場合、すべての子ワークフロー実行結果の配列が返されます。以下に例を示します。

[1, 2, 3, 4, 5]

反復の出力を配置する入力内の場所を指定します。その後、入力は OutputPath フィールド (ある場合) に従ってフィルタリングされてから状態の出力として渡されます。詳細については、入力および出力処理を参照してください。

値が静的であるか、結果から選択されたキーバリューのペアの集合を渡します。詳細については、「ResultSelector」を参照してください。

Retrier と呼ばれるオブジェクトの配列。再試行ポリシーを定義します。状態でランタイムエラーが発生した場合、実行では再試行ポリシーが使用されます。詳細については、「Retry と Catch を使用するステートマシンの例」を参照してください。

Catcher と呼ばれるオブジェクトの配列で、フォールバック状態を定義します。Step Functions は、状態で実行時エラーが発生した場合に、Catch で定義されている Catcher を使用します。エラーが発生すると、実行は最初に Retry で定義されている Retrier を使用します。再試行ポリシーが定義されていないか使い果たされた場合、実行ではその Catcher (定義されている場合) を使用します。詳細については、「フォールバック状態」を参照してください。

状態からの出力を指定および変換するために使用されます。指定すると、値は状態出力のデフォルトを上書きします。

出力フィールドは、任意の JSON 値 (オブジェクト、配列、文字列、数値、ブール値、null) を受け入れます。オブジェクトまたは配列内の文字列値を含む文字列値は、{% %} 文字で囲まれている場合、JSONata として評価されます。

出力は、JSONata 式を直接受け入れます。例：「Output」：「{% jsonata expression %}」

詳細については、「Step Functions での JSONata を使用したデータの変換」を参照してください。

変数を保存するために使用されます。Assign フィールドは、変数名と割り当てられた値を定義するキーと値のペアを持つ JSON オブジェクトを受け入れます。オブジェクトまたは配列内の文字列値を含む文字列値は、{% %}文字で囲まれたときに JSONata として評価されます。

詳細については、「変数を使用して状態間でデータを渡す」を参照してください。

許容される失敗項目の割合を定義します。この値を超えるとマップ実行は失敗します。Step Functions は、失敗した項目またはタイムアウトした項目の合計数を項目の合計数で割った結果として、失敗した項目の割合を計算します。0 から 100 までの値を指定する必要があります。割合のデフォルトの値は 0 です。つまり、子ワークフローのいずれかの実行が失敗またはタイムアウトすると、ワークフローは失敗します。割合を 100 に指定すると、子ワークフローの実行がすべて失敗しても、ワークフローは失敗しません。

別の方法として、分散マップ状態の入力での既存のキーと値のペアへの参照パスとして割合を指定することもできます。このパスは、実行時に 0～100 の間の正の整数に変換されなければなりません。ToleratedFailurePercentagePath サブフィールドに参照パスを指定します。

例として、次の入力があるとします。

{
  "percentage": 15
}

その入力への参照パスを使用して、次のように割合を指定できます。

{
  ...
  "Map": {
    "Type": "Map",
    ...
    "ToleratedFailurePercentagePath": "$.percentage"
    ...
  }
}

許容される失敗項目の数を定義します。この値を超えるとマップ実行は失敗します。

別の方法として、分散マップ状態の入力での既存のキーと値のペアへの参照パスとして数を指定することもできます。このパスは実行時に正の整数に変換されなければなりません。ToleratedFailureCountPath サブフィールドに参照パスを指定します。

例として、次の入力があるとします。

{
  "count": 10
}

その入力への参照パスを使用して、次のように数を指定できます。

{
  ...
  "Map": {
    "Type": "Map",
    ...
    "ToleratedFailureCountPath": "$.count"
    ...
  }
}