在 Step Functions 中为大规模并行工作负载在分布模式下使用地图状态

Map 状态的一种处理模式。在此模式下，Map 状态的每次迭代都作为子工作流执行来运行，从而实现高并发数。每个子工作流执行都有自己的执行历史记录，独立于父工作流的执行历史。该模式支持从大规模 Amazon S3 数据来源读取输入。

设置为分布式处理模式的 Map 状态。

Map 状态运行的一组步骤。

包含一个或多个分布式 Map 状态的工作流。

分布式 Map 状态的一次迭代。子工作流执行有自己的执行历史记录，独立于父工作流的执行历史。

当您运行分布式模式下的 Map 状态时，Step Functions 会创建一个 Map Run 资源。Map Run 是指分布式 Map 状态 启动的一组子工作流执行，以及控制这些执行的运行时设置。Step Functions 为你的 Map Run 分配一个亚马逊资源名称 (ARN)。您可以在 Step Functions 控制台中查看 Map Run。您也可以调用该DescribeMapRunAPI操作。Map Run 还会向发送指标。 CloudWatch

有关更多信息，请参阅 查看地图运行情况。

设置状态的类型，例如 Map。

包含以下指定Map状态处理模式和定义的JSON对象。

指定一个数据集及其位置。Map 状态接收来自指定数据集的输入数据。

在分布式模式下，您可以使用从先前状态传递的JSON有效负载或大规模 Amazon S3 数据源作为数据集。有关更多信息，请参阅 ItemReader （地图）。

使用JsonPath语法指定参考路径，以选择在状态输入中包含项目数组的JSON节点。

在分布式模式下，只有在使用上一步中的JSON数组作为状态输入时，才能指定此字段。有关更多信息，请参阅 ItemsPath （地图）。

在将单个数据集项目的值传递到每次 Map 状态迭代之前，覆盖这些值。

在此字段中，您可以指定包含一组键值对的有效JSON输入。这些对可以是您在状态机定义中定义的静态值，使用路径从状态输入中选择的值，或者从上下文对象中获取的值。有关更多信息，请参阅 ItemSelector （地图）。

指定批量处理数据集项目。然后，每个子工作流执行都会收到一批这些项目作为输入。有关更多信息，请参阅 ItemBatcher （地图）。

指定可并行运行的子工作流数量。解释器只允许执行指定数量的并行子工作流。如果您未指定并发值或将其设置为零，Step Functions 不会限制并发性，并且会运行 10,000 个并行子工作流程执行。

如果要使用参考路径从状态输入中动态提供最大并发数值，请使用 MaxConcurrencyPath。解决后，参考路径必须选择一个值为非负整数的字段。

定义在 Map Run 中允许的失败项目的百分比。如果超过此百分比，Map Run 将自动失败。Step Functions 通过失败或超时项目总数除以项目总数计算失败项目的百分比。您可以指定 0 到 100 之间的值。有关更多信息，请参阅 在 Step Functions 中为分布式地图状态设置故障阈值。

如果要使用参考路径从状态输入中动态提供容许的故障百分比值，请使用 ToleratedFailurePercentagePath。解决后，参考路径必须选择一个值介于 0 到 100 之间的字段。

定义 Map Run 中允许的失败项目数量。如果超过此数量，Map Run 将自动失败。有关更多信息，请参阅 在 Step Functions 中为分布式地图状态设置故障阈值。

如果要使用参考路径从状态输入中动态提供容许的故障计数值，请使用 ToleratedFailureCountPath。解决后，参考路径必须选择一个值为非负整数的字段。

唯一标识 Map 状态的字符串。对于每次地图运行，Step Functions 都会将标签添加到 Map Run 中ARN。以下是ARN带有名为的自定义标签的 Map Run 示例demoLabel：

arn:aws:states:us-east-1:123456789012:mapRun:demoWorkflow/demoLabel:3c39a231-69bb-3d89-8607-9e124eddbb0b

如果您未指定标签，则 Step Functions 会自动生成一个唯一标签。

指定 Step Functions 写入所有子工作流执行结果的 Amazon S3 位置。

Step Functions 整合了所有子工作流程执行数据，例如执行输入和输出以及执行状态。ARN然后，它将状态相同的执行导出到指定 Amazon S3 位置的相应文件中。有关更多信息，请参阅 ResultWriter （地图）。

如果您不导出 Map 状态结果，它将返回一个包含所有子工作流执行结果的数组。例如：

[1, 2, 3, 4, 5]

指定输入中放置迭代输出的位置。接下来，输入将按照 OutputPath 字段（如果存在）指定的内容进行筛选，然后再用作状态输出传递。有关更多信息，请参阅输入和输出处理。

传递一个键值对集合，其中，值为静态值或从结果中选择的值。有关更多信息，请参阅 ResultSelector。

一个称为重试器的对象数组，用于定义重试策略。如果状态遇到运行时错误，则执行将使用重试策略。有关更多信息，请参阅 使用 Retry 和使用 Catch 的状态机示例。

一个称为捕获器的对象数组，用于定义回退状态。如果状态遇到运行时错误，Step Functions 将使用 Catch 中定义的捕获器。发生错误时，执行会首先使用 Retry 中定义的任何重试器。如果重试策略未定义或已用尽，则执行将使用其捕获器（如果已定义）。有关更多信息，请参阅回退状态。

定义容许的失败项目所占的百分比。如果超过此值，Map Run 将失败。Step Functions 通过失败或超时项目总数除以项目总数计算失败项目的百分比。您可以指定 0 到 100 之间的值。默认百分比值为零，意味着如果任何一个子工作流执行失败或超时，工作流就会失败。如果将百分比指定为 100，则即使所有子工作流执行都失败，该工作流也不会失败。

或者，您可以将百分比指定为分布式 Map 状态 输入中现有键值对的参考路径。在运行时，此路径必须解析为 0 到 100 之间的正整数。您可以在 ToleratedFailurePercentagePath 子字段中指定参考路径。

例如，给定以下输入：

{
  "percentage": 15
}

您可以使用该输入的参考路径来指定百分比，如下所示：

{
  ...
  "Map": {
    "Type": "Map",
    ...
    "ToleratedFailurePercentagePath": "$.percentage"
    ...
  }
}

定义容许的失败项目数。如果超过此值，Map Run 将失败。

或者，您可以将该数值指定为分布式 Map 状态 输入中现有键值对的参考路径。在运行时，此路径必须解析为正整数。您可以在 ToleratedFailureCountPath 子字段中指定参考路径。

例如，给定以下输入：

{
  "count": 10
}

您可以使用该输入的参考路径来指定数值，如下所示：

{
  ...
  "Map": {
    "Type": "Map",
    ...
    "ToleratedFailureCountPath": "$.count"
    ...
  }
}