Utilisation de l'état de la carte en mode distribué pour des charges de travail parallèles à grande échelle dans Step Functions

Mode de traitement de l'état de la carte. Dans ce mode, chaque itération de l'Mapétat s'exécute comme une exécution de flux de travail secondaire qui permet une simultanéité élevée. Chaque exécution de flux de travail enfant possède son propre historique d'exécution, distinct de l'historique d'exécution du flux de travail parent. Ce mode prend en charge la lecture des entrées provenant de sources de données Amazon S3 à grande échelle.

État de la carte défini sur Mode de traitement distribué.

Ensemble d'étapes exécutées par un Map État.

Un flux de travail qui contient un ou plusieurs états de cartes distribuées.

Une itération de l'état de la carte distribuée. L'exécution d'un flux de travail enfant possède son propre historique d'exécution, distinct de l'historique d'exécution du flux de travail parent.

Lorsque vous exécutez un Map état en mode distribué, Step Functions crée une ressource Map Run. Une exécution de carte fait référence à un ensemble d'exécutions de flux de travail enfants lancées par un état de carte distribuée, ainsi qu'aux paramètres d'exécution qui contrôlent ces exécutions. Step Functions attribue un nom de ressource Amazon (ARN) à votre Map Run. Vous pouvez examiner un Map Run dans la console Step Functions. Vous pouvez également invoquer l'DescribeMapRunAPIaction. Un Map Run envoie également des métriques à. CloudWatch

Pour de plus amples informations, veuillez consulter Examiner les séries cartographiques.

Définit le type d'état, tel queMap.

Contient les JSON objets suivants qui spécifient le mode et la définition de traitement de Map l'état.

Spécifie un ensemble de données et son emplacement. L'MapÉtat reçoit ses données d'entrée à partir de l'ensemble de données spécifié.

En mode distribué, vous pouvez utiliser soit une JSON charge utile transmise depuis un état précédent, soit une source de données Amazon S3 à grande échelle comme ensemble de données. Pour de plus amples informations, veuillez consulter ItemReader (Carte).

Spécifie un chemin de référence à l'aide de la JsonPathsyntaxe permettant de sélectionner le JSON nœud contenant un tableau d'éléments dans l'entrée d'état.

En mode distribué, vous ne spécifiez ce champ que lorsque vous utilisez un JSON tableau d'une étape précédente comme entrée d'état. Pour de plus amples informations, veuillez consulter ItemsPath (Carte).

Remplace les valeurs des éléments individuels de l'ensemble de données avant qu'elles ne soient transmises à chaque itération Map d'état.

Dans ce champ, vous spécifiez une JSON entrée valide contenant une collection de paires clé-valeur. Ces paires peuvent être soit des valeurs statiques que vous définissez dans la définition de votre machine à états, soit des valeurs sélectionnées à partir de l'entrée d'état à l'aide d'un chemin, soit des valeurs accessibles depuis l'objet de contexte. Pour de plus amples informations, veuillez consulter ItemSelector (Carte).

Spécifie de traiter les éléments de l'ensemble de données par lots. Chaque exécution du flux de travail enfant reçoit ensuite un lot de ces éléments en entrée. Pour de plus amples informations, veuillez consulter ItemBatcher (Carte).

Spécifie le nombre d'exécutions de flux de travail enfants qui peuvent être exécutées en parallèle. L'interpréteur n'autorise que le nombre spécifié d'exécutions parallèles de flux de travail enfants. Si vous ne spécifiez pas de valeur de simultanéité ou si vous la définissez sur zéro, Step Functions ne limite pas la simultanéité et exécute 10 000 exécutions parallèles de flux de travail enfants.

Si vous souhaitez fournir une valeur de simultanéité maximale de manière dynamique à partir de l'entrée d'état à l'aide d'un chemin de référence, utilisezMaxConcurrencyPath. Une fois résolu, le chemin de référence doit sélectionner un champ dont la valeur est un entier non négatif.

Définit le pourcentage d'objets ayant échoué à tolérer lors d'une exécution cartographique. Le Map Run échoue automatiquement s'il dépasse ce pourcentage. Step Functions calcule le pourcentage d'éléments ayant échoué en divisant le nombre total d'éléments défaillants ou ayant dépassé le délai imparti par le nombre total d'éléments. Vous devez spécifier une valeur comprise entre zéro et 100. Pour de plus amples informations, veuillez consulter Définition de seuils de défaillance pour les états des cartes distribuées dans Step Functions.

Si vous souhaitez fournir une valeur de pourcentage de défaillance tolérée de manière dynamique à partir de l'entrée d'état à l'aide d'un chemin de référence, utilisezToleratedFailurePercentagePath. Une fois résolu, le chemin de référence doit sélectionner un champ dont la valeur est comprise entre zéro et 100.

Définit le nombre d'objets ayant échoué à tolérer lors d'une exécution de carte. Le Map Run échoue automatiquement s'il dépasse ce nombre. Pour de plus amples informations, veuillez consulter Définition de seuils de défaillance pour les états des cartes distribuées dans Step Functions.

Si vous souhaitez fournir une valeur de nombre de défaillances tolérées de manière dynamique à partir de l'entrée d'état à l'aide d'un chemin de référence, utilisezToleratedFailureCountPath. Une fois résolu, le chemin de référence doit sélectionner un champ dont la valeur est un entier non négatif.

Chaîne qui identifie un Map état de manière unique. Pour chaque Map Run, Step Functions ajoute l'étiquette à la Map RunARN. Voici un exemple de Map Run ARN avec une étiquette personnalisée nommée demoLabel :

arn:aws:states:us-east-1:123456789012:mapRun:demoWorkflow/demoLabel:3c39a231-69bb-3d89-8607-9e124eddbb0b

Si vous ne spécifiez aucune étiquette, Step Functions génère automatiquement une étiquette unique.

Spécifie l'emplacement Amazon S3 où Step Functions écrit tous les résultats d'exécution du flux de travail enfant.

Step Functions consolide toutes les données d'exécution du flux de travail enfant, telles que les entrées et sorties d'exécutionARN, et le statut d'exécution. Il exporte ensuite les exécutions avec le même statut vers leurs fichiers respectifs à l'emplacement Amazon S3 spécifié. Pour de plus amples informations, veuillez consulter ResultWriter (Carte).

Si vous n'exportez pas les résultats de Map l'état, il renvoie un tableau de tous les résultats d'exécution du flux de travail enfant. Par exemple :

[1, 2, 3, 4, 5]

Spécifie l'endroit de l'entrée où placer la sortie des itérations. L'entrée est ensuite filtrée comme spécifié par le OutputPathchamp s'il est présent, avant d'être transmise en tant que sortie de l'état. Pour plus d'informations, consultez Traitement des entrées et des sorties.

Transmettez une collection de paires clé-valeur, dont les valeurs sont statiques ou sélectionnées à partir du résultat. Pour de plus amples informations, veuillez consulter ResultSelector.

Tableau d'objets, appelés Retriers, qui définit une politique de nouvelle tentative. Une exécution utilise la politique de nouvelle tentative si l'état rencontre des erreurs d'exécution. Pour de plus amples informations, veuillez consulter Exemples de machines à états utilisant Retry et Catch.

Tableau d'objets, nommés Receveurs, qui définissent un état de secours. Step Functions utilise les Catchers définis dans Catch si l'état rencontre des erreurs d'exécution. Lorsqu'une erreur se produit, l'exécution utilise d'abord les récupérateurs définis dansRetry. Si la politique de nouvelle tentative n'est pas définie ou est épuisée, l'exécution utilise ses Catchers, s'ils sont définis. Pour plus d'informations, consultez États de secours.

Définit le pourcentage d'éléments défaillants à tolérer. Votre Map Run échoue si cette valeur est dépassée. Step Functions calcule le pourcentage d'éléments ayant échoué en divisant le nombre total d'éléments défaillants ou ayant dépassé le délai imparti par le nombre total d'éléments. Vous devez spécifier une valeur comprise entre zéro et 100. La valeur en pourcentage par défaut est zéro, ce qui signifie que le flux de travail échoue si l'une de ses exécutions de flux de travail enfant échoue ou expire. Si vous spécifiez le pourcentage comme 100, le flux de travail n'échouera pas même si toutes les exécutions de flux de travail enfants échouent.

Vous pouvez également spécifier le pourcentage comme chemin de référence vers une paire clé-valeur existante dans l'entrée d'état de votre carte distribuée. Ce chemin doit être résolu en un entier positif compris entre 0 et 100 au moment de l'exécution. Vous spécifiez le chemin de référence dans le ToleratedFailurePercentagePath sous-champ.

Par exemple, avec les données d'entrée suivantes :

{
  "percentage": 15
}

Vous pouvez spécifier le pourcentage en utilisant un chemin de référence vers cette entrée comme suit :

{
  ...
  "Map": {
    "Type": "Map",
    ...
    "ToleratedFailurePercentagePath": "$.percentage"
    ...
  }
}

Définit le nombre d'éléments défaillants à tolérer. Votre Map Run échoue si cette valeur est dépassée.

Vous pouvez également spécifier le nombre comme chemin de référence vers une paire clé-valeur existante dans l'entrée d'état de votre carte distribuée. Ce chemin doit être résolu en un entier positif au moment de l'exécution. Vous spécifiez le chemin de référence dans le ToleratedFailureCountPath sous-champ.

Par exemple, avec les données d'entrée suivantes :

{
  "count": 10
}

Vous pouvez spécifier le nombre à l'aide d'un chemin de référence vers cette entrée comme suit :

{
  ...
  "Map": {
    "Type": "Map",
    ...
    "ToleratedFailureCountPath": "$.count"
    ...
  }
}