Usando o estado do mapa no modo distribuído para cargas de trabalho paralelas em grande escala no Step Functions

Um modo de processamento do estado Mapa. Nesse modo, cada iteração do estado Map é executada como uma execução de fluxo de trabalho secundário que permite processamento simultâneo em grande escala. Cada execução de fluxo de trabalho secundário tem seu próprio histórico de execução, que é separado do histórico de execução do fluxo de trabalho principal. Esse modo é compatível com a leitura de entradas de fontes de dados do Amazon S3 em grande escala.

Um estado Mapa definido para o modo de processamento Distribuído.

Um conjunto de etapas que um estado Map executa.

Um fluxo de trabalho que contém um ou mais estados Mapa distribuído.

Uma iteração do estado Mapa Distribuído. Uma execução de fluxo de trabalho secundário tem seu próprio histórico de execução, que é separado do histórico de execução do fluxo de trabalho principal.

Ao executar um estado Map no modo distribuído, o Step Functions cria um recurso de Execução de mapa. Uma Execução de mapa se refere a um conjunto de execuções de fluxo de trabalho secundário que um estado Mapa distribuído inicia e às configurações de runtime que controlam essas execuções. Step Functions atribui um Amazon Resource Name (ARN) ao seu Map Run. Você pode examinar uma Execução de mapa no console do Step Functions. Você também pode invocar a DescribeMapRun API ação. A Map Run também emite métricas para CloudWatch.

Para obter mais informações, consulte Examine as execuções do mapa.

Define o tipo de estado, como Map.

Contém os seguintes JSON objetos que especificam a definição e o modo de processamento do Map estado.

Especifica um conjunto de dados e sua localização. O estado Map recebe seus dados de entrada do conjunto de dados especificado.

No modo distribuído, você pode usar uma JSON carga transmitida de um estado anterior ou uma fonte de dados Amazon S3 em grande escala como conjunto de dados. Para obter mais informações, consulte ItemReader (Mapa).

Especifica um caminho de referência usando a JsonPathsintaxe para selecionar o JSON nó que contém uma matriz de itens dentro da entrada de estado.

No modo distribuído, você especifica esse campo somente quando usa uma JSON matriz de uma etapa anterior como entrada de estado. Para obter mais informações, consulte ItemsPath (Mapa).

Substitui os valores de itens individuais do conjunto de dados antes de serem transmitidos para cada iteração do estado Map.

Nesse campo, você especifica uma JSON entrada válida que contém uma coleção de pares de valores-chave. Esses pares podem ser valores estáticos configurados na definição da máquina de estado, valores selecionados da entrada de estado usando um caminho ou valores acessados a partir do objeto de contexto. Para obter mais informações, consulte ItemSelector (Mapa).

Especifica o processamento dos itens do conjunto de dados em lotes. Em seguida, cada execução de fluxo de trabalho secundário recebe um lote desses itens como entrada. Para obter mais informações, consulte ItemBatcher (Mapa).

Especifica o número de execuções de fluxo de trabalho secundário que podem ser executadas em paralelo. O intérprete só permite até o número especificado de execuções paralelas de fluxo de trabalho secundário. Se você não especificar um valor de processamento simultâneo ou defini-lo como zero, o Step Functions não limitará o processamento simultâneo e executará 10 mil execuções paralelas de fluxo de trabalho secundário.

Para fornecer dinamicamente um valor máximo de processamento simultâneo a partir da entrada de estado usando um caminho de referência, use MaxConcurrencyPath. Quando resolvido, o caminho de referência deve selecionar um campo cujo valor seja um número inteiro não negativo.

Define a porcentagem de itens com falha a serem tolerados em uma Execução de mapa. A Execução de mapa falhará automaticamente se exceder essa porcentagem. O Step Functions calcula a porcentagem de itens com falha como resultado do número total de itens com falha ou com tempo limite esgotado dividido pelo número total de itens. Você deve especificar um valor entre zero e cem. Para obter mais informações, consulte Definindo limites de falha para estados do Distributed Map em Step Functions.

Para fornecer dinamicamente um valor de porcentagem de falha tolerada com base na entrada de estado utilizando um caminho de referência, use ToleratedFailurePercentagePath. Quando resolvido, o caminho de referência deve selecionar um campo cujo valor seja um número entre zero e cem.

Define o número de itens com falha a serem tolerados em uma Execução de mapa. A Execução de mapa falhará automaticamente se exceder esse número. Para obter mais informações, consulte Definindo limites de falha para estados do Distributed Map em Step Functions.

Para fornecer dinamicamente um valor de contagem de falhas toleradas com base na entrada de estado utilizando um caminho de referência, use ToleratedFailureCountPath. Quando resolvido, o caminho de referência deve selecionar um campo cujo valor seja um número inteiro não negativo.

Uma string que identifica exclusivamente um estado Map. Para cada Map Run, o Step Functions adiciona o rótulo ao Map RunARN. A seguir está um exemplo de uma execução de mapa ARN com um rótulo personalizado chamadodemoLabel:

arn:aws:states:us-east-1:123456789012:mapRun:demoWorkflow/demoLabel:3c39a231-69bb-3d89-8607-9e124eddbb0b

Se você não especificar um rótulo, o Step Functions gerará automaticamente um rótulo exclusivo.

Especifica o local do Amazon S3 em que o Step Functions grava todos os resultados da execução do fluxo de trabalho secundário.

O Step Functions consolida todos os dados de execução do fluxo de trabalho secundário, como entrada e saída da execução e status da execução. ARN Em seguida, ele exporta as execuções com o mesmo status para seus respectivos arquivos na localização especificada do Amazon S3. Para obter mais informações, consulte ResultWriter (Mapa).

Se você não exportar os resultados do estado Map, ele retornará uma matriz de todos os resultados da execução do fluxo de trabalho secundário. Por exemplo:

[1, 2, 3, 4, 5]

Especifica onde colocar a saída das iterações na entrada. A entrada é então filtrada conforme especificado pelo campo OutputPath (se presente), antes de ser transmitida como a saída do estado. Para obter mais informações, consulte Processamento de entrada e saída.

Transmitir um conjunto de pares de valores-chave, em que os valores são estáticos ou selecionados a partir do resultado. Para obter mais informações, consulte ResultSelector.

Uma matriz de objetos, chamados Retriers, que definem uma política de novas tentativas. Uma execução usará a política de novas tentativas caso o estado encontre erros de runtime. Para obter mais informações, consulte Exemplos de máquinas de estado usando Retry e usando Catch.

Uma matriz de objetos, chamados Catchers, que definem um estado de fallback. O Step Functions usará os Catchers definidos em Catch se o estado encontrar erros de runtime. Quando ocorre um erro, a execução usa primeiro todos os retriers definidos em Retry. Se a política de novas tentativas não estiver definida ou estiver esgotada, a execução usará seus Catchers, se definidos. Para obter mais informações, consulte Estados de fallback.

Define a porcentagem de itens com falha a serem tolerados em uma Execução de mapa. A Execução de mapa falhará se esse valor for excedido. O Step Functions calcula a porcentagem de itens com falha como resultado do número total de itens com falha ou com tempo limite esgotado dividido pelo número total de itens. Você deve especificar um valor entre zero e cem. O valor percentual padrão é zero, o que significa que o fluxo de trabalho falhará se qualquer uma das execuções de fluxo de trabalho secundárias falhar ou atingir o tempo limite. Se você especificar a porcentagem como cem, o fluxo de trabalho não falhará, mesmo que todas as execuções de fluxo de trabalho secundárias falhem.

Como alternativa, você pode especificar a porcentagem como um caminho de referência para um par de chave-valor existente na entrada do estado Mapa Distribuído. Esse caminho deve ser um número inteiro positivo entre 0 e cem no runtime. O caminho de referência é especificado no subcampo ToleratedFailurePercentagePath.

Por exemplo, dada a seguinte entrada:

{
  "percentage": 15
}

Você pode especificar a porcentagem usando um caminho de referência para essa entrada da seguinte forma:

{
  ...
  "Map": {
    "Type": "Map",
    ...
    "ToleratedFailurePercentagePath": "$.percentage"
    ...
  }
}

Define o número de itens com falha a serem tolerados. A Execução de mapa falhará se esse valor for excedido.

Como alternativa, você pode especificar a contagem como um caminho de referência para um par de chave-valor existente na entrada do estado Mapa Distribuído. Esse caminho deve ser um inteiro positivo no runtime. O caminho de referência é especificado no subcampo ToleratedFailureCountPath.

Por exemplo, dada a seguinte entrada:

{
  "count": 10
}

Você pode especificar o número usando um caminho de referência para essa entrada da seguinte forma:

{
  ...
  "Map": {
    "Type": "Map",
    ...
    "ToleratedFailureCountPath": "$.count"
    ...
  }
}