As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Processe mensagens de alto volume da Amazon SQS com fluxos de trabalho do Step Functions Express

Este exemplo de projeto demonstra como usar um AWS Step Functions Express Workflow para processar mensagens ou dados de uma fonte de eventos de alto volume, como o Amazon Simple Queue Service (AmazonSQS). Como os fluxos de trabalho expressos podem ser iniciados em uma taxa muito alta, eles são ideais para processamento de eventos de alto volume ou cargas de trabalho de dados em streaming.

Aqui estão dois métodos comumente usados para executar sua máquina de estado de uma fonte de evento:

Esse projeto de amostra usa o segundo método para iniciar uma execução sempre que a SQS fila da Amazon envia uma mensagem. Você pode usar uma configuração semelhante para acionar a execução do fluxos de trabalho expressos a partir de outras fontes de eventos, como o Amazon Simple Storage Service (Amazon S3), o Amazon DynamoDB e o Amazon Kinesis.

Para obter mais informações sobre o fluxos de trabalho expressos e as integrações de serviço do Step Functions, consulte o seguinte:

Etapa 1: Criar a máquina de estado

As próximas etapas dependem da sua escolha anterior:

Etapa 2: Acionar a execução da máquina de estado

Exemplo de código da função do Lambda

A seguir está o código da função Lambda que mostra como a função Lambda iniciante inicia a execução de uma máquina de estado usando o AWS SDK.

import boto3

def lambda_handler(event, context):
    message_body = event['Records'][0]['body']
    client = boto3.client('stepfunctions')
    response = client.start_execution(
        stateMachineArn='${ExpressStateMachineArn}',
        input=message_body
    )

Exemplo de código da máquina de estado

O fluxo de trabalho expresso neste projeto de exemplo consiste em um conjunto de funções do Lambda para processamento de texto.

Para obter mais informações sobre como AWS Step Functions pode controlar outros AWS serviços, vejaIntegrando serviços com Step Functions.

{
  "Comment": "An example of using Express workflows to run text processing for each message sent from an SQS queue.",
  "StartAt": "Decode base64 string",
  "States": {
    "Decode base64 string": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::lambda:invoke",
      "OutputPath": "$.Payload",
      "Parameters": {
        "FunctionName": "<BASE64_DECODER_LAMBDA_FUNCTION_NAME>",
        "Payload.$": "$"
      },
      "Next": "Generate statistics"
    },
    "Generate statistics": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::lambda:invoke",
      "OutputPath": "$.Payload",
      "Parameters": {
        "FunctionName": "<TEXT_STATS_GENERATING_LAMBDA_FUNCTION_NAME>",
        "Payload.$": "$"
      },
      "Next": "Remove special characters"
    },
    "Remove special characters": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::lambda:invoke",
      "OutputPath": "$.Payload",
      "Parameters": {
        "FunctionName": "<STRING_CLEANING_LAMBDA_FUNCTION_NAME>",
        "Payload.$": "$"
      },
      "Next": "Tokenize and count"
    },
    "Tokenize and count": {
      "Type": "Task",
      "Resource": "arn:<PARTITION>:states:::lambda:invoke",
      "OutputPath": "$.Payload",
      "Parameters": {
        "FunctionName": "<TOKENIZING_AND_WORD_COUNTING_LAMBDA_FUNCTION_NAME>",
        "Payload.$": "$"
      },
      "End": true
    }
  }
}

IAMExemplo

Esse exemplo AWS Identity and Access Management (IAM) a política gerada pelo projeto de amostra inclui o menor privilégio necessário para executar a máquina de estado e os recursos relacionados. Recomendamos que você inclua somente as permissões necessárias em suas IAM políticas.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:us-east-1:123456789012:function:example-Base64DecodeLambda-wJalrXUtnFEMI",
                "arn:aws:lambda:us-east-1:123456789012:function:example-StringCleanerLambda-je7MtGbClwBF",
                "arn:aws:lambda:us-east-1:123456789012:function:example-TokenizerCounterLambda-wJalrXUtnFEMI",
                "arn:aws:lambda:us-east-1:123456789012:function:example-GenerateStatsLambda-je7MtGbClwBF"
            ],
            "Effect": "Allow"
        }
    ]
}

A política a seguir garante que haja permissões suficientes para CloudWatch os registros.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "logs:CreateLogDelivery",
                "logs:GetLogDelivery",
                "logs:UpdateLogDelivery",
                "logs:DeleteLogDelivery",
                "logs:ListLogDeliveries",
                "logs:PutResourcePolicy",
                "logs:DescribeResourcePolicies",
                "logs:DescribeLogGroups"
            ],
            "Resource": [
                "*"
            ],
            "Effect": "Allow"
        }
    ]
}

Para obter informações sobre como configurar IAM ao usar Step Functions com outros AWS serviços, vejaComo o Step Functions gera IAM políticas para serviços integrados.