Etapa 1: Criar a máquina de estado Etapa 2: Executar a máquina de estado Exemplo de código da máquina de estado IAMExemplos

Consulte grandes conjuntos de dados usando um AWS Glue crawler

Este exemplo de projeto demonstra como ingerir um grande conjunto de dados no Amazon S3 e particioná-lo por meio de AWS Glue Rastreadores e, em seguida, executam consultas do Amazon Athena nessa partição.

Neste projeto, a máquina de estado Step Functions invoca um AWS Glue rastreador que particiona um grande conjunto de dados no Amazon S3. Uma vez que o AWS Glue O crawler retorna uma mensagem de sucesso, o fluxo de trabalho executa as consultas do Athena nessa partição. Depois que a execução da consulta for concluída com sucesso, uma SNS notificação da Amazon será enviada para um SNS tópico da Amazon.

Etapa 1: Criar a máquina de estado

Abra o console do Step Functions e clique em Criar máquina de estado.
Digite Query large datasets na caixa de pesquisa e escolha Consultar grandes conjuntos de dados nos resultados da pesquisa que são retornados.
Escolha Próximo para continuar.
Escolha Executar uma demonstração para criar um ready-to-deploy fluxo de trabalho e somente leitura, ou escolha Criar nele para criar uma definição de máquina de estado editável na qual você possa criar e implantar posteriormente.

‎Este projeto de exemplo implementa os recursos a seguir.
- Uma Amazon S3 bucket
- Uma Crawler do AWS Glue
- Uma Amazon SNS tópico
- Uma AWS Step Functions máquina de estado
- Relacionado AWS Identity and Access Management (IAM) funções
A imagem a seguir mostra o gráfico do fluxo de trabalho do exemplo de projeto Consultar grandes conjuntos de dados:
Escolha Usar modelo para continuar com a seleção.

As próximas etapas dependem da sua escolha anterior:

Execute uma demonstração — Você pode revisar a máquina de estado antes de criar um projeto somente para leitura com recursos implantados pelo AWS CloudFormation para o seu Conta da AWS.

Você pode visualizar a definição da máquina de estado e, quando estiver pronto, escolher Implantar e executar para implantar o projeto e criar os recursos.

A implantação pode levar até 10 minutos para criar recursos e permissões. Você pode usar o link Stack ID para monitorar o progresso no AWS CloudFormation.

Após a conclusão da implantação, você deverá ver sua nova máquina de estado no console.
Desenvolva com base nisso — você pode revisar e editar a definição do fluxo de trabalho. Talvez seja necessário definir valores para espaços reservados no projeto de amostra antes de tentar executar seu fluxo de trabalho personalizado.

nota

Cobranças padrão podem ser aplicadas aos serviços implantados em sua conta.

Etapa 2: Executar a máquina de estado

Na página Máquinas de estado, escolha seu projeto de exemplo.
Na página do projeto de exemplo, escolha Iniciar execução.
Na caixa de diálogo Iniciar execução, faça o seguinte:
1. (Opcional) Insira um nome de execução personalizado para substituir o padrão gerado.
  
  ASCIINão-nomes e registro
  Step Functions aceita nomes para máquinas de estado, execuções, atividades e rótulos que não contenham ASCII caracteres. Como esses caracteres não funcionarão com a Amazon CloudWatch, recomendamos usar somente ASCII caracteres para que você possa acompanhar as métricas CloudWatch.
2. (Opcional) Na caixa Entrada, insira os valores de entrada comoJSON. Você pode pular essa etapa se estiver executando uma demonstração.
3. Selecione Iniciar execução.
O console Step Functions direcionará você para uma página de detalhes da execução, na qual você pode escolher estados na visualização do gráfico para explorar informações relacionadas no Detalhes da etapa painel.

Exemplo de código da máquina de estado

A máquina de estado neste projeto de amostra se integra ao Amazon S3, AWS Glue, Amazon Athena e Amazon SNS passando parâmetros diretamente para esses recursos.

Navegue por este exemplo de máquina de estado para ver como o Step Functions controla o Amazon S3, AWS Glue, Amazon Athena e Amazon SNS conectando-se ao Amazon Resource Name (ARN) no Resource campo e passando Parameters para o serviço. API

Para obter mais informações sobre como AWS Step Functions pode controlar outros AWS serviços, consulteIntegrando serviços com Step Functions.


{
    "Comment": "An example demonstrates how to ingest a large data set in Amazon S3 and partition it through aws Glue Crawlers, then execute Amazon Athena queries against that partition.",
    "StartAt": "Start Crawler",
    "States": {
      "Start Crawler": {
        "Type": "Task",
        "Next": "Get Crawler status",
        "Parameters": {
          "Name": "<GLUE_CRAWLER_NAME>"
        },
        "Resource": "arn:aws:states:::aws-sdk:glue:startCrawler"
      },
      "Get Crawler status": {
        "Type": "Task",
        "Parameters": {
          "Name": "<GLUE_CRAWLER_NAME>"
        },
        "Resource": "arn:aws:arn:aws:states:::aws-sdk:glue:getCrawler",
        "Next": "Check Crawler status"
      },
      "Check Crawler status": {
        "Type": "Choice",
        "Choices": [
          {
            "Variable": "$.Crawler.State",
            "StringEquals": "RUNNING",
            "Next": "Wait"
          }
        ],
        "Default": "Start an Athena query"
      },
      "Wait": {
        "Type": "Wait",
        "Seconds": 30,
        "Next": "Get Crawler status"
      },
      "Start an Athena query": {
        "Resource": "arn:aws:states:::athena:startQueryExecution.sync",
        "Parameters": {
            "QueryString": "<ATHENA_QUERYSTRING>",
            "WorkGroup": "<ATHENA_WORKGROUP>"
        },
        "Type": "Task",
        "Next": "Get query results"
      },
      "Get query results": {
        "Resource": "arn:aws:states:::athena:getQueryResults",
        "Parameters": {
          "QueryExecutionId.$": "$.QueryExecution.QueryExecutionId"
        },
        "Type": "Task",
        "Next": "Send query results"
      },
      "Send query results": {
        "Resource": "arn:aws:states:::sns:publish",
        "Parameters": {
          "TopicArn": "<SNS_TOPIC_ARN>",
          "Message": {
            "Input.$": "$.ResultSet.Rows"
          }
        },
        "Type": "Task",
        "End": true
      }
    }
  }

IAMExemplos

Esses exemplos AWS Identity and Access Management (IAM) as políticas geradas pelo projeto de amostra incluem o menor privilégio necessário para executar a máquina de estado e os recursos relacionados. Recomendamos que você inclua somente as permissões necessárias em suas IAM políticas.

AthenaGetQueryResults


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "athena:getQueryResults"
            ],
            "Resource": [
                "arn:aws:athena:us-east-2:123456789012:workgroup/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        }
    ]
}

AthenaStartQueryExecution


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "athena:startQueryExecution",
                "athena:stopQueryExecution",
                "athena:getQueryExecution",
                "athena:getDataCatalog"
            ],
            "Resource": [
                "arn:aws:athena:us-east-2:123456789012:workgroup/stepfunctions-athena-sample-project-workgroup-8v7bshiv70",
                "arn:aws:athena:us-east-2:123456789012:datacatalog/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:ListMultipartUploadParts",
                "s3:AbortMultipartUpload",
                "s3:CreateBucket",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:CreateDatabase",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:UpdateDatabase",
                "glue:DeleteDatabase",
                "glue:CreateTable",
                "glue:UpdateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:BatchDeleteTable",
                "glue:BatchCreatePartition",
                "glue:CreatePartition",
                "glue:UpdatePartition",
                "glue:GetPartition",
                "glue:GetPartitions",
                "glue:BatchGetPartition",
                "glue:DeletePartition",
                "glue:BatchDeletePartition"
            ],
            "Resource": [
                "arn:aws:glue:us-east-2:123456789012:catalog",
                "arn:aws:glue:us-east-2:123456789012:database/*",
                "arn:aws:glue:us-east-2:123456789012:table/*",
                "arn:aws:glue:us-east-2:123456789012:userDefinedFunction/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

SNSPublish


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "sns:Publish"
            ],
            "Resource": [
                "arn:aws:sns:us-east-2:123456789012:StepFunctionsSample-AthenaIngestLargeDataset92bc4949-abf8-4a1e-9236-5b7c81b3efa3-SNSTopic-8Y5ZLI5AASXV"
            ]
        }
    ]
}

Para obter informações sobre como configurar IAM ao usar Step Functions com outros AWS serviços, consulteComo o Step Functions gera IAM políticas para serviços integrados.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Execute consultas em sequência e paralelamente usando o Athena

Mantenha os dados atualizados