使用查詢大型資料集 AWS Glue 爬行者

此範例專案示範如何擷取 Amazon S3 中的大型資料集，並透過以下方式對其進行分割 AWS Glue 檢索器，然後對該分區執行 Amazon Athena 查詢。

在這個專案中，Step Functions 狀態機會叫用 AWS Glue 在 Amazon S3 中分割大型資料集的爬蟲程式。一旦 AWS Glue 爬行者程式會傳回成功訊息，工作流程會針對該分割區執行 Athena 查詢。一旦查詢執行成功完成，Amazon SNS 通知將發送到 Amazon SNS 主題。

步驟 1：建立狀態機

開啟 Step Functions 主控台，然後選擇建立狀態機器。
Query large datasets在搜尋方塊中輸入，然後從傳回的搜尋結果中選擇 [查詢大型資料集]。
選擇 Next (下一步) 繼續。
選擇 [執行示範] 以建立唯讀和 ready-to-deploy 工作流程，或選擇 [在其上建置] 建立可編輯的狀態機定義，您可以在其上建置並稍後進行部署。

此範例專案會部署下列資源：
- 同時 Amazon S3 儲存貯體
- 同時 AWS Glue 編目程式
- 同時 Amazon SNS 主題
- 同時 AWS Step Functions 狀態機器
- 相關 AWS Identity and Access Management (IAM) 角色
下列影像顯示「查詢大型資料集」範例專案的工作流程圖形：
選擇「使用範本」繼續進行選取。

接下來的步驟取決於您之前的選擇：

執行示範 — 您可以先檢閱狀態機器，然後再建立唯讀專案，其中包含部署的資源 AWS CloudFormation 到您的 AWS 帳戶.

您可以檢視狀態機器定義，當您準備就緒時，請選擇 [部署並執行] 以部署專案並建立資源。

部署最多可能需要 10 分鐘的時間來建立資源和權限。您可以使用「堆疊 ID」連結來監控進度 AWS CloudFormation.

部署完成後，您應該會在控制台中看到新的狀態機器。
建立在其上 — 您可以檢閱和編輯工作流程定義。您可能需要在範例專案中設定預留位置的值，然後才能嘗試執行自訂工作流程。

注意

部署到您帳戶的服務可能需要支付標準費用。

步驟 2：運行狀態機

在 [狀態電腦] 頁面上，選擇您的範例專案。
在範例專案頁面上，選擇 [開始執行]。
在 [開始執行] 對話方塊中，執行下列動作：
1. (選擇性) 輸入自訂執行名稱，以覆寫產生的預設值。
  
  非ASCII名稱和記錄
  Step Functions 接受包含非ASCII字元的狀態機器、執行項目、活動和標籤的名稱。由於此類字元不適用於 Amazon CloudWatch，因此我們建議您僅使用ASCII字元，以便在中追蹤指標 CloudWatch。
2. (選擇性) 在「輸入」方塊中，將輸入值輸入為JSON。如果您正在運行演示，則可以跳過此步驟。
3. 選擇 Start execution (開始執行)。
「Step Functions」主控台會將您導向「執行詳細資訊」頁面，您可以在其中選擇「圖形」檢視中的狀態，以瀏覽步驟詳情窗格中的相關資訊。

範例狀態機器程式碼

此範例專案中的狀態機器與 Amazon S3 整合， AWS Glue，Amazon Athena 和 Amazon SNS 直接將參數傳遞給這些資源。

瀏覽此範例狀態機器，瞭解 Step Functions 如何控制 Amazon S3， AWS Glue，Amazon Athena 和 Amazon SNS 通過連接到Resource現場的 Amazon 資源名稱（ARN），並通過傳遞Parameters給服務API。

有關如何進一步了解 AWS Step Functions 可以控制其他 AWS 服務，請參閱整合服務與 Step Functions。


{
    "Comment": "An example demonstrates how to ingest a large data set in Amazon S3 and partition it through aws Glue Crawlers, then execute Amazon Athena queries against that partition.",
    "StartAt": "Start Crawler",
    "States": {
      "Start Crawler": {
        "Type": "Task",
        "Next": "Get Crawler status",
        "Parameters": {
          "Name": "<GLUE_CRAWLER_NAME>"
        },
        "Resource": "arn:aws:states:::aws-sdk:glue:startCrawler"
      },
      "Get Crawler status": {
        "Type": "Task",
        "Parameters": {
          "Name": "<GLUE_CRAWLER_NAME>"
        },
        "Resource": "arn:aws:arn:aws:states:::aws-sdk:glue:getCrawler",
        "Next": "Check Crawler status"
      },
      "Check Crawler status": {
        "Type": "Choice",
        "Choices": [
          {
            "Variable": "$.Crawler.State",
            "StringEquals": "RUNNING",
            "Next": "Wait"
          }
        ],
        "Default": "Start an Athena query"
      },
      "Wait": {
        "Type": "Wait",
        "Seconds": 30,
        "Next": "Get Crawler status"
      },
      "Start an Athena query": {
        "Resource": "arn:aws:states:::athena:startQueryExecution.sync",
        "Parameters": {
            "QueryString": "<ATHENA_QUERYSTRING>",
            "WorkGroup": "<ATHENA_WORKGROUP>"
        },
        "Type": "Task",
        "Next": "Get query results"
      },
      "Get query results": {
        "Resource": "arn:aws:states:::athena:getQueryResults",
        "Parameters": {
          "QueryExecutionId.$": "$.QueryExecution.QueryExecutionId"
        },
        "Type": "Task",
        "Next": "Send query results"
      },
      "Send query results": {
        "Resource": "arn:aws:states:::sns:publish",
        "Parameters": {
          "TopicArn": "<SNS_TOPIC_ARN>",
          "Message": {
            "Input.$": "$.ResultSet.Rows"
          }
        },
        "Type": "Task",
        "End": true
      }
    }
  }

IAM例子

這些例子 AWS Identity and Access Management (IAM) 範例專案所產生的原則包含執行狀態機器及相關資源所需的最低權限。我們建議您僅在IAM原則中加入必要的權限。

AthenaGetQueryResults


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "athena:getQueryResults"
            ],
            "Resource": [
                "arn:aws:athena:us-east-2:123456789012:workgroup/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        }
    ]
}

AthenaStartQueryExecution


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "athena:startQueryExecution",
                "athena:stopQueryExecution",
                "athena:getQueryExecution",
                "athena:getDataCatalog"
            ],
            "Resource": [
                "arn:aws:athena:us-east-2:123456789012:workgroup/stepfunctions-athena-sample-project-workgroup-8v7bshiv70",
                "arn:aws:athena:us-east-2:123456789012:datacatalog/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:ListMultipartUploadParts",
                "s3:AbortMultipartUpload",
                "s3:CreateBucket",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:CreateDatabase",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:UpdateDatabase",
                "glue:DeleteDatabase",
                "glue:CreateTable",
                "glue:UpdateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:BatchDeleteTable",
                "glue:BatchCreatePartition",
                "glue:CreatePartition",
                "glue:UpdatePartition",
                "glue:GetPartition",
                "glue:GetPartitions",
                "glue:BatchGetPartition",
                "glue:DeletePartition",
                "glue:BatchDeletePartition"
            ],
            "Resource": [
                "arn:aws:glue:us-east-2:123456789012:catalog",
                "arn:aws:glue:us-east-2:123456789012:database/*",
                "arn:aws:glue:us-east-2:123456789012:table/*",
                "arn:aws:glue:us-east-2:123456789012:userDefinedFunction/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

SNSPublish


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "sns:Publish"
            ],
            "Resource": [
                "arn:aws:sns:us-east-2:123456789012:StepFunctionsSample-AthenaIngestLargeDataset92bc4949-abf8-4a1e-9236-5b7c81b3efa3-SNSTopic-8Y5ZLI5AASXV"
            ]
        }
    ]
}

有關如何在使用步驟函數與其他功能IAM時進行配置的資訊 AWS 服務，請參閱Step Functions 式如何為整合式服務產生IAM原則。

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

使用 Athena 按順序並 parallel 執行查詢

讓資料保持在最新狀態