Athena를 사용하여 AWS Glue 대상 테이블의 데이터를 최신 상태로 유지

이 샘플 프로젝트는 AWS Glue Catalog로 대상 테이블을 쿼리하여 현재 데이터를 가져온 다음 Amazon Athena를 사용하여 다른 소스의 새 데이터로 업데이트하는 방법을 보여줍니다.

이 프로젝트에서는 Step Functions 상태 머신이 AWS Glue Catalog를 호출하여 Amazon S3 버킷에 대상 테이블이 있는지 확인합니다. 테이블이 없으면 새 테이블이 생성됩니다. 그런 다음 Step Functions에서 Athena 쿼리를 실행하여 다른 데이터 소스의 대상 테이블에 행을 추가합니다. 먼저 대상 테이블을 쿼리하여 최신 날짜를 가져온 다음 최신 데이터의 소스 테이블을 쿼리하여 대상 테이블에 삽입합니다.

1단계: 상태 시스템 만들기 및 리소스 프로비저닝

2단계: 상태 시스템 실행

예제 상태 머신 코드

이 샘플 프로젝트의 상태 머신은 해당 리소스에 파라미터를 직접 전달하여 Amazon S3 및 Amazon Athena와 통합됩니다. AWS Glue

이 예제 상태 머신을 살펴보면서 Step Functions가 Resource 필드의 Amazon 리소스 이름 (ARN) 에 연결하고 서비스에 Parameters 전달하여 Amazon S3와 Amazon Athena를 제어하는 방법을 살펴봅니다. AWS Glue API

다른 AWS 서비스를 제어하는 방법에 AWS Step Functions 대한 자세한 내용은 을 참조하십시오Step Functions와 다른 서비스 통합.

{
    "Comment": "An example demonstrates how to use Athena to query a target table to get current data, then update it with new data from other sources.",
    "StartAt": "Get Target Table",
    "States": {
      "Get Target Table": {
        "Type": "Task",
        "Parameters": {
          "DatabaseName": "<GLUE_DATABASE_NAME>",
          "Name": "target"
        },
        "Catch": [
          {
            "ErrorEquals": [
              "Glue.EntityNotFoundException"
            ],
            "Next": "Create Target Table"
          }
        ],
        "Resource": "arn:aws:states:::aws-sdk:glue:getTable",
        "Next": "Update Target Table"
      },
      "Create Target Table": {
        "Resource": "arn:aws:states:::athena:startQueryExecution.sync",
        "Parameters": {
            "QueryString": "<ATHENA_QUERYSTRING>",
            "WorkGroup": "<ATHENA_WORKGROUP>"
        },
        "Type": "Task",
        "Next": "Update Target Table"
      },
      "Update Target Table": {
        "Resource": "arn:aws:states:::athena:startQueryExecution.sync",
        "Parameters": {
            "QueryString": "<ATHENA_QUERYSTRING>",
            "WorkGroup": "<ATHENA_WORKGROUP>"
        },
        "Type": "Task",
        "End": true
      }
    }
  }

IAM예시

샘플 프로젝트에서 생성된 이 예제 AWS Identity and Access Management (IAM) 정책에는 스테이트 머신 및 관련 리소스를 실행하는 데 필요한 최소 권한이 포함되어 있습니다. IAM정책에 필요한 권한만 포함하는 것이 좋습니다.

AthenaStartQueryExecution

    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "athena:startQueryExecution",
                "athena:stopQueryExecution",
                "athena:getQueryExecution",
                "athena:getDataCatalog"
            ],
            "Resource": [
                "arn:aws:athena:us-east-2:123456789012:workgroup/stepfunctions-athena-sample-project-workgroup-26ujlyawxg",
                "arn:aws:athena:us-east-2:123456789012:datacatalog/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:ListMultipartUploadParts",
                "s3:AbortMultipartUpload",
                "s3:CreateBucket",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:CreateDatabase",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:UpdateDatabase",
                "glue:DeleteDatabase",
                "glue:CreateTable",
                "glue:UpdateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:BatchDeleteTable",
                "glue:BatchCreatePartition",
                "glue:CreatePartition",
                "glue:UpdatePartition",
                "glue:GetPartition",
                "glue:GetPartitions",
                "glue:BatchGetPartition",
                "glue:DeletePartition",
                "glue:BatchDeletePartition"
            ],
            "Resource": [
                "arn:aws::glue:us-east-2:123456789012:catalog",
                "arn:aws::glue:us-east-2:123456789012:database/*",
                "arn:aws::glue:us-east-2:123456789012:table/*",
                "arn:aws::glue:us-east-2:123456789012:userDefinedFunction/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

Step Functions를 다른 AWS 서비스와 함께 사용할 IAM 때 구성하는 방법에 대한 자세한 내용은 을 참조하십시오Step Functions가 통합 서비스를 위한 IAM 정책을 생성하는 방법.