Maintenir les données d'une table cible à jour avec AWS Glue et Athena

Cet exemple de projet montre comment interroger une table cible pour obtenir des données actuelles avec AWS Glue Catalog, puis comment la mettre à jour avec de nouvelles données provenant d'autres sources à l'aide d'Amazon Athena.

Dans ce projet, la machine d'état Step Functions appelle AWS Glue Catalog pour vérifier si une table cible existe dans un compartiment Amazon S3. Si aucune table n'est trouvée, une nouvelle table sera créée. Step FunctionsExécute ensuite une requête Athena pour ajouter des lignes à la table cible à partir d'une autre source de données : en interrogeant d'abord la table cible pour obtenir la date la plus récente, puis en interrogeant la table source pour obtenir des données plus récentes et en les insérant dans la table cible.

Étape 1 : créer la machine à états et provisionner les ressources

Étape 2 : Exécuter la machine d'état

Exemple de code de machine d'état

Dans cet exemple de projet, AWS Glue la machine à états s'intègre à Amazon S3 et Amazon Athena en transmettant des paramètres directement à ces ressources.

Parcourez cet exemple de machine à états pour découvrir comment Step Functions contrôle Amazon S3 et Amazon Athena en se connectant au nom de ressource Amazon (ARN) Resource sur le terrain et en passant Parameters au service. AWS Glue API

Pour plus d'informations sur la manière de AWS Step Functions contrôler d'autres AWS services, consultezIntégration d'autres services avec Step Functions.

{
    "Comment": "An example demonstrates how to use Athena to query a target table to get current data, then update it with new data from other sources.",
    "StartAt": "Get Target Table",
    "States": {
      "Get Target Table": {
        "Type": "Task",
        "Parameters": {
          "DatabaseName": "<GLUE_DATABASE_NAME>",
          "Name": "target"
        },
        "Catch": [
          {
            "ErrorEquals": [
              "Glue.EntityNotFoundException"
            ],
            "Next": "Create Target Table"
          }
        ],
        "Resource": "arn:aws:states:::aws-sdk:glue:getTable",
        "Next": "Update Target Table"
      },
      "Create Target Table": {
        "Resource": "arn:aws:states:::athena:startQueryExecution.sync",
        "Parameters": {
            "QueryString": "<ATHENA_QUERYSTRING>",
            "WorkGroup": "<ATHENA_WORKGROUP>"
        },
        "Type": "Task",
        "Next": "Update Target Table"
      },
      "Update Target Table": {
        "Resource": "arn:aws:states:::athena:startQueryExecution.sync",
        "Parameters": {
            "QueryString": "<ATHENA_QUERYSTRING>",
            "WorkGroup": "<ATHENA_WORKGROUP>"
        },
        "Type": "Task",
        "End": true
      }
    }
  }

IAMExemple

Cet exemple AWS Identity and Access Management (IAM) de politique généré par l'exemple de projet inclut le minimum de privilèges nécessaires pour exécuter la machine à états et les ressources associées. Nous vous recommandons de n'inclure que les autorisations nécessaires dans vos IAM politiques.

AthenaStartQueryExecution

    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "athena:startQueryExecution",
                "athena:stopQueryExecution",
                "athena:getQueryExecution",
                "athena:getDataCatalog"
            ],
            "Resource": [
                "arn:aws:athena:us-east-2:123456789012:workgroup/stepfunctions-athena-sample-project-workgroup-26ujlyawxg",
                "arn:aws:athena:us-east-2:123456789012:datacatalog/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:ListMultipartUploadParts",
                "s3:AbortMultipartUpload",
                "s3:CreateBucket",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:CreateDatabase",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:UpdateDatabase",
                "glue:DeleteDatabase",
                "glue:CreateTable",
                "glue:UpdateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:BatchDeleteTable",
                "glue:BatchCreatePartition",
                "glue:CreatePartition",
                "glue:UpdatePartition",
                "glue:GetPartition",
                "glue:GetPartitions",
                "glue:BatchGetPartition",
                "glue:DeletePartition",
                "glue:BatchDeletePartition"
            ],
            "Resource": [
                "arn:aws::glue:us-east-2:123456789012:catalog",
                "arn:aws::glue:us-east-2:123456789012:database/*",
                "arn:aws::glue:us-east-2:123456789012:table/*",
                "arn:aws::glue:us-east-2:123456789012:userDefinedFunction/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

Pour plus d'informations sur la configuration IAM lors de l'utilisation de Step Functions avec d'autres AWS services, consultezComment Step Functions génère IAM des politiques pour les services intégrés.