Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Mantieni aggiornati i dati in una tabella di destinazione con AWS Glue e Athena
Questo progetto di esempio dimostra come interrogare una tabella di destinazione con cui ottenere dati correnti AWS Glue Cataloga, quindi aggiornalo con nuovi dati da altre fonti utilizzando Amazon Athena.
In questo progetto, la macchina a stati Step Functions chiama AWS Glue Cataloga per verificare se esiste una tabella di destinazione in un bucket Amazon S3. Se non viene trovata alcuna tabella, verrà creata una nuova tabella. Poi, Step Functions esegue una query Athena per aggiungere righe alla tabella di destinazione da un'origine dati diversa: prima interroga la tabella di destinazione per ottenere la data più recente, quindi interroga la tabella di origine per i dati più recenti e li inserisce nella tabella di destinazione.
Fase 1: Creare la macchina a stati
-
Apri la console Step Functions
e scegli Crea macchina a stati. -
Digita
Keep data up to datenella casella di ricerca, quindi scegli Mantieni i dati aggiornati dai risultati di ricerca restituiti. -
Seleziona Successivo per continuare.
-
Scegli Esegui una demo per creare un ready-to-deploy flusso di lavoro di sola lettura o scegli Crea su di esso per creare una definizione di macchina a stati modificabile da utilizzare e distribuire in un secondo momento.
Questo progetto di esempio utilizza le seguenti risorse:
-
Un record Amazon S3 bucket
-
Amazon Athena queries
-
Un record AWS Glue Data Catalog call
-
Un record AWS Step Functions macchina a stati
-
Correlati AWS Identity and Access Management (IAM) ruoli
L'immagine seguente mostra il grafico del flusso di lavoro per il progetto di esempio Keep data update:
-
-
Scegli Usa modello per continuare con la selezione.
I passaggi successivi dipendono dalla scelta precedente:
-
Esegui una demo: puoi esaminare la macchina a stati prima di creare un progetto di sola lettura con risorse distribuite da AWS CloudFormation al tuo Account AWS.
Puoi visualizzare la definizione della macchina a stati e, quando sei pronto, scegli Implementa ed esegui per distribuire il progetto e creare le risorse.
La creazione di risorse e autorizzazioni può richiedere fino a 10 minuti per la distribuzione. Puoi utilizzare il link Stack ID per monitorare i progressi in AWS CloudFormation.
Una volta completata la distribuzione, dovresti vedere la tua nuova macchina a stati nella console.
-
Sviluppala: puoi rivedere e modificare la definizione del flusso di lavoro. Potrebbe essere necessario impostare i valori per i segnaposto nel progetto di esempio prima di provare a eseguire il flusso di lavoro personalizzato.
Nota
Potrebbero essere applicati costi standard per i servizi distribuiti sul tuo account.
Passaggio 2: Esegui la macchina a stati
-
Nella pagina Macchine a stati, scegli il tuo progetto di esempio.
-
Nella pagina del progetto di esempio, scegli Avvia esecuzione.
-
Nella finestra di dialogo Avvia esecuzione, effettuate le seguenti operazioni:
-
(Facoltativo) Immettete un nome di esecuzione personalizzato per sovrascrivere il valore predefinito generato.
ASCIINomi diversi e registrazione
Step Functions accetta nomi per macchine a stati, esecuzioni, attività ed etichette che contengono non ASCII caratteri. Poiché tali caratteri non funzioneranno con Amazon CloudWatch, ti consigliamo di utilizzare solo ASCII caratteri in modo da poter tenere traccia delle metriche. CloudWatch
-
(Facoltativo) Nella casella Input, inserisci i valori di input comeJSON. Puoi saltare questo passaggio se stai eseguendo una demo.
-
Selezionare Start execution (Avvia esecuzione).
La console Step Functions ti indirizzerà a una pagina dei dettagli di esecuzione in cui puoi scegliere gli stati nella vista Graph per esplorare le informazioni correlate nel Dettagli del passaggio riquadro.
-
Esempio di codice della macchina a stati
La macchina a stati di questo progetto di esempio si integra con Amazon S3, AWS Glue e Amazon Athena passando i parametri direttamente a tali risorse.
Sfoglia questo esempio di macchina a stati per vedere come Step Functions controlla Amazon S3, AWS Glue e Amazon Athena collegandosi ad Amazon Resource Name (ARN) sul Resource campo e passando Parameters al servizio. API
Per ulteriori informazioni su come AWS Step Functions può controllarne altri AWS servizi, vediIntegrazione dei servizi con Step Functions.
{
"Comment": "An example demonstrates how to use Athena to query a target table to get current data, then update it with new data from other sources.",
"StartAt": "Get Target Table",
"States": {
"Get Target Table": {
"Type": "Task",
"Parameters": {
"DatabaseName": "<GLUE_DATABASE_NAME>",
"Name": "target"
},
"Catch": [
{
"ErrorEquals": [
"Glue.EntityNotFoundException"
],
"Next": "Create Target Table"
}
],
"Resource": "arn:aws:states:::aws-sdk:glue:getTable",
"Next": "Update Target Table"
},
"Create Target Table": {
"Resource": "arn:aws:states:::athena:startQueryExecution.sync",
"Parameters": {
"QueryString": "<ATHENA_QUERYSTRING>",
"WorkGroup": "<ATHENA_WORKGROUP>"
},
"Type": "Task",
"Next": "Update Target Table"
},
"Update Target Table": {
"Resource": "arn:aws:states:::athena:startQueryExecution.sync",
"Parameters": {
"QueryString": "<ATHENA_QUERYSTRING>",
"WorkGroup": "<ATHENA_WORKGROUP>"
},
"Type": "Task",
"End": true
}
}
}IAMEsempio
In questo esempio AWS Identity and Access Management (IAM) la politica generata dal progetto di esempio include il minimo privilegio necessario per eseguire la macchina a stati e le risorse correlate. Ti consigliamo di includere solo le autorizzazioni necessarie nelle tue IAM politiche.
AthenaStartQueryExecution
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"athena:startQueryExecution",
"athena:stopQueryExecution",
"athena:getQueryExecution",
"athena:getDataCatalog"
],
"Resource": [
"arn:aws:athena:us-east-2:123456789012:workgroup/stepfunctions-athena-sample-project-workgroup-26ujlyawxg",
"arn:aws:athena:us-east-2:123456789012:datacatalog/*"
]
},
{
"Effect": "Allow",
"Action": [
"s3:GetBucketLocation",
"s3:GetObject",
"s3:ListBucket",
"s3:ListBucketMultipartUploads",
"s3:ListMultipartUploadParts",
"s3:AbortMultipartUpload",
"s3:CreateBucket",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::*"
]
},
{
"Effect": "Allow",
"Action": [
"glue:CreateDatabase",
"glue:GetDatabase",
"glue:GetDatabases",
"glue:UpdateDatabase",
"glue:DeleteDatabase",
"glue:CreateTable",
"glue:UpdateTable",
"glue:GetTable",
"glue:GetTables",
"glue:DeleteTable",
"glue:BatchDeleteTable",
"glue:BatchCreatePartition",
"glue:CreatePartition",
"glue:UpdatePartition",
"glue:GetPartition",
"glue:GetPartitions",
"glue:BatchGetPartition",
"glue:DeletePartition",
"glue:BatchDeletePartition"
],
"Resource": [
"arn:aws::glue:us-east-2:123456789012:catalog",
"arn:aws::glue:us-east-2:123456789012:database/*",
"arn:aws::glue:us-east-2:123456789012:table/*",
"arn:aws::glue:us-east-2:123456789012:userDefinedFunction/*"
]
},
{
"Effect": "Allow",
"Action": [
"lakeformation:GetDataAccess"
],
"Resource": [
"*"
]
}
]
}Per informazioni su come configurare l'IAMutilizzo di Step Functions con altri AWS servizi, vediIn che modo Step Functions genera IAM politiche per servizi integrati.
