Streaming di dati alle tabelle con Amazon Data Firehose

1. Aprire la console IAM all'indirizzo https://console.aws.amazon.com/iam/.

2. Nel riquadro di navigazione a sinistra, seleziona Policy.

3. Scegli Crea una policy e scegliere JSON nell'editor delle policy.

4. Aggiungere la seguente policy in linea che concede le autorizzazioni a tutti i database e alle tabelle del catalogo dei dati. Se lo si desidera, è possibile concedere le autorizzazioni solo a tabelle e database specifici. Per utilizzare questa policy, sostituisci input placeholders con le tue informazioni.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "S3TableAccessViaGlueFederation",
         "Effect": "Allow",
         "Action": [
           "glue:GetTable",
           "glue:GetDatabase",
           "glue:UpdateTable"
         ],
         "Resource": [
           "arn:aws:glue:<region>:<account-id>:catalog/s3tablescatalog/*",
           "arn:aws:glue:<region>:<account-id>:catalog/s3tablescatalog",
           "arn:aws:glue:<region>:<account-id>:catalog",
           "arn:aws:glue:<region>:<account-id>:database/*",
           "arn:aws:glue:<region>:<account-id>:table/*/*"
         ]
       },
       {
         "Sid": "S3DeliveryErrorBucketPermission",
         "Effect": "Allow",
         "Action": [
           "s3:AbortMultipartUpload",
           "s3:GetBucketLocation",
           "s3:GetObject",
           "s3:ListBucket",
           "s3:ListBucketMultipartUploads",
           "s3:PutObject"
         ],
         "Resource": [
           "arn:aws:s3:::<error delivery bucket>",
           "arn:aws:s3:::<error delivery bucket>/*"
         ]
       },
       {
         "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource",
         "Effect": "Allow",
         "Action": [
           "kinesis:DescribeStream",
           "kinesis:GetShardIterator",
           "kinesis:GetRecords",
           "kinesis:ListShards"
         ],
         "Resource": "arn:aws:kinesis:<region>:<account-id>:stream/<stream-name>"
       },
       {
         "Sid": "RequiredWhenDoingMetadataReadsANDDataAndMetadataWriteViaLakeformation",
         "Effect": "Allow",
         "Action": [
           "lakeformation:GetDataAccess"
         ],
         "Resource": "*"
       },
       {
         "Sid": "RequiredWhenUsingKMSEncryptionForS3ErrorBucketDelivery",
         "Effect": "Allow",
         "Action": [
           "kms:Decrypt",
           "kms:GenerateDataKey"
         ],
         "Resource": [
           "arn:aws:kms:<region>:<account-id>:key/<KMS-key-id>"
         ],
         "Condition": {
           "StringEquals": {
             "kms:ViaService": "s3.<region>.amazonaws.com"
           },
           "StringLike": {
             "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::<error delivery bucket>/prefix*"
           }
         }
       },
       {
         "Sid": "LoggingInCloudWatch",
         "Effect": "Allow",
         "Action": [
           "logs:PutLogEvents"
         ],
         "Resource": [
           "arn:aws:logs:<region>:<account-id>:log-group:<log-group-name>:log-stream:<log-stream-name>"
         ]
       },
       {
         "Sid": "RequiredWhenAttachingLambdaToFirehose",
         "Effect": "Allow",
         "Action": [
           "lambda:InvokeFunction",
           "lambda:GetFunctionConfiguration"
         ],
         "Resource": [
           "arn:aws:lambda:<region>:<account-id>:function:<function-name>:<function-version>"
         ]
       }
     ]
   }

   Questa policy contiene istruzioni che consentono l'accesso a Kinesis Data Streams, l'invocazione delle funzioni Lambda e l'accesso alle chiavi. AWS KMS Se non si utilizza nessuna di queste risorse, è possibile rimuovere le rispettive istruzioni.

   Se la registrazione degli errori è abilitata, Firehose invia anche gli errori di consegna dei dati al gruppo di log e CloudWatch ai flussi. Per questo motivo, è necessario configurare i nomi del gruppo di log e del flusso di log. Per i nomi dei gruppi di log e dei flussi di log, consulta Monitoring Amazon Data Firehose Using Logs. CloudWatch

5. Dopo aver creato la policy, creare un ruolo IAM con il servizio AWS come il Tipo di entità attendibile.

6. Per Servizio o caso d'uso scegli Kinesis. Per Caso d'uso scegli Kinesis Firehose.

7. Scegli Successivo, quindi seleziona la policy creata in precedenza.

8. Assegnare un nome al proprio ruolo. Verifica i dettagli del ruolo e scegli Crea ruolo. Il ruolo avrà la seguente policy di attendibilità.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sts:AssumeRole"
               ],
               "Principal": {
                   "Service": [
                       "firehose.amazonaws.com"
                   ]
               }
           }
       ]
   }

Per configurare un flusso su tabelle S3 (console)

1. Aprire la console Firehose all'indirizzo. https://console.aws.amazon.com/firehose/

2. Scegli Crea un flusso Firehose.

3. Per Origine scegli una delle seguenti origini:

   • Flusso di dati Amazon Kinesis

   • MSK Amazon

   • PUT diretto

4. Per Destinazione scegli Tabelle Apache Iceberg.

5. Immettere un nome per il flusso Firehose.

6. Configurare le impostazioni dell'origine.

7. Per Impostazioni di destinazione seleziona Account attuale e la Regione AWS delle tabelle verso cui desideri eseguire lo streaming.

8. Configura i nomi di database e tabelle utilizzando la configurazione Unique Key, JSONQuery le espressioni o una funzione Lambda. Per ulteriori informazioni, fare riferimento a Instradare i record in entrata a una singola tabella Iceberg e Instradare i record in entrata a diverse tabelle Iceberg nella Firehose Developer Guide.

9. In Impostazioni di backup specificare un bucket di backup S3.

10. Per Ruoli IAM esistenti in Impostazioni avanzate, seleziona il ruolo IAM creato per Firehose.

11. Scegli Crea un flusso Firehose.