Streaming di dati alle tabelle con Amazon Data Firehose

1. Aprire la console IAM all'indirizzo https://console.aws.amazon.com/iam/.

2. Nel riquadro di navigazione a sinistra, seleziona Policy.

3. Scegli Crea una policy e scegliere JSON nell'editor delle policy.

4. Aggiungere la seguente policy in linea che concede le autorizzazioni a tutti i database e alle tabelle del catalogo dei dati. Se lo si desidera, è possibile concedere le autorizzazioni solo a tabelle e database specifici. Per utilizzare questa policy, sostituisci user input placeholders con le tue informazioni.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "S3TableAccessViaGlueFederation",
         "Effect": "Allow",
         "Action": [
           "glue:GetTable",
           "glue:GetDatabase",
           "glue:UpdateTable"
         ],
         "Resource": [
           "arn:aws:glue:region:account-id:catalog/s3tablescatalog/*",
           "arn:aws:glue:region:account-id:catalog/s3tablescatalog",
           "arn:aws:glue:region:account-id:catalog",
           "arn:aws:glue:region:account-id:database/*",
           "arn:aws:glue:region:account-id:table/*/*"
         ]
       },
       {
         "Sid": "S3DeliveryErrorBucketPermission",
         "Effect": "Allow",
         "Action": [
           "s3:AbortMultipartUpload",
           "s3:GetBucketLocation",
           "s3:GetObject",
           "s3:ListBucket",
           "s3:ListBucketMultipartUploads",
           "s3:PutObject"
         ],
         "Resource": [
           "arn:aws:s3:::error delivery bucket",
           "arn:aws:s3:::error delivery bucket/*"
         ]
       },
       {
         "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource",
         "Effect": "Allow",
         "Action": [
           "kinesis:DescribeStream",
           "kinesis:GetShardIterator",
           "kinesis:GetRecords",
           "kinesis:ListShards"
         ],
         "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
       },
       {
         "Sid": "RequiredWhenDoingMetadataReadsANDDataAndMetadataWriteViaLakeformation",
         "Effect": "Allow",
         "Action": [
           "lakeformation:GetDataAccess"
         ],
         "Resource": "*"
       },
       {
         "Sid": "RequiredWhenUsingKMSEncryptionForS3ErrorBucketDelivery",
         "Effect": "Allow",
         "Action": [
           "kms:Decrypt",
           "kms:GenerateDataKey"
         ],
         "Resource": [
           "arn:aws:kms:region:account-id:key/KMS-key-id"
         ],
         "Condition": {
           "StringEquals": {
             "kms:ViaService": "s3.region.amazonaws.com"
           },
           "StringLike": {
             "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::error delivery bucket/prefix*"
           }
         }
       },
       {
         "Sid": "LoggingInCloudWatch",
         "Effect": "Allow",
         "Action": [
           "logs:PutLogEvents"
         ],
         "Resource": [
           "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
         ]
       },
       {
         "Sid": "RequiredWhenAttachingLambdaToFirehose",
         "Effect": "Allow",
         "Action": [
           "lambda:InvokeFunction",
           "lambda:GetFunctionConfiguration"
         ],
         "Resource": [
           "arn:aws:lambda:region:account-id:function:function-name:function-version"
         ]
       }
     ]
   }

   Questa policy contiene istruzioni che consentono l'accesso a Kinesis Data Streams, l'invocazione delle funzioni Lambda e l'accesso alle chiavi. AWS KMS Se non si utilizza nessuna di queste risorse, è possibile rimuovere le rispettive istruzioni.

   Se la registrazione degli errori è abilitata, Firehose invia anche gli errori di consegna dei dati al gruppo di log e CloudWatch ai flussi. Per questo motivo, è necessario configurare i nomi del gruppo di log e del flusso di log. Per i nomi dei gruppi di log e dei flussi di log, consulta Monitoring Amazon Data Firehose Using Logs. CloudWatch

5. Dopo aver creato la policy, creare un ruolo IAM con il servizio AWS come il Tipo di entità attendibile.

6. Per Servizio o caso d'uso scegli Kinesis. Per Caso d'uso scegli Kinesis Firehose.

7. Scegli Successivo, quindi seleziona la policy creata in precedenza.

8. Assegnare un nome al proprio ruolo. Verifica i dettagli del ruolo e scegli Crea ruolo. Il ruolo avrà la seguente policy di attendibilità.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sts:AssumeRole"
               ],
               "Principal": {
                   "Service": [
                       "firehose.amazonaws.com"
                   ]
               }
           }
       ]
   }

Per configurare un flusso su tabelle S3 (console)

1. Aprire la console Firehose all'indirizzo. https://console.aws.amazon.com/firehose/

2. Scegli Crea un flusso Firehose.

3. Per Origine scegli una delle seguenti origini:

   • Flusso di dati Amazon Kinesis

   • MSK Amazon

   • Diretta PUT

4. Per Destinazione, scegli Apache Iceberg Tavoli.

5. Immettere un nome per il flusso Firehose.

6. Configurare le impostazioni dell'origine.

7. Per le impostazioni di destinazione, seleziona Account corrente e la AWS regione delle tabelle verso cui desideri eseguire lo streaming.

8. Configura i nomi di database e tabelle utilizzando la configurazione Unique Key, JSONQuery le espressioni o una funzione Lambda. Per ulteriori informazioni, consulta Instradare i record in entrata a una singola tabella Iceberg e Instradare i record in entrata a diverse tabelle Iceberg nella Amazon Data Firehose Developer Guide.

9. In Impostazioni di backup specificare un bucket di backup S3.

10. Per Ruoli IAM esistenti in Impostazioni avanzate, seleziona il ruolo IAM creato per Firehose.

11. Scegli Crea un flusso Firehose.