Configurazione di backup e impostazioni avanzate

Se imposti Amazon S3 come destinazione per il tuo stream Firehose e scegli di specificare una funzione AWS Lambda per trasformare i record di dati o se scegli di convertire i formati di record di dati per il tuo flusso Firehose.

Se imposti Amazon Redshift come destinazione per il tuo stream Firehose e scegli di specificare una funzione AWS Lambda per trasformare i record di dati.

Se imposti uno dei seguenti servizi come destinazione per il tuo stream Firehose: Amazon OpenSearch Service, Datadog, Dynatrace, HTTP Endpoint, LogicMonitor MongoDB Cloud, New Relic, Splunk o Sumo Logic.

Backup dei record di origine in Amazon S3: se S3 o Amazon Redshift è la destinazione selezionata, questa impostazione indica se desideri abilitare il backup dei dati di origine o mantenerlo disabilitato. Se qualsiasi altro servizio supportato (diverso da S3 o da Amazon Redshift) è impostato come destinazione selezionata, questa impostazione indica se desideri eseguire il backup di tutti i dati di origine o solo dei dati non riusciti.

Bucket di backup S3: questo è il bucket S3 in cui Amazon Data Firehose esegue il backup dei dati.

Prefisso del bucket di backup S3: questo è il prefisso con cui Amazon Data Firehose esegue il backup dei dati.

Prefisso di output degli errori del bucket di backup S3: il backup di tutti i dati non riusciti viene eseguito nel prefisso di output degli errori di questo bucket S3.

Suggerimenti per il buffering, compressione e crittografia per il backup: Amazon Data Firehose utilizza Amazon S3 per eseguire il backup di tutti o solo i dati che tenta di consegnare alla destinazione prescelta. Amazon Data Firehose memorizza nel buffer i dati in entrata prima di consegnarli (eseguendone il backup) su Amazon S3. Puoi scegliere una dimensione del buffer di 1—128 e un intervallo di buffer di 60—900 secondi MiBs . La condizione che viene soddisfatta per prima attiva la distribuzione dei dati ad Amazon S3. Se abiliti la trasformazione dei dati, l'intervallo di buffer si applica dal momento in cui i dati trasformati vengono ricevuti da Amazon Data Firehose alla consegna dei dati ad Amazon S3. Se la consegna dei dati alla destinazione è inferiore alla scrittura dei dati nel flusso Firehose, Amazon Data Firehose aumenta la dimensione del buffer in modo dinamico per recuperare il ritardo. Questa operazione fa in modo che tutti i dati siano distribuiti sulla destinazione.

Compressione S3: scegli la compressione dei dati Snappy con GZIP, Snappy, Zip o compatibile con Hadoop oppure nessuna compressione dei dati. La compressione Snappy compatibile con Snappy, Zip e Hadoop non è disponibile per lo stream Firehose con Amazon Redshift come destinazione.

Formato di estensione file S3 (opzionale): specifica un formato di estensione di file per gli oggetti consegnati al bucket di destinazione Amazon S3. Se abiliti questa funzionalità, l'estensione di file specificata sostituirà le estensioni di file predefinite aggiunte dalle funzionalità di compressione Data Format Conversion o S3 come .parquet o .gz. Assicurati di aver configurato l'estensione di file corretta quando usi questa funzionalità con Data Format Conversion o la compressione S3. L'estensione del file deve iniziare con un punto (.) e può contenere caratteri consentiti: 0-9a-z! -_.*' (). L'estensione del file non può superare i 128 caratteri.

Firehose supporta la crittografia lato server di Amazon S3 AWS Key Management Service con (SSE-KMS) per crittografare i dati forniti in Amazon S3. Puoi scegliere di utilizzare il tipo di crittografia predefinito specificato nel bucket S3 di destinazione o di crittografare con una chiave dall'elenco di chiavi di tua proprietà. AWS KMS Se crittografi i dati con le AWS KMS chiavi, puoi utilizzare la chiave AWS gestita predefinita (aws/s3) o una chiave gestita dal cliente. Per ulteriori informazioni, consulta Protezione dei dati mediante la crittografia lato server con AWS chiavi gestite da KMS (SSE-KMS).

Crittografia lato server: Amazon Data Firehose supporta la crittografia lato server Amazon S3 con AWS Key Management Service (AWS KMS) per crittografare i dati forniti in Amazon S3. Per ulteriori informazioni, consulta Protezione dei dati tramite crittografia lato server con chiavi gestite da KMS (SSE-KMS). AWS

Registrazione degli errori: Amazon Data Firehose registra gli errori relativi all'elaborazione e alla consegna. Inoltre, quando la trasformazione dei dati è abilitata, può registrare le chiamate Lambda e inviare errori di consegna dei dati ai registri. CloudWatch Per ulteriori informazioni, consulta Monitoraggio di Amazon Data Firehose tramite CloudWatch log.

Autorizzazioni: Amazon Data Firehose utilizza i ruoli IAM per tutte le autorizzazioni necessarie allo stream Firehose. Puoi scegliere di creare un nuovo ruolo in cui le autorizzazioni richieste vengono assegnate automaticamente o scegliere un ruolo esistente creato per Amazon Data Firehose. Il ruolo viene utilizzato per concedere a Firehose l'accesso a vari servizi, tra cui il bucket S3, la chiave AWS KMS (se la crittografia dei dati è abilitata) e la funzione Lambda (se la trasformazione dei dati è abilitata). La console può creare un ruolo con segnaposti. Per ulteriori informazioni, consulta Cos'è IAM?.

Tag: puoi aggiungere tag per organizzare AWS le risorse, tenere traccia dei costi e controllare l'accesso.

Se specifichi tag nell'CreateDeliveryStreamazione, Amazon Data Firehose esegue un'autorizzazione aggiuntiva sull'firehose:TagDeliveryStreamazione per verificare se gli utenti dispongono delle autorizzazioni per creare tag. Se non si fornisce questa autorizzazione, le richieste di creazione di nuovi flussi Firehose con tag di risorse IAM falliranno con uno degli AccessDeniedException esempi seguenti.

AccessDeniedException 
User: arn:aws:sts::x:assumed-role/x/x is not authorized to perform: firehose:TagDeliveryStream on resource: arn:aws:firehose:us-east-1:x:deliverystream/x with an explicit deny in an identity-based policy.

L'esempio seguente illustra una politica che consente agli utenti di creare uno stream Firehose e applicare i tag.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:CreateDeliveryStream",
            "Resource": "*",
            }
        },
        {
            "Effect": "Allow",
            "Action": "firehose:TagDeliveryStream",
            "Resource": "*",
            }
        }
    ]
}