Configurare l'agente Kinesis per l'invio di dati - Amazon Data Firehose
Prerequisiti

La distribuzione di stream Amazon Data Firehose ad Apache Iceberg Tables in Amazon S3 è in anteprima ed è soggetta a modifiche.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurare l'agente Kinesis per l'invio di dati

L'agente Amazon Kinesis è un'applicazione software Java autonoma che funge da implementazione di riferimento per mostrare come raccogliere e inviare dati a Firehose. L'agente monitora continuamente un set di file e invia nuovi dati allo stream Firehose. L'agente mostra come gestire la rotazione dei file, il checkpoint e riprovare in caso di errore. Mostra come è possibile fornire i dati in modo affidabile, tempestivo e semplice. Mostra anche come è possibile emettere CloudWatch metriche per monitorare e risolvere meglio il processo di streaming. Per saperne di più, awslabs/. amazon-kinesis-agent

Come impostazione predefinita, i record vengono analizzati da ciascun file in base alla nuova riga di caratteri ('\n'). Tuttavia, l'agente può anche essere configurato per analizzare record a più righe (consulta Specificare le impostazioni di configurazione dell'agente).

Puoi installare l'agente su ambienti server basati su Linux, come server Web, server di log e server di database. Dopo aver installato l'agente, configuralo specificando i file da monitorare e il flusso Firehose per i dati. Una volta configurato, l'agente raccoglie in modo duraturo i dati dai file e li invia in modo affidabile al flusso Firehose.

Prerequisiti

Prima di iniziare a utilizzare Kinesis Agent, assicurati di soddisfare i seguenti prerequisiti.

  • Il sistema operativo deve essere Amazon Linux o Red Hat Enterprise Linux versione 7 o successiva.

  • La versione 2.0.0 o successiva dell'agente viene eseguita utilizzando la JRE versione 1.8 o successiva. La versione 1.1.x dell'agente viene eseguita utilizzando JRE la versione 1.7 o successiva.

  • Se utilizzi Amazon EC2 per eseguire il tuo agente, avvia l'EC2istanza.

  • Il IAM ruolo di AWS le credenziali specificate devono essere autorizzate a eseguire l'operazione Amazon Data PutRecordBatchFirehose affinché l'agente possa inviare dati al tuo stream Firehose. Se abiliti il CloudWatch monitoraggio per l'agente, è necessaria anche l'autorizzazione a eseguire l' CloudWatch PutMetricDataoperazione. Per ulteriori informazioni Controllo dell'accesso con Amazon Data FirehoseMonitora lo stato di Kinesis Agent, consulta Autenticazione e controllo degli accessi per Amazon CloudWatch.