La distribuzione di stream Amazon Data Firehose ad Apache Iceberg Tables in Amazon S3 è in anteprima ed è soggetta a modifiche.
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Specificare le impostazioni di configurazione dell'agente
L'agente supporta due impostazioni di configurazione obbligatorie, filePattern e deliveryStream, oltre a impostazioni di configurazione opzionali per funzionalità aggiuntive. Puoi specificare le impostazioni di configurazione obbligatoria e opzionale in /etc/aws-kinesis/agent.json.
Quando modifichi il file di configurazione, devi arrestare e avviare l'agente, utilizzando i comandi seguenti:
sudo service aws-kinesis-agent stopsudo service aws-kinesis-agent start
In alternativa, potresti utilizzare il comando seguente:
sudo service aws-kinesis-agent restart
Seguono le impostazioni di configurazione generali.
| Impostazione di configurazione | Descrizione |
|---|---|
assumeRoleARN |
L'Amazon Resource Name (ARN) del ruolo che deve essere assunto dall'utente. Per ulteriori informazioni, consulta Delegate Access Across AWS Account che utilizzano IAM i ruoli nella Guida per l'IAMutente. |
assumeRoleExternalId |
Si è verificato un identificatore opzionale che determina chi può assumere il ruolo. Per ulteriori informazioni, consulta Come utilizzare un ID esterno nella Guida per l'IAMutente. |
awsAccessKeyId |
AWS ID della chiave di accesso che sostituisce le credenziali predefinite. Questa impostazione ha la precedenza su tutti gli altri provider di credenziali. |
awsSecretAccessKey |
AWS chiave segreta che sostituisce le credenziali predefinite. Questa impostazione ha la precedenza su tutti gli altri provider di credenziali. |
cloudwatch.emitMetrics |
Consente all'agente di emettere metriche su CloudWatch if set (true). Impostazione predefinita: true |
cloudwatch.endpoint |
L'endpoint regionale per. CloudWatch Impostazione predefinita: |
firehose.endpoint |
L'endpoint regionale per Amazon Data Firehose. Impostazione predefinita: |
sts.endpoint |
L'endpoint regionale per AWS Servizio di token di sicurezza. Impostazione predefinita: |
userDefinedCredentialsProvider.classname |
Se definisci un fornitore di credenziali personalizzate, specifica il nome completo della classe utilizzando questa impostazione. Non includere .class alla fine del nome della classe. |
userDefinedCredentialsProvider.location |
Se definisci un fornitore di credenziali personalizzate, utilizza questa impostazione per specificare il percorso assoluto del jar contenente il fornitore di credenziali personalizzate. L'agente cerca anche il file jar nel seguente percorso: /usr/share/aws-kinesis-agent/lib/. |
Seguono le impostazioni di configurazione del flusso.
| Impostazione di configurazione | Descrizione |
|---|---|
aggregatedRecordSizeBytes |
Per fare in modo che l'agente aggreghi i record e poi li inserisca nel flusso Firehose in un'unica operazione, specificate questa impostazione. Impostatelo sulla dimensione che desiderate che il record aggregato abbia prima che l'agente lo inserisca nel flusso Firehose. Predefinito: 0 (nessuna aggregazione) |
dataProcessingOptions |
L'elenco delle opzioni di elaborazione applicate a ciascun record analizzato prima di essere inviato allo stream Firehose. Le opzioni di elaborazione vengono eseguite nell'ordine specificato. Per ulteriori informazioni, consulta Preelabora i dati con gli agenti. |
deliveryStream |
[Obbligatorio] Il nome dello stream Firehose. |
filePattern |
[Obbligatorio] Un glob per i file che devono essere monitorati dall'agente. Qualsiasi file che corrisponde a questo modello viene acquisito dall'agente automaticamente e monitorato. Per tutti i file corrispondenti a questo modello, concedere l'autorizzazione in lettura a ImportanteL'agente raccoglie qualsiasi file che corrisponde a questo modello. Per assicurarsi che l'agente non raccolga record non previsti, scegliere questo modello con attenzione. |
initialPosition |
La posizione iniziale dalla quale è iniziata l'analisi del file. I valori validi sono Impostazione predefinita: |
maxBufferAgeMillis |
Il tempo massimo, in millisecondi, durante il quale l'agente memorizza i dati nel buffer prima di inviarli al flusso Firehose. Intervallo di valori: da 1.000 a 900.000 (da 1 secondo a 15 minuti) Impostazione predefinita: 60.000 (1 minuto) |
maxBufferSizeBytes |
La dimensione massima, in byte, per la quale l'agente memorizza i dati nel buffer prima di inviarli al flusso Firehose. Intervallo di valori: da 1 a 4.194.304 (4 MB) Impostazione predefinita: 4.194.304 (4 MB) |
maxBufferSizeRecords |
Il numero massimo di record per i quali l'agente memorizza i dati nel buffer prima di inviarli allo stream Firehose. Intervallo di valori: da 1 a 500 Impostazione predefinita: 500 |
minTimeBetweenFilePollsMillis |
L'intervallo di tempo, in millisecondi, in cui l'agente esegue il polling e analizza i dati nuovi nei file monitorati. Intervallo valore: 1 o più Impostazione predefinita: 100 |
multiLineStartPattern |
Il modello per identificare l'inizio di un record. Un record è composto da una riga corrispondente al modello e da tutte le righe successive non corrispondenti al modello. I valori validi sono espressioni regolari. Come impostazione predefinita, ogni nuova riga nei file di log viene analizzata come un record. |
skipHeaderLines |
Il numero di righe necessarie perché l'agente salti l'analisi all'inizio dei file monitorati. Intervallo valore: 0 o più Impostazione predefinita: 0 (zero) |
truncatedRecordTerminator |
La stringa utilizzata dall'agente per troncare un record analizzato quando la dimensione del record supera il limite di dimensione del record di Amazon Data Firehose. (1.000 KB) Impostazione predefinita: |
