指定用戶端組態設定 - Amazon 數據 Firehose

將亞馬遜資料 Firehose 串流交付到 Amazon S3 中的 Apache 冰山表格已處於預覽狀態,且可能會有所變更。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

指定用戶端組態設定

代理程式支援兩種必要的組態設定 filePatterndeliveryStream,以及用於其他功能的選用組態設定。您可以在 /etc/aws-kinesis/agent.json 指定必要及選用的組態設定。

當您變更組態檔案時,必須使用下列命令停止及啟動代理程式:

sudo service aws-kinesis-agent stop sudo service aws-kinesis-agent start

或者,您可以使用下列命令:

sudo service aws-kinesis-agent restart

以下是一般組態設定。

組態設定 描述
assumeRoleARN

使用者所承擔ARN之角色的 Amazon 資源名稱 ()。如需詳細資訊,請參閱委派存取權 AWS 使用IAM者指南中的IAM角色的帳號。

assumeRoleExternalId

選用的識別符決定誰可以擔任此角色。若要取得更多資訊,請參閱《使用指南》中的如何使IAM用外部 ID

awsAccessKeyId

AWS 覆寫預設認證的存取金鑰 ID。此設定優先於所有其他登入資料供應商。

awsSecretAccessKey

AWS 覆寫預設認證的秘密金鑰。此設定優先於所有其他登入資料供應商。

cloudwatch.emitMetrics

啟用代理程式發出指標 (如 CloudWatch 果設定為 true)。

預設:true

cloudwatch.endpoint

的區域端點 CloudWatch。

預設:monitoring.us-east-1.amazonaws.com

firehose.endpoint

Amazon 數據 Firehose 的區域端點。

預設:firehose.us-east-1.amazonaws.com

sts.endpoint

的區域端點 AWS 保安編碼器服務。

預設:https://sts.amazonaws.com

userDefinedCredentialsProvider.classname 如果您定義自訂登入資料提供者,請使用此設定提供其完整類別名稱。不要在類別名稱的末尾包含 .class
userDefinedCredentialsProvider.location 如果您定義自訂登入資料提供者,請使用此設定來指定包含自訂登入資料提供者之 jar 的絕對路徑。代理程式也會在下列位置尋找 jar 檔案:/usr/share/aws-kinesis-agent/lib/

以下是流程組態設定。

組態設定 描述
aggregatedRecordSizeBytes

若要讓代理程式彙總記錄,然後在一次作業中將其放入 Firehose 串流,請指定此設定。將其設定為您希望在代理程式將彙總記錄放入 Firehose 串流之前具有的大小。

預設值:0 (無彙總)

dataProcessingOptions

在傳送至 Firehose 串流之前,會套用至每個已剖析記錄的處理選項清單。此處理選項會在指定的資料夾執行。如需詳細資訊,請參閱使用代理程式預處理資料

deliveryStream

[必填]「Firehose」串流的名稱。

filePattern

[必要] 需要代理程式監控的檔案部分。符合此模式的任何檔案將由代理程式自動挑選及監控。對於符合此模式的所有檔案,請將讀取許可授與 aws-kinesis-agent-user。對於包含檔案的目錄,請將讀取和執行許可授與 aws-kinesis-agent-user

重要

代理程式會挑選符合此模式的任何檔案。若要確保代理程式不會挑選意外的記錄,請小心選擇此模式。

initialPosition

檔案開始進行剖析的初始位置。有效值為 START_OF_FILEEND_OF_FILE

預設:END_OF_FILE

maxBufferAgeMillis

代理程式在將資料傳送至 Firehose 串流之前緩衝資料的時間上限 (以毫秒為單位)。

數值範圍:1,000–900,000 (1 秒到 15 分鐘)

預設:60,000 (1 分鐘)

maxBufferSizeBytes

代理程式會在將資料傳送至 Firehose 串流之前緩衝資料的大小上限 (以位元組為單位)。

數值範圍:1–4,194,304 (4 MB)

預設:4,194,304 (4 MB)

maxBufferSizeRecords

代理程式會在將資料傳送至 Firehose 串流之前緩衝資料的記錄數目上限。

數值範圍:1–500

預設:500

minTimeBetweenFilePollsMillis

代理程式輪詢和剖析檔案以找出新資料的時間間隔 (以毫秒為單位)。

數值範圍:1 或以上

預設:100

multiLineStartPattern

用於識別記錄開始處的模式。記錄是由符合模式的一列及不符合模式的任何幾列所組成。有效值為常規運算式。根據預設,每個新日誌檔中的新列會剖析為一筆記錄。

skipHeaderLines

代理程式剖析監控檔案開頭部分時略過的列數。

數值範圍:0 或以上

預設:0 (零)

truncatedRecordTerminator

當記錄大小超過 Amazon Data Firehose 記錄大小限制時,代理程式用來截斷已剖析記錄的字串。(1,000 KB)

預設:'\n' (換行符號)