Amazon S3 の Apache Iceberg テーブルへの Amazon Data Firehose ストリームの配信はプレビュー中であり、変更される可能性があります。
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
エージェント設定の指定
エージェントは、2 つの必須設定、filePattern と deliveryStream、さらに追加機能としてオプションの設定をサポートしています。必須およびオプションの設定を /etc/aws-kinesis/agent.json で指定できます。
設定ファイルを変更した場合は、次のコマンドを使用してエージェントを停止および起動する必要があります。
sudo service aws-kinesis-agent stopsudo service aws-kinesis-agent start
または、次のコマンドを使用できます。
sudo service aws-kinesis-agent restart
全般設定は次のとおりです。
| 構成設定 | 説明 |
|---|---|
assumeRoleARN |
ユーザーが引き受けるロールの Amazon リソースネーム (ARN）。詳細については、「 間のアクセスの委任」を参照してください。 AWS ユーザーガイドのIAMロールを使用するアカウント。 IAM |
assumeRoleExternalId |
ロールを引き受けることができるユーザーを決定するオプションの ID。詳細については、「 ユーザーガイド」の「外部 ID の使用方法IAM」を参照してください。 |
awsAccessKeyId |
AWS デフォルトの認証情報を上書きする アクセスキー ID。この設定は、他のすべての認証情報プロバイダーに優先されます。 |
awsSecretAccessKey |
AWS デフォルトの認証情報を上書きする シークレットキー。この設定は、他のすべての認証情報プロバイダーに優先されます。 |
cloudwatch.emitMetrics |
設定されている場合、エージェントがメトリクスを に出力 CloudWatch できるようにします (true)。 デフォルト: true |
cloudwatch.endpoint |
のリージョンエンドポイント CloudWatch。 デフォルト: |
firehose.endpoint |
Amazon Data Firehose のリージョンエンドポイント。 デフォルト: |
sts.endpoint |
のリージョンエンドポイント AWS セキュリティトークンサービス。 デフォルト: |
userDefinedCredentialsProvider.classname |
カスタム認証情報プロバイダーを定義する場合、この設定を使用してその完全修飾クラス名を指定します。クラス名の末尾に .class を含めないでください。 |
userDefinedCredentialsProvider.location |
カスタム認証情報プロバイダーを定義する場合、この設定を使用して、カスタム認証情報プロバイダーが含まれている jar の絶対パスを指定します。エージェントは、この jar ファイルを /usr/share/aws-kinesis-agent/lib/ でも検索します。 |
フロー設定は次のとおりです。
| 構成設定 | 説明 |
|---|---|
aggregatedRecordSizeBytes |
エージェントにレコードを集約させ、1 回のオペレーションで Firehose ストリームに配置するには、この設定を指定します。エージェントが Firehose ストリームに配置する前に、集約レコードに保持させたいサイズに設定します。 デフォルト: 0 (集約なし) |
dataProcessingOptions |
Firehose ストリームに送信される前に、解析された各レコードに適用される処理オプションのリスト。処理オプションは指定した順序で実行されます。詳細については、「エージェントでデータを前処理する」を参照してください。 |
deliveryStream |
〔必須] Firehose ストリームの名前。 |
filePattern |
[必須] エージェントによってモニタリングされる必要があるファイルの glob このパターンに一致するすべてのファイルは、エージェントによって自動的に選択され、モニタリングされます。このパターンに一致するすべてのファイルで、読み取りアクセス許可を 重要エージェントは、このパターンに一致するファイルをすべて取得します。エージェントが意図しないレコードを取得しないように、このパターンは慎重に選択してください。 |
initialPosition |
ファイルの解析が開始される最初の位置。有効な値は、 デフォルト: |
maxBufferAgeMillis |
エージェントが Firehose ストリームに送信する前にデータをバッファする最大時間をミリ秒単位で指定します。 値の範囲: 1,000～900,000 (1 秒～15 分) デフォルト: 60,000 (1 分) |
maxBufferSizeBytes |
エージェントが Firehose ストリームに送信する前にデータをバッファするバイト単位の最大サイズ。 値の範囲: 1～4,194,304 (4 MB) デフォルト: 4,194,304 (4 MB) |
maxBufferSizeRecords |
Firehose ストリームに送信する前にエージェントがデータをバッファするレコードの最大数。 値の範囲: 1～500 デフォルト: 500 |
minTimeBetweenFilePollsMillis |
エージェントが新しいデータのモニタリング対象ファイルをポーリングし、解析する時間間隔 (ミリ秒単位)。 値の範囲: 1 以上 デフォルト: 100 |
multiLineStartPattern |
レコードの開始を識別するパターン。レコードは、パターンに一致する 1 行と、それに続くパターンに一致しない行で構成されます。有効な値は正規表現です。デフォルトでは、ログファイルのそれぞれの改行は 1 つのレコードとして解析されます。 |
skipHeaderLines |
モニタリング対象ファイルの始めにエージェントが解析をスキップするの行数。 値の範囲: 0 以上 デフォルト: 0 (ゼロ) |
truncatedRecordTerminator |
レコードサイズが Amazon Data Firehose レコードサイズ制限を超えたときに、エージェントが解析されたレコードを切り捨てるために使用する文字列。(1,000 KB) デフォルト: |
