翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

シンク宣言

シンク宣言は、ログ、イベント、メトリクスがさまざまな AWS サービスに送信される場所と形式を指定します。以下のセクションでは、Microsoft Windows の Amazon Kinesis Agent で使用可能な組み込みシンクタイプの設定について説明します。Windows 用 Kinesis Agent は拡張可能であるため、カスタムのシンクタイプを追加できます。通常、各シンクタイプには、そのシンクタイプに関連する、設定宣言の一意のキーと値のペアが必要です。

すべてのシンク宣言には、次のキーと値のペアを含めることができます。

さまざまな種類のシンクを使用する完全な設定ファイルの例については、Windows アプリケーションイベントログからシンクへのストリーミングを参照してください。

KinesisStream シンクの設定

-KinesisStreamシンクタイプは、Kinesis Data Streams サービスにレコードおよびイベントをログします。通常、Kinesis Data Streams にストリーミングされるデータは、さまざまな AWS サービスを使用して実行する 1 つ以上のカスタムアプリケーションによって処理されます。データは、Kinesis Data Streams を使用して設定された名前付きストリームにストリーミングされます。詳細については、「」を参照してください。Amazon Kinesis Data Streams 開発者ガイド。

次に、Kinesis Data Streams のシンク宣言の例を示します。

{
    "Id": "TestKinesisStreamSink",
    "SinkType": "KinesisStream",
    "StreamName": "MyTestStream",
    "Region": "us-west-2"
}
   

KinesisStream のすべてのシンク宣言には、次の追加のキーと値のペアを含めることができます。

このシンクタイプのデフォルトの BufferInterval は 1 秒で、デフォルトの BufferSize は 500 レコードです。

KinesisFirehose シンクの設定

-KinesisFirehoseシンクタイプは、ログレコードおよびイベントを Kinesis Data Firehose サービスにストリーミングします。Kinesis Data Firehose は、ストリーミングされたデータをストレージ用にその他のサービスにストリーミングします。通常、保存されたデータは、データパイプラインのその後のステージで分析されます。データは、Kinesis Data Firehose を使用して設定された名前付き配信ストリームにストリーミングされます。詳細については、「」を参照してください。Amazon Kinesis Data Firehose 開発者ガイド。

次に、Kinesis Data Firehose シンク宣言の例を示します。

{
   "Id": "TestKinesisFirehoseSink",
   "SinkType": "KinesisFirehose",
   "StreamName": "MyTestFirehoseDeliveryStream",
   "Region": "us-east-1",
   "CombineRecords": "true"
}
   

KinesisFirehose のすべてのシンク宣言には、次の追加のキーと値のペアを含めることができます。

このシンクタイプのデフォルトの BufferInterval は 1 秒で、デフォルトの BufferSize は 500 レコードです。

CloudWatch シンクの設定

-CloudWatchシンクタイプは、メトリクスを CloudWatch サービスにストリーミングします。AWS マネジメントコンソールでメトリクスを表示できます。詳細については、Amazon CloudWatch ユーザーガイドを参照してください。

次に、CloudWatch のシンク宣言の例を示します。

{
   "Id": "CloudWatchSink",
   "SinkType": "CloudWatch"
}
   

CloudWatch のすべてのシンク宣言には、次の追加のキーと値のペアを含めることができます。

CloudWatchLogs シンクの設定

-CloudWatchLogsシンクタイプは、ログレコードおよびイベントを Amazon CloudWatch Logs にストリーミングします。AWS マネジメントコンソールでログを表示したり、データパイプラインの追加のステージでログを処理したりすることができます。データは、CloudWatch Logs で設定された名前付きログストリームにストリーミングされます。ログストリームは名前付きロググループにまとめられます。詳細については、 Amazon CloudWatch ログユーザーガイドを参照してください。

CloudWatch Logs シンク宣言の例を以下に示します。

{
   "Id": "MyCloudWatchLogsSink",
   "SinkType": "CloudWatchLogs",
   "BufferInterval": "60",
   "BufferSize": "100",
   "Region": "us-west-2",
   "LogGroup": "MyTestLogGroup",
   "LogStream": "MyTestStream"
}

CloudWatchLogs のすべてのシンク宣言には、次の追加のキーと値のペアを入力する必要があります。

このシンクタイプのデフォルトの BufferInterval は 1 秒で、デフォルトの BufferSize は 500 レコードです。最大バッファサイズは 10,000 レコードです。

ローカルFileSystemシンクの設定

シンクのタイプFileSystemは、ログおよびイベントレコードを AWS サービスにストリーミングするのではなく、ローカルファイルシステム上のファイルに保存します。FileSystemシンクは、テストや診断に役立ちます。たとえば、このシンクタイプを使用して、レコードを AWS に送信する前に調べることができます。

とFileSystemシンクでは、設定パラメーターを使用して、バッチ処理、スロットリング、再試行をシミュレートして、実際の AWS シンクの動作を模倣することもできます。

接続されているすべてのソースからのすべてのレコードFileSystemシンクは、FilePath。もしFilePathが指定されなかった場合、レコードはSinkId.txt()%TEMP%ディレクトリーです。通常はC:\Users\UserName\AppData\Local\Tempここで、とします。SinkIdシンクの一意の識別子であり、UserNameは、アクティブなユーザーの Windows ユーザー名です。

このシンクタイプは、テキストの装飾属性をサポートします。詳細については、「シンクデコレーションの設定」を参照してください。

例FileSystemシンクタイプの設定を以下の例で示します。

{
	   "Id": "LocalFileSink",
	   "SinkType": "FileSystem",
	   "FilePath": "C:\\ProgramData\\Amazon\\local_sink.txt",
	   "Format": "json",
	   "TextDecoration": "",
	   "ObjectDecoration": ""
}

-FileSystem設定は、以下のキーと値のペアで構成されます。

高度な使用法 — 記録スロットリングと障害シミュレーション

FileSystemは、レコードスロットリングをシミュレートすることで、AWS シンクの動作を模倣できます。次のキーと値のペアを使用して、レコードスロットルおよび障害シミュレーション属性を指定できます。

宛先ファイルのロックを取得し、そのファイルへの書き込みを防止することで、FileSystemシンクを使用して、ネットワークに障害が発生したときの AWS シンクの動作をシミュレートし、調べます。

以下の例は、以下を示していますFileSystem構成をシミュレーション属性で設定します。

{
	   "Id": "LocalFileSink",
	   "SinkType": "FileSystem",
	   "FilePath": "C:\\ProgramData\\Amazon\\local_sink.txt",
	   "TextDecoration": "",
	   "RequestsPerSecond": "100",
    "BufferSize": "10",
    "MaxBatchSize": "1024"
}

最大レコードレート制限は、BufferSizeリクエストあたりの最大レコード数を決定し、RequestsPerSecond。次の式を使用して、1 秒あたりの記録レート制限を計算できます。

レコードレート=BufferSize*RequestsPerSecond

上記の例の設定値を指定すると、最大レコードレートは 1000 レコード/秒です。

シンクセキュリティの設定

認証の設定

Kinesis Agent for Windows が AWS サービスにログ、イベント、およびメトリクスをストリーミングする場合、アクセスの認証が必要です。Windows 用 Kinesis Agent に認証を提供するには、いくつかの方法があります。認証を提供する方法は、Kinesis Agent for Windows が実行されている状況と特定の組織の特定のセキュリティ要件によって異なります。

シンク宣言でアクセスキーとシークレットを直接指定できますが、その宣言が暗号化されないため、この方法は推奨されません。

認可の設定

以下の適切なポリシーを、Kinesis Agent for Windows が AWS サービスにデータをストリーミングするために使用する IAM ユーザーまたはロールにアタッチします。

Kinesis Data Streams

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "kinesis:PutRecord",
                "kinesis:PutRecords"
            ],
            "Resource": "arn:aws:kinesis:*:*:stream/*"
        }
    ]
}     
     

特定のリージョン、アカウント、またはストリーム名への認可を制限するには、ARN で該当するアスタリスクを特定の値に置き換えます。詳細については、「Amazon Kinesis Data Streams による IAM リソースに対するアクセスの制御」の「Kinesis Data Streams 用の Amazon リソースネーム (ARN)」を参照してください。

Kinesis Data Firehose

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "firehose:PutRecord",
                "firehose:PutRecordBatch"
            ],
            "Resource": "arn:aws:firehose:*:*:deliverystream/*"
        }
    ]
}      
     

特定のリージョン、アカウント、または配信ストリーム名への認可を制限するには、ARN で該当するアスタリスクを特定の値に置き換えます。詳細については、「」を参照してください。Amazon Kinesis Data Firehose によるアクセスの制御()Amazon Kinesis Data Firehose 開発者ガイド。

CloudWatch

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "cloudwatch:PutMetricData",
            "Resource": "*"
        }
    ]
}

詳細については、「」を参照してください。CloudWatch リソースに対するアクセス許可の管理の概要()Amazon CloudWatch Logs ユーザーガイド。

既存のロググループとログストリームを使用した CloudWatch Logs

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor3",
            "Effect": "Allow",
            "Action": [
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*"
        },
        {
            "Sid": "VisualEditor4",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:*:*:log-group:*:*:*"
        }
    ]
}      
     

特定のリージョン、アカウント、ロググループ、またはログストリームへのアクセスを制限するには、ARN で該当するアスタリスクを適切な値に置き換えます。詳細については、「」を参照してください。CloudWatch Logs リソースに対するアクセス許可の管理の概要()Amazon CloudWatch Logs ユーザーガイド。

Kinesis Agent for Windows がロググループとログストリームを作成するための追加のアクセス許可を持つ CloudWatch Logs

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor5",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogStream",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*"
        },
        {
            "Sid": "VisualEditor6",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:*:*:log-group:*:*:*"
        },
        {
            "Sid": "VisualEditor7",
            "Effect": "Allow",
            "Action": "logs:CreateLogGroup",
            "Resource": "*"
        }
    ]
}
     

特定のリージョン、アカウント、ロググループ、またはログストリームへのアクセスを制限するには、ARN で該当するアスタリスクを適切な値に置き換えます。詳細については、「」を参照してください。CloudWatch Logs リソースに対するアクセス許可の管理の概要()Amazon CloudWatch Logs ユーザーガイド。

EC2 タグ変数の展開に必要なアクセス許可

ec2tag 変数プレフィックスでの変数の展開の使用には、ec2:Describe* アクセス許可が必要です。

{
   "Version": "2012-10-17",
   "Statement": [{
      "Sid": "VisualEditor8",
      "Effect": "Allow",
      "Action": "ec2:Describe*",
      "Resource": "*"
    }
   ]
}     

の設定ProfileRefreshingAWSCredentialProviderAWS 認証情報の更新

ハイブリッド環境に AWS Systems Manager を使用して AWS 認証情報を管理する場合、Systems Manager はc:\Windows\System32\config\systemprofile\.aws\credentials。ハイブリッド環境用のSystems Manager の詳細については、「」を参照してください。ハイブリッド環境用の AWS Systems Manager のセットアップ()AWS Systems Manager ユーザーガイド。

AWS .net SDK は新しい認証情報を自動的に取得しないため、ProfileRefreshingAWSCredentialProviderプラグインを使用して認証情報を更新します。

「」を使用できます。CredentialRef属性を使用して、すべての AWS 同期設定のCredentials定義ここで、CredentialType属性はに設定していますProfileRefreshingAWSCredentialProvider次の例に示すように、とします。

{
    "Sinks": [{
		      "Id": "myCloudWatchLogsSink",
		      "SinkType": "CloudWatchLogs",
		      "CredentialRef": "ssmcred",
		      "Region": "us-west-2",
		      "LogGroup": "myLogGroup",
		      "LogStream": "myLogStream"
    }],
    "Credentials": [{
        "Id": "ssmcred",
        "CredentialType": "ProfileRefreshingAWSCredentialProvider",
        "Profile": "default",
        "FilePath": "%USERPROFILE%//.aws//credentials",
        "RefreshingInterval": 300
    }]
}

認証情報の定義は、以下の属性をキーと値のペアとして構成します。

シンクデコレーションの設定

シンク宣言には、ソースから収集されたレコードを拡張するためにさまざまな AWS サービスにストリーミングするための追加のデータを指定するキーと値のペアをオプションで含めることができます。

シンクに接続されたソースのソースタイプが DirectorySource である場合、シンクでは次の追加の 3 つの変数を使用できます。

これらの変数は、すべてのレコードを単一のストリームにストリーミングするシンクに接続された複数のファイルからログレコードを収集するソースを使用する場合に便利です。これらの変数の値をストリーミングレコードに挿入すると、データパイプラインのダウンストリーム分析でファイル別と各ファイルの場所別にレコードを並べ替えることができるようになります。

式の記述に関するヒント

式には、次のいずれかを指定できます。

特殊文字

特殊文字をエスケープするには、2 つのバックスラッシュが必要です。

Nesting

次の例に示すように、関数の呼び出しをネストすることができます。

format(date(2018, 11, 28), 'MMddyyyy')

Variables

変数には、ローカル、メタ、およびグローバルの 3 種類があります。

組み込み関数

Windows 用 Kinesis Agent でサポートされる組み込み関数は以下のとおりです。引数のいずれかがNULLを処理するように設計されていませんNULL、NULLオブジェクトが返されます。

//string functions
int length(string input)
string lower(string input)
string lpad(string input, int size, string padstring)
string ltrim(string input)
string rpad(string input, int size, string padstring)
string rtrim(string input)
string substr(string input, int start)
string substr(string input, int start, int length)
string trim(string input)
string upper(string str)

//regular expression functions
string regexp_extract(string input, string pattern)
string regexp_extract(string input, string pattern, int group)

//date functions
DateTime date(int year, int month, int day)
DateTime date(int year, int month, int day, int hour, int minute, int second)
DateTime date(int year, int month, int day, int hour, int minute, int second, int millisecond)

//conversion functions
int? parse_int(string input)
decimal? parse_decimal(string input)
DateTime? parse_date(string input, string format)
string format(object o, string format)

//coalesce functions
object coalesce(object obj1, object obj2)
object coalesce(object obj1, object obj2, object obj3)
object coalesce(object obj1, object obj2, object obj3, object obj4)
object coalesce(object obj1, object obj2, object obj3, object obj4, object obj5) 
object coalesce(object obj1, object obj2, object obj3, object obj4, object obj5, object obj6)

シンク変数の置換の設定

KinesisStream、KinesisFirehose、および CloudWatchLogs のシンク宣言では、LogStream または StreamName のキーと値のペアが必要です。これらのキー値の値には、Windows の Kinesis Agent によって自動的に解決される変数参照を含めることができます。を使用する場合CloudWatchLogsとすると、LogGroupキーと値のペアも必要です。このキーと値のペアには、Kinesis Agent for Windows によって自動的に解決される変数参照を含めることができます。変数は、テンプレート {prefix:variablename} を使用して指定します。ここで、prefix: はオプションです。サポートされているプレフィックスは次のとおりです。

プレフィックスが指定されていない場合に variablename と同じ名前の環境変数があると、変数参照は環境変数の値に解決されます。それ以外の場合で、variablename が instance_id または hostname である場合、変数参照は同じ名前の EC2 メタデータの値に解決されます。それ以外の場合、変数参照は解決されません。

変数参照を使用した有効なキーと値のペアの例を次に示します。

"LogStream": "LogStream_{instance_id}"
"LogStream": "LogStream_{hostname}"
"LogStream": "LogStream_{ec2:local-hostname}"
"LogStream": "LogStream_{computername}"
"LogStream": "LogStream_{env:computername}"
   

CloudWatchLogs シンク宣言では、特殊な形式のタイムスタンプ変数をサポートしています。この変数により、ソースからの元のログレコードまたはイベントレコードのタイムスタンプでログストリームの名前の変更が可能になります。形式は次のとおりです。{timestamp:timeformat}次の例を参照してください。

"LogStream": "LogStream_{timestamp:yyyyMMdd}"

ログレコードまたはイベントレコードが 2017 年 6 月 5 日に生成された場合、前の例の LogStream のキーと値のペアの値は "LogStream_20170605" に解決されます。

承認されている場合、CloudWatchLogs シンクタイプは、必要に応じて生成された名前に基づいて新しいログストリームを自動的に作成できます。その他のシンクタイプでは、ストリームの名前以外の追加の設定が必要であるため、これを行うことはできません。

テキストおよびオブジェクトのデコレーションで発生する特殊な変数の置換があります。詳細については、「シンクデコレーションの設定」を参照してください。

シンクのキューイングの設定

KinesisStream、KinesisFirehose、および CloudWatchLogs のシンク宣言では、一時的な接続の問題が原因でそれらのシンクタイプに関連付けられている AWS サービスにストリーミングできなかったレコードのキューイングをオプションで有効にすることができます。接続が回復されたときにキューイングと自動ストリーミングの再試行を有効にするには、シンク宣言で次のキーと値のペアを使用します。

シンクのプロキシの設定

AWS サービスにアクセスするすべての Kinesis Agent for Windows シンクタイプでプロキシを設定するには、以下の場所にある Kinesis Agent for Windows 設定ファイルを編集します。%Program Files%\Amazon\KinesisTap\AWSKinesisTap.exe.config。手順については、以下を参照してください。proxyのセクションに追加します。AWS SDK for .NET の設定ファイルリファレンス().NET 用 AWS SDK 開発者ガイド。

より多くのシンク属性での変数の解決の設定

以下の例では、使用するシンクの設定を示しています。Regionの値について、環境変数Region属性キーと値のペア。を使用する場合RoleARNでは、EC2 タグキーを指定します。MyRoleARNそのキーに関連付けられた値に評価されます。

"Id": "myCloudWatchLogsSink",
"SinkType": "CloudWatchLogs",
"LogGroup": "EC2Logs",
"LogStream": "logs-{instance_id}"
"Region": "{env:Region}"
"RoleARN": "{ec2tag:MyRoleARN}"

AWS シンクで RoleARN プロパティを使用する場合の AWS STS リージョンエンドポイントの設定

この機能は、Amazon EC2 で KinesiStap を使用し、RoleARNプロパティを使用して、送信先の AWS サービスで認証する外部 IAM ロールを引き受けることができます。

設定によるUseSTSRegionalEndpoints～trueでは、エージェントがリージョンのエンドポイントを使用するように指定できます (たとえば、https://sts.us-east-1.amazonaws.com) ではなく、グローバルエンドポイント (たとえば、https://sts.amazonaws.com). Regional STS エンドポイントを使用すると、オペレーションのラウンドトリップ待ち時間が短縮され、グローバルエンドポイントサービスの障害の影響が制限されます。

AWS シンク用の VPC エンドポイントの設定

シンク設定で VPC エンドポイントをCloudWatchLogs,CloudWatch,KinesisStreams, およびKinesisFirehoseシンクタイプ。VPC エンドポイントでは、AWS PrivateLink を使用する AWS のサービスや VPC エンドポイントサービスに VPC をプライベートに接続できます。インターネットゲートウェイ、NAT デバイス、VPN 接続、または AWS Direct Connect 接続は必要ありません。VPC のインスタンスは、サービスのリソースと通信するためにパブリック IP アドレスを必要としません。VPC と他のサービス間のトラフィックは、Amazon ネットワークを離れません。詳細については、「」を参照してください。VPC エンドポイント()Amazon VPC ユーザーガイド。

VPC エンドポイントを指定するには、ServiceURL次の例に示すように、プロパティCloudWatchLogsシンク構成。の値を設定します。ServiceURLに表示される値にVPC エンドポイントの詳細Amazon VPC コンソールを使用して、タブに追加します。

{
    "Id": "myCloudWatchLogsSink",
    "SinkType": "CloudWatchLogs",
    "LogGroup": "EC2Logs",
    "LogStream": "logs-{instance_id}",
    "ServiceURL":"https://vpce-ab1c234de56-ab7cdefg.logs.us-east-1.vpce.amazonaws.com"
}

プロキシの代替手段の設定

この機能を使用すると、.NET ではなく AWS SDK に組み込まれているプロキシサポートを使用して、シンク設定でプロキシサーバーを設定できます。以前は、プロキシを使用するようにエージェントを設定する唯一の方法は、.NET のネイティブ機能を使用することでした。これにより、プロキシファイルで定義されたプロキシを介してすべての HTTP/S 要求が自動的にルーティングされます。

現在プロキシ・サーバでエージェントを使用している場合は、この方法を使用するために変更する必要はありません。

「」を使用できます。ProxyHostおよびProxyPortプロパティを使用して、次の例のように代替プロキシを設定します。

{
    "Id": "myCloudWatchLogsSink",
    "SinkType": "CloudWatchLogs",
    "LogGroup": "EC2Logs",
    "LogStream": "logs-{instance_id}",
    "Region": "us-west-2",
    "ProxyHost": "myproxy.mydnsdomain.com",
    "ProxyPort": "8080"
}