翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ソース宣言

Microsoft Windows 向け Amazon Kinesis エージェントでは、ソース宣言ログデータ、イベント、メトリクスのデータを収集する場所と対象を記述します。オプションで、そうしたデータを変換できるようにデータ解析のための情報も指定します。以下のセクションでは、Windows 用 Kinesis エージェントで使用可能な組み込みソースタイプの設定について説明します。Windows 用 Kinesis Agent は拡張可能であるため、カスタムのソースタイプを追加できます。通常、各ソースタイプの設定オブジェクトには、そのソースタイプに適切な特定のキーと値のペアが必要です。

すべてのソース宣言には、少なくとも次のキーと値のペアを含める必要があります。

さまざまな種類のソース宣言を使用する完全な設定ファイルの例については、さまざまなソースから Kinesis Data Streams へのストリーミング を参照してください。

DirectorySource 設定

Overview

DirectorySource ソースタイプは、指定したディレクトリに保存されているファイルからログを収集します。ログファイルはさまざまな形式であるため、DirectorySource 宣言を使用してログファイルのデータの形式を指定できます。その後、ログの内容を JSON または XML などの標準形式に変換してからさまざまな AWS のサービスにストリーミングすることができます。

次に、DirectorySource 宣言の例を示します。

{
	   "Id": "myLog",
	   "SourceType": "DirectorySource",
	   "Directory": "C:\\Program Data\\MyCompany\\MyService\\logs",
	   "FileNameFilter": "*.log",
	   "IncludeSubdirectories": true,
	   "IncludeDirectoryFilter": "cpu\\cpu-1;cpu\\cpu-2;load;memory",
	   "RecordParser": "Timestamp",
	   "TimestampFormat": "yyyy-MM-dd HH:mm:ss.ffff",
	   "Pattern": "\\d{4}-\\d{2}-\\d(2}",
	   "ExtractionPattern": "",
	   "TimeZoneKind": "UTC",
	   "SkipLines": 0,
	   "Encoding": "utf-16",
	   "ExtractionRegexOptions": "Multiline"
}

すべての DirectorySource 宣言で、次のキーと値のペアを指定することができます。

Regex レコードパーサー

Regex レコードパーサーを TimestampFormat、Pattern、ExtractionPattern キーと値のペアと共に使用して非構造化テキストログを解析できます。たとえば、次のようなログファイルがあるとします。

[FATAL][2017/05/03 21:31:00.534][0x00003ca8][0000059c][][ActivationSubSystem][GetActivationForSystemID][0] 'ActivationException.File: EQCASLicensingSubSystem.cpp'
[FATAL][2017/05/03 21:31:00.535][0x00003ca8][0000059c][][ActivationSubSystem][GetActivationForSystemID][0] 'ActivationException.Line: 3999'   
  

Pattern キーと値のペアに次の正規表現を指定すると、ログファイルを個々のログレコードに分割できます。

^\[\w+\]\[(?<TimeStamp>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}\.\d{3})\]   
  

この正規表現は、次のシーケンスに一致します。

TimestampFormat キーと値のペアに次の形式を指定すると、テキストタイムスタンプを日付と時刻に変換できます。

yyyy/MM/dd HH:mm:ss.fff

ExtractionPattern キーと値のペアによってログレコードのフィールドを抽出するために、次の正規表現を使用できます。

^\[(?<Severity>\w+)\]\[(?<TimeStamp>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}\.\d{3})\]\[[^]]*\]\[[^]]*\]\[[^]]*\]\[(?<SubSystem>\w+)\]\[(?<Module>\w+)\]\[[^]]*\] '(?<Message>.*)'$

この正規表現は、順に以下のグループに一致します。

以下のソース宣言は、これらの正規表現と日時形式を組み合わせて、このようなログファイルを解析するための Kinesis Agent for Windows への完全な手順を Kinesis Agent に提供するものです。

{
    "Id": "PrintLog",
    "SourceType": "DirectorySource",
    "Directory": "C:\\temp\\PrintLogTest",
    "FileNameFilter": "*.log",
    "RecordParser": "Regex",
    "TimestampFormat": "yyyy/MM/dd HH:mm:ss.fff",
    "Pattern": "^\\[\\w+\\]\\[(?<TimeStamp>\\d{4}/\\d{2}/\\d{2} \\d{2}:\\d{2}:\\d{2}\\.\\d{3})\\]",
    "ExtractionPattern": "^\\[(?<Severity>\\w+)\\]\\[(?<TimeStamp>\\d{4}/\\d{2}/\\d{2} \\d{2}:\\d{2}:\\d{2}\\.\\d{3})\\]\\[[^]]*\\]\\[[^]]*\\]\\[[^]]*\\]\\[(?<SubSystem>\\w+)\\]\\[(?<Module>\\w+)\\]\\[[^]]*\\] '(?<Message>.*)'$",
    "TimeZoneKind": "UTC"
}

正規表現の詳細については、Microsoft .NET ドキュメントの「正規表現言語 - クイックリファレンス」を参照してください。

Delimited レコードパーサー

Delimited レコードパーサーを使用すると、半構造化されたログファイルおよびデータファイルを解析することができます。これらのファイルには、データ各行のデータ列それぞれを区切る一貫した文字シーケンスが存在します。たとえば、CSV ファイルではデータの各列を区切るためにカンマを使用し、TSV ファイルではタブを使用します。

ネットワークポリシーサーバーによって生成された Microsoft NPS データベース形式ログファイルを解析するとします。そのようなファイルを以下に示します。

"NPS-MASTER","IAS",03/22/2018,23:07:55,1,"user1","Domain1\user1",,,,,,,,0,"192.168.86.137","Nate - Test 1",,,,,,,1,,0,"311 1 192.168.0.213 03/15/2018 08:14:29 1",,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,"Use Windows authentication for all users",1,,,,
"NPS-MASTER","IAS",03/22/2018,23:07:55,3,,"Domain1\user1",,,,,,,,0,"192.168.86.137","Nate - Test 1",,,,,,,1,,16,"311 1 192.168.0.213 03/15/2018 08:14:29 1",,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,"Use Windows authentication for all users",1,,,,

以下の appsettings.json 設定ファイルの例には DirectorySource 宣言が含まれています。この宣言では Delimited レコードパーサーを使用してこのテキストをオブジェクト表現に解析します。その後、JSON 形式のデータを Kinesis Data Firehose にストリーミングします。

{
    "Sources": [
        {
            "Id": "NPS",
            "SourceType": "DirectorySource",
            "Directory": "C:\\temp\\NPS",
            "FileNameFilter": "*.log",
            "RecordParser": "Delimited",
            "Delimiter": ",",
            "Headers": "ComputerName,ServiceName,Record-Date,Record-Time,Packet-Type,User-Name,Fully-Qualified-Distinguished-Name,Called-Station-ID,Calling-Station-ID,Callback-Number,Framed-IP-Address,NAS-Identifier,NAS-IP-Address,NAS-Port,Client-Vendor,Client-IP-Address,Client-Friendly-Name,Event-Timestamp,Port-Limit,NAS-Port-Type,Connect-Info,Framed-Protocol,Service-Type,Authentication-Type,Policy-Name,Reason-Code,Class,Session-Timeout,Idle-Timeout,Termination-Action,EAP-Friendly-Name,Acct-Status-Type,Acct-Delay-Time,Acct-Input-Octets,Acct-Output-Octets,Acct-Session-Id,Acct-Authentic,Acct-Session-Time,Acct-Input-Packets,Acct-Output-Packets,Acct-Terminate-Cause,Acct-Multi-Ssn-ID,Acct-Link-Count,Acct-Interim-Interval,Tunnel-Type,Tunnel-Medium-Type,Tunnel-Client-Endpt,Tunnel-Server-Endpt,Acct-Tunnel-Conn,Tunnel-Pvt-Group-ID,Tunnel-Assignment-ID,Tunnel-Preference,MS-Acct-Auth-Type,MS-Acct-EAP-Type,MS-RAS-Version,MS-RAS-Vendor,MS-CHAP-Error,MS-CHAP-Domain,MS-MPPE-Encryption-Types,MS-MPPE-Encryption-Policy,Proxy-Policy-Name,Provider-Type,Provider-Name,Remote-Server-Address,MS-RAS-Client-Name,MS-RAS-Client-Version",
            "TimestampField": "{Record-Date} {Record-Time}",
            "TimestampFormat": "MM/dd/yyyy HH:mm:ss"
        }
    ],
    "Sinks": [
        {
            "Id": "npslogtest",
            "SinkType": "KinesisFirehose",
            "Region": "us-west-2",
            "StreamName": "npslogtest",
            "Format": "json"
        }
    ],
    "Pipes": [
        {
            "Id": "W3SVCLog1ToKinesisStream",
            "SourceRef": "NPS",
            "SinkRef": "npslogtest"
        }
    ]
}

Kinesis Data Firehose にストリーミングされた JSON 形式のデータは以下のようになります。

{
    "ComputerName": "NPS-MASTER",
    "ServiceName": "IAS",
    "Record-Date": "03/22/2018",
    "Record-Time": "23:07:55",
    "Packet-Type": "1",
    "User-Name": "user1",
    "Fully-Qualified-Distinguished-Name": "Domain1\\user1",
    "Called-Station-ID": "",
    "Calling-Station-ID": "",
    "Callback-Number": "",
    "Framed-IP-Address": "",
    "NAS-Identifier": "",
    "NAS-IP-Address": "",
    "NAS-Port": "",
    "Client-Vendor": "0",
    "Client-IP-Address": "192.168.86.137",
    "Client-Friendly-Name": "Nate - Test 1",
    "Event-Timestamp": "",
    "Port-Limit": "",
    "NAS-Port-Type": "",
    "Connect-Info": "",
    "Framed-Protocol": "",
    "Service-Type": "",
    "Authentication-Type": "1",
    "Policy-Name": "",
    "Reason-Code": "0",
    "Class": "311 1 192.168.0.213 03/15/2018 08:14:29 1",
    "Session-Timeout": "",
    "Idle-Timeout": "",
    "Termination-Action": "",
    "EAP-Friendly-Name": "",
    "Acct-Status-Type": "",
    "Acct-Delay-Time": "",
    "Acct-Input-Octets": "",
    "Acct-Output-Octets": "",
    "Acct-Session-Id": "",
    "Acct-Authentic": "",
    "Acct-Session-Time": "",
    "Acct-Input-Packets": "",
    "Acct-Output-Packets": "",
    "Acct-Terminate-Cause": "",
    "Acct-Multi-Ssn-ID": "",
    "Acct-Link-Count": "",
    "Acct-Interim-Interval": "",
    "Tunnel-Type": "",
    "Tunnel-Medium-Type": "",
    "Tunnel-Client-Endpt": "",
    "Tunnel-Server-Endpt": "",
    "Acct-Tunnel-Conn": "",
    "Tunnel-Pvt-Group-ID": "",
    "Tunnel-Assignment-ID": "",
    "Tunnel-Preference": "",
    "MS-Acct-Auth-Type": "",
    "MS-Acct-EAP-Type": "",
    "MS-RAS-Version": "",
    "MS-RAS-Vendor": "",
    "MS-CHAP-Error": "",
    "MS-CHAP-Domain": "",
    "MS-MPPE-Encryption-Types": "",
    "MS-MPPE-Encryption-Policy": "",
    "Proxy-Policy-Name": "Use Windows authentication for all users",
    "Provider-Type": "1",
    "Provider-Name": "",
    "Remote-Server-Address": "",
    "MS-RAS-Client-Name": "",
    "MS-RAS-Client-Version": ""
}   

SysLog レコードパーサー

SysLog レコードパーサーの場合、解析後のソースからの出力には次の情報が含まれています。

JSON に変換された SysLog データの例を次に示します。

{
    "SysLogTimeStamp": "Jun 18 01:34:56",
    "Hostname": "myhost1.example.mydomain.com",
    "Program": "mymailservice:",
    "Message": "Info: ICID 123456789 close",
    "TimeStamp": "2017-06-18T01:34.56.000"
}

Summary

以下に、DirectorySource ソースで使用可能なキーと値のペア、およびそれらのキーと値のペアに関連する RecordParser の概要を示します。

ExchangeLogSource 設定

ExchangeLogSource タイプは Microsoft Exchange からログを収集するために使用します。Exchange では、ログが複数の異なる種類のログ形式で作成されます。このソースタイプはそれらのすべてを解析します。その解析に DirectorySource タイプと Regex レコードパーサーを一緒に使用することはできますが、ExchangeLogSource を使用する方がはるかに簡単です。これは、そうしたログファイル形式用に正規表現を設計して提供する必要がないためです。次に、ExchangeLogSource 宣言の例を示します。

{
   "Id": "MyExchangeLog",
   "SourceType": "ExchangeLogSource",
   "Directory": "C:\\temp\\ExchangeLogTest",
   "FileNameFilter": "*.log"
}

すべての Exchange 宣言で、次のキーと値のペアを指定することができます。

W3SVCLogSource 設定

W3SVCLogSource タイプは、Windows 用インターネットインフォメーションサービス (IIS) からログを収集するために使用します。

次に、W3SVCLogSource 宣言の例を示します。

{
   "Id": "MyW3SVCLog",
   "SourceType": "W3SVCLogSource",
   "Directory": "C:\\inetpub\\logs\\LogFiles\\W3SVC1",
   "FileNameFilter": "*.log"
}

すべての W3SVCLogSource 宣言で、次のキーと値のペアを指定することができます。

UlsSource 設定

UlsSource タイプは Microsoft SharePoint からログを収集するために使用します。次に、UlsSource 宣言の例を示します。

{
    "Id": "UlsSource",
    "SourceType": "UlsSource",
    "Directory": "C:\\temp\\uls",
    "FileNameFilter": "*.log"
}

すべての UlsSource 宣言で、次のキーと値のペアを指定することができます。

WindowsEventLogSource 設定

WindowsEventLogSource タイプは Windows イベントログサービスからイベントを収集するために使用します。次に、WindowsEventLogSource 宣言の例を示します。

{
    "Id": "mySecurityLog",
    "SourceType": "WindowsEventLogSource",
    "LogName": "Security"
}

すべての WindowsEventLogSource 宣言で、次のキーと値のペアを指定することができます。

解析後の WindowsEventLogSource からの出力には次の情報が含まれています。

次に、JSON に変換されたイベントの例を示します。

{[ 
    "EventId": 7036, 
    "Description": "The Amazon SSM Agent service entered the stopped state.", 
    "LevelDisplayName": "Informational", 
    "LogName": "System", 
    "MachineName": "mymachine.mycompany.com", 
    "ProviderName": "Service Control Manager", 
    "TimeCreated": "2017-10-04T16:42:53.8921205Z", 
    "Index": 462335, 
    "UserName": null, 
    "Keywords": "Classic", 
    "EventData": [ 
    "Amazon SSM Agent", 
    "stopped", 
    "rPctBAMZFhYubF8zVLcrBd3bTTcNzHvY5Jc2Br0aMrxxx==" 
]}

WindowsEventLogPollingSource 設定

WindowsEventLogPollingSourceは、ポーリングベースのメカニズムを使用して、設定されたパラメータに一致するすべての新しいイベントをイベントログから収集します。ポーリング間隔は、前回のポーリング中に収集されたイベントの数に応じて、100 ミリ秒から 5000 ミリ秒の間で動的に更新されます。次に、WindowsEventLogPollingSource 宣言の例を示します。

{
    "Id": "MySecurityLog",
    "SourceType": "WindowsEventLogPollingSource",
    "LogName": "Security",
    "IncludeEventData": "true",
    "Query": "",
    "CustomFilters": "ExcludeOwnSecurityEvents"
}

すべての WindowsEventLogPollingSource 宣言で、次のキーと値のペアを指定することができます。

WindowsETWEventSource 設定

WindowsETWEventSource タイプは、Windows イベントトレーシング (ETW) という機能を使用してアプリケーションおよびサービスのイベントトレースを収集するために使用します。詳細については、Windows のドキュメント Event Tracing を参照してください。

次に、WindowsETWEventSource 宣言の例を示します。

{
    "Id": "ClrETWEventSource",
    "SourceType": "WindowsETWEventSource",
    "ProviderName": "Microsoft-Windows-DotNETRuntime",
    "TraceLevel": "Verbose",
    "MatchAnyKeyword": 32768
}

すべての WindowsETWEventSource 宣言で、次のキーと値のペアを指定することができます。

WindowsETWEventSource からの出力には、イベントごとに次の情報が含まれています。

次に、JSON に変換されたイベントの例を示します。

{ 
     "EventName": "Exception/Start", 
     "ProviderName": "Microsoft-Windows-DotNETRuntime", 
     "FormattedMessage": "ExceptionType=System.Exception;\r\nExceptionMessage=Intentionally unhandled exception.;\r\nExceptionEIP=0x2ab0499;\r\nExceptionHRESULT=-2,146,233,088;\r\nExceptionFlags=CLSCompliant;\r\nClrInstanceID=9 ",
     "ProcessID": 3328, 
     "ExecutingThreadID": 6172, 
     "MachineName": "MyHost.MyCompany.com", 
     "Payload": 
      { 
        "ExceptionType": "System.Exception", 
        "ExceptionMessage": "Intentionally unhandled exception.", 
        "ExceptionEIP": 44762265, 
        "ExceptionHRESULT": -2146233088, 
        "ExceptionFlags": 16, 
        "ClrInstanceID": 9 
      } 
}

WindowsPerformanceCounterSource 設定

WindowsPerformanceCounterSource タイプは、Windows からパフォーマンスカウンターメトリクスを収集します。次に、WindowsPerformanceCounterSource 宣言の例を示します。

{
	"Id": "MyPerformanceCounter",
	"SourceType": "WindowsPerformanceCounterSource",
	"Categories": [{
			"Category": "Server",
			"Counters": ["Files Open", "Logon Total", "Logon/sec", "Pool Nonpaged Bytes"]
		},
		{
			"Category": "System",
			"Counters": ["Processes", "Processor Queue Length", "System Up Time"]
		},
		{
			"Category": "LogicalDisk",
			"Instances": "*",
			"Counters": [
				"% Free Space", "Avg. Disk Queue Length",
				{
					"Counter": "Disk Reads/sec",
					"Unit": "Count/Second"
				},
				"Disk Writes/sec"
			]
		},
		{
			"Category": "Network Adapter",
			"Instances": "^Local Area Connection\* \d$",
			"Counters": ["Bytes Received/sec", "Bytes Sent/sec"]
		}
	]
}

すべての WindowsPerformanceCounterSource 宣言で、次のキーと値のペアを指定することができます。

WindowsPerformanceCounterSourceAmazon CloudWatch シンクを指定するパイプでのみ使用できます。Windows 用 Kinesis Agent for Windows 組み込みメトリクスも CloudWatch にストリーミングされる場合は、別個のシンクを使用します。サービス起動後に Kinesis Agent for Windows ログを調べて、単位がWindowsPerformanceCounterSource宣言. カテゴリ、インスタンス、およびカウンターの有効な名前を確認するには、PowerShell を使用します。

カウンターセットに関連するカウンターを含め、すべてのカテゴリに関する情報を見るには、PowerShell ウィンドウで次のコマンドを実行します。

    Get-Counter -ListSet * | Sort-Object
   

カウンターセットの各カウンターで使用できるインスタンスを確認するには、PowerShell ウィンドウで次の例のようなコマンドを実行します。

    Get-Counter -Counter "\Process(*)\% Processor Time"
   

Counter パラメータの値は、前の Get-Counter -ListSet コマンド呼び出しによってリストされた PathsWithInstances メンバーのいずれかのパスになります。

Windows 組み込みメトリクスソース Kinesis エージェント

通常のメトリックスソースに加えて、WindowsPerformanceCounterSourceタイプ (WindowsPerformanceCounterSource 設定)、CloudWatch シンクタイプは Windows 自体に関する Kinesis Agent に関するメトリクスを収集する特別なソースからメトリクスを受け取ることができます。Windows の Kinesis エージェントメトリクスは、KinesisTapWindows パフォーマンスカウンターのカテゴリ。

-MetricsFilterCloudWatch シンク宣言のキーと値のペアは、組み込みの Kinesis エージェントの Windows メトリクスソースから CloudWatch にストリーミングされるメトリクスを指定します。この値は、1 つのフィルター式、またはセミコロンで区切られた複数のフィルター式を含む文字列です。次に例を示します。

"MetricsFilter": "FilterExpression1;FilterExpression2"

1 つ以上のフィルター式に一致するメトリクスが CloudWatch にストリーミングされます。

単一インスタンスメトリクスは性質上、グローバルであり、特定のソースやシンクに関連付けられていません。複数インスタンスメトリクスは、ソース宣言またはシンク宣言の Id に基づく側面があります。各ソースタイプまたはシンクタイプは、さまざまな一連のメトリクスを持つことができます。

Windows 用 Kinesis エージェントの組み込みのメトリクス名の一覧については、Windows メトリックス用 Kinesis エージェントのリスト。

単一インスタンスメトリクスの場合、フィルター式はメトリクスの名前です。次に例を示します。

"MetricsFilter": "SourcesFailedToStart;SinksFailedToStart"
      

複数インスタンスメトリクスの場合、フィルター式は、メトリクスの名前、ピリオド (.)、そのメトリクスを生成したソース宣言またはシンク宣言の Id になります。たとえば、Id が MyFirehose であるシンク宣言があるとします。

"MetricsFilter": "KinesisFirehoseRecordsFailedNonrecoverable.MyFirehose"      
      

単一と複数のインスタンスメトリクスを区別するように設計されている特別なワイルドカードパターンを使用できます。

次の例は、すべての単一インスタンスメトリクスに一致します。

"MetricsFilter": "*"

アスタリスクはピリオド文字に一致しないため、単一インスタンスメトリクスのみが含められます。

次の例は、すべての複数インスタンスメトリクスに一致します。

"MetricsFilter": "*.*"

次の例は、すべてのメトリクス (単一と複数) に一致します。

"MetricsFilter": "*;*.*"

次の例は、すべてのソースおよびシンク間で複数インスタンスメトリクスをすべて集計します。

"MetricsFilter": "*._Total"

次の例は、すべての Kinesis Data Firehose シンクの Kinesis データ Firehose メトリクスを集計します。

"MetricsFilter": "*Firehose*._Total"

次の例は、すべての単一および複数インスタンスエラーメトリクスに一致します。

"MetricsFilter": "*Failed*;*Error*.*;*Failed*.*"

次の例は、すべてのソースおよびシンク間で集計されたすべての回復不能エラーメトリクスに一致します。

"MetricsFilter": "*Nonrecoverable*._Total"

Kinesis Agent for Windows 組み込みメトリクスソースを使用するパイプの指定方法については、Windows メトリックパイプ用の Kinesis エージェントの設定。

Windows メトリックス用 Kinesis エージェントのリスト

以下は、Windows 用 Kinesis Agent で使用可能な単一インスタンスメトリクスと複数インスタンスメトリクスの一覧です。

単一インスタンスメトリクス

次の単一インスタンスメトリクスを使用できます。

複数インスタンスメトリクス

次の複数インスタンスメトリクスを使用できます。

DirectorySource メトリクス

WindowsEventLogSource メトリクス

KinesisFirehose シンクメトリクス

KinesisStream メトリクス

CloudWatchLog メトリクス

CloudWatch Metrics

ブックマーク設定

デフォルトでは、Kinesis Agent for Windows は、エージェントの開始後に作成されたログレコードをシンクに送信します。以前のログレコードを送信すると便利な場合もあります。たとえば、自動更新中に Kinesis Agent for Windows が停止した期間に作成されたログレコードなどです。ブックマーク機能は、シンクに送信されたレコードを追跡します。Windows 用 Kinesis エージェントがブックマークモードで起動すると、Kinesis Agent for Windows の停止後に作成されたすべてのログレコードを、続いて作成されたログレコードとともに送信します。この動作を制御するため、ファイルベースのソース宣言に次のキーと値のペアをオプションで含めることができます。

Kinesis Agent for Windows が長時間停止しているときは、ブックマークされたログレコードやイベントが存在しなくなることがあるため、それらのブックマークの削除が必要になる可能性があります。指定の source id のブックマークファイルは %PROGRAMDATA%\Amazon\AWSKinesisTap\source id.bm にあります。

名前が変更されたり切り捨てられたファイルにあるブックマークは機能しません。ETW イベントおよびパフォーマンスカウンターは、その性質上、ブックマークできません。