Streamen aus verschiedenen Quellen an Kinesis Data Streams Streamen aus dem Windows-Anwendungsereignisprotokoll an Senken Verwenden von Pipes Verwenden mehrerer Datenquellen und Pipes

Konfigurationsbeispiele für Kinesis Agent für Windows

Dieappsettings.jsonDie -Konfigurationsdatei ist ein JSON-Dokument, das steuert, wie Amazon Kinesis Agent für Microsoft Windows Protokolle, Ereignisse und Metriken sammelt. Sie steuert ebenfalls, wie Kinesis Agent für Windows diese Daten transformiert und an verschiedene AWS -Services streamt. Weitere Informationen über die Quell-, Senken- und Pipe-Deklarationen in der Konfigurationsdatei finden Sie unter Quell-Deklarationen, Senken-Deklarationen, und Pipe-Deklarationen.

Die folgenden Abschnitte enthalten Beispiele für Konfigurationsdateien für verschiedene Arten von Szenarien.

Themen

Streamen aus verschiedenen Quellen an Kinesis Data Streams
Streamen aus dem Windows-Anwendungsereignisprotokoll an Senken
Verwenden von Pipes
Verwenden mehrerer Datenquellen und Pipes

Streamen aus verschiedenen Quellen an Kinesis Data Streams

Das folgende Beispielappsettings.jsonBeispiel-Konfigurationsdateien veranschaulichen das Streamen von Protokollen und Ereignissen aus verschiedenen Quellen an Kinesis Data Streams und von Windows-Leistungsindikatoren an Amazon CloudWatch Metriken.

`DirectorySource`-, `SysLog`-Datensatz-Parser

Die folgende Datei streamt Protokolldatensätze im Syslog-Format aus allen Dateien mit einem.log-Dateierweiterung in derC:\LogSource\-Verzeichnis an denSyslogKinesisDataStreamStreamen aus Kinesis Data Streams in der Region us-east-1. Ein Lesezeichen wird eingerichtet, um sicherzustellen, dass sogar dann alle Daten aus den Protokolldateien gesendet werden, wenn der Agent heruntergefahren und zu einem späteren Zeitpunkt neu gestartet wird. Eine benutzerdefinierte Anwendung kann die Datensätze aus dem SyslogKinesisDataStream-Stream lesen und verarbeiten.


{
  "Sources": [
    {
      "Id": "SyslogDirectorySource",
      "SourceType": "DirectorySource",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "RecordParser": "SysLog",
      "TimeZoneKind": "UTC",
      "InitialPosition": "Bookmark"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "SyslogKinesisDataStream",
      "Region": "us-east-1"
    }
  ],
  "Pipes": [
    {
      "Id": "SyslogDS2KSSink",
      "SourceRef": "SyslogDirectorySource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`DirectorySource`-, `SingleLineJson`-Datensatz-Parser

Die folgende Datei streamt JSON-formatierte Protokolldatensätze aus allen Dateien mit einem.log-Dateierweiterung in derC:\LogSource\-Verzeichnis an denJsonKinesisDataStreamStreamen aus Kinesis Data Streams in der Region us-east-1. Vor dem Streamen werden Schlüssel-Wert-Paare für die Schlüssel ComputerName und DT zu jedem JSON-Objekt mit Werten für den Computernamen und das Datum und die Uhrzeit der Datensatzverarbeitung hinzugefügt. Eine benutzerdefinierte Anwendung kann die Datensätze aus dem JsonKinesisDataStream-Stream lesen und verarbeiten.


{
  "Sources": [
    {
      "Id": "JsonLogSource",
      "SourceType": "DirectorySource",
      "RecordParser": "SingleLineJson",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "InitialPosition": 0
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "JsonKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json",
      "ObjectDecoration": "ComputerName={ComputerName};DT={timestamp:yyyy-MM-dd HH:mm:ss}"
    }
  ],
  "Pipes": [
    {
      "Id": "JsonLogSourceToKinesisStreamSink",
      "SourceRef": "JsonLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`ExchangeLogSource`

Die folgende Datei streamt Protokolldatensätze, die von Microsoft Exchange generiert und in Dateien mit dem.log-Erweiterung in derC:\temp\ExchangeLog\-Verzeichnis an denExchangeKinesisDataStreamKinesis -Daten-Stream in der Region us-east-1 im JSON-Format. Obwohl die Exchange-Protokolle nicht im JSON-Format vorliegen, kann Kinesis Agent für Windows die Protokolle analysieren und in JSON-Format in JSON-Format transformieren. Vor dem Streamen werden Schlüssel-Wert-Paare für die Schlüssel ComputerName und DT zu jedem JSON-Objekt mit Werten für den Computernamen und das Datum und die Uhrzeit der Datensatzverarbeitung hinzugefügt. Eine benutzerdefinierte Anwendung kann die Datensätze aus dem ExchangeKinesisDataStream-Stream lesen und verarbeiten.


{
  "Sources": [
    {
       "Id": "ExchangeSource",
       "SourceType": "ExchangeLogSource",
       "Directory": "C:\\temp\\ExchangeLog\",
       "FileNameFilter": "*.log"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "ExchangeKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json",
      "ObjectDecoration": "ComputerName={ComputerName};DT={timestamp:yyyy-MM-dd HH:mm:ss}"
    }
  ],
  "Pipes": [
    {
      "Id": "ExchangeSourceToKinesisStreamSink",
      "SourceRef": "ExchangeSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`W3SVCLogSource`

Die folgende Datei streamt Internetinformationsdienste (IIS) für Windows-Protokolldatensätze, die am Standardspeicherort für diese Dateien gespeichert werden, an denIISKinesisDataStreamStreamen aus Kinesis Data Streams in der Region us-east-1. Eine benutzerdefinierte Anwendung kann die Datensätze aus dem IISKinesisDataStream-Stream lesen und verarbeiten. IIS ist ein Webserver für Windows.


{
  "Sources": [
    {
       "Id": "IISLogSource",
       "SourceType": "W3SVCLogSource",
       "Directory": "C:\\inetpub\\logs\\LogFiles\\W3SVC1",
       "FileNameFilter": "*.log"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "IISKinesisDataStream",
      "Region": "us-east-1"
    }
  ],
  "Pipes": [
    {
      "Id": "IISLogSourceToKinesisStreamSink",
      "SourceRef": "IISLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`WindowsEventLogSource` mit Abfrage

Die folgende Dateistreams protokollieren Ereignisse aus dem Windows-Systemereignisprotokoll, die eine Ebene vonCriticaloder .Error(kleiner als oder gleich 2) an denSystemKinesisDataStreamKinesis -Daten-Stream in der Region us-east-1 im JSON-Format. Eine benutzerdefinierte Anwendung kann die Datensätze aus dem SystemKinesisDataStream-Stream lesen und verarbeiten.


{
  "Sources": [
    {
         "Id": "SystemLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "System",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "SystemKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "SLSourceToKSSink",
      "SourceRef": "SystemLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`WindowsETWEventSource`

Die folgende Datei streamt Microsoft Common Language Runtime (CLR) -Ausnahme- und -Sicherheitsereignisse an denClrKinesisDataStreamKinesis -Daten-Stream in der Region us-east-1 im JSON-Format. Eine benutzerdefinierte Anwendung kann die Datensätze aus dem ClrKinesisDataStream-Stream lesen und verarbeiten.


{
  "Sources": [
    {
       "Id": "ClrETWEventSource",
       "SourceType": "WindowsETWEventSource",
       "ProviderName": "Microsoft-Windows-DotNETRuntime",
       "TraceLevel": "Verbose",
       "MatchAnyKeyword": "0x00008000, 0x00000400"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "ClrKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "ETWSourceToKSSink",
      "SourceRef": "ClrETWEventSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`WindowsPerformanceCounterSource`

Die folgende Datei streamt Leistungsindikatoren für alle geöffneten Dateien, alle Anmeldeversuche seit dem Neustart, die Anzahl der Datenträger-Lesevorgänge pro Sekunde und den Prozentsatz an freiem Speicherplatz an -CloudWatch Metriken in der Region us-east-1. Sie können diese Metriken in CloudWatch grafisch darstellen, Dashboards aus den Diagrammen erstellen und Alarme festlegen, die Benachrichtigungen senden, wenn Schwellenwerte überschritten werden.


{
  "Sources": [
    {
      "Id": "PerformanceCounter",
      "SourceType": "WindowsPerformanceCounterSource",
      "Categories": [
        {
          "Category": "Server",
          "Counters": [
            "Files Open",
            "Logon Total"
          ]
        },
        {
          "Category": "LogicalDisk",
          "Instances": "*",
          "Counters": [
            "% Free Space",
            {
              "Counter": "Disk Reads/sec",
              "Unit": "Count/Second"
            }
          ]
        }
      ],
    }
  ],
  "Sinks": [
    {
      "Namespace": "MyServiceMetrics",
      "Region": "us-east-1",
      "Id": "CloudWatchSink",
      "SinkType": "CloudWatch"
    }
  ],
  "Pipes": [
    {
      "Id": "PerformanceCounterToCloudWatch",
      "SourceRef": "PerformanceCounter",
      "SinkRef": "CloudWatchSink"
    }
  ]
}

Streamen aus dem Windows-Anwendungsereignisprotokoll an Senken

Das folgende Beispielappsettings.jsonBeispiel-Konfigurationsdateien veranschaulichen das Streamen von Windows-Anwendungsereignisprotokollen an verschiedene Senken in Amazon Kinesis Agent für Microsoft Windows. Beispiele für die Verwendung der Senken-Typen KinesisStream und CloudWatch finden Sie unter Streamen aus verschiedenen Quellen an Kinesis Data Streams.

`KinesisFirehose`

Die folgenden DateiströmeCriticaloder .ErrorWindows-Anwendung protokollieren Ereignisse in dieWindowsLogFirehoseDeliveryStreamKinesis Data Firehose Delivery-Stream in der Region us-east-1. Wenn die Verbindung mit Kinesis Data Firehose unterbrochen wird, werden Ereignisse zuerst in die Warteschlange im Arbeitsspeicher gestellt. Danach werden sie, sofern erforderlich, in die Warteschlange in einer Datei auf der Festplatte gestellt, bis die Verbindung wiederhergestellt wurde. Anschließend werden Ereignisse aus der Warteschlange genommen und gefolgt von neuen Ereignissen gesendet.

Sie können Kinesis Data Firehose so konfigurieren, dass die gestreamten Daten an verschiedenen Arten von Speicher- und Analyse-Services basierend auf den Daten-Pipeline-Anforderungen gespeichert werden.


{
  "Sources": [
    {
         "Id": "ApplicationLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "Application",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
       "Id": "WindowsLogKinesisFirehoseSink",
       "SinkType": "KinesisFirehose",
       "StreamName": "WindowsLogFirehoseDeliveryStream",
       "Region": "us-east-1",
       "QueueType": "file"
    }  
    ],
  "Pipes": [
    {
      "Id": "ALSource2ALKFSink",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "WindowsLogKinesisFirehoseSink"
    }
  ]
}

`CloudWatchLogs`

Die folgenden DateiströmeCriticaloder .ErrorWindows-Anwendungsprotokollereignisse in CloudWatch Logs an -Protokoll-Streams imMyServiceApplicationLog-Group-Protokollgruppe. Der Name jedes einzelnen Streams beginnt mit Stream-. Er endet mit dem vierstelligen Jahr, zweistelligen Monat und zweistelligen Tag, an dem der Stream erstellt wurde, wobei alle Angaben miteinander verkettet werden (Stream-20180501 ist z. B. der am 1. Mai 2018 erstellte Stream).


{
  "Sources": [
    {
         "Id": "ApplicationLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "Application",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
      "Id": "CloudWatchLogsSink",
      "SinkType": "CloudWatchLogs",
      "LogGroup": "MyServiceApplicationLog-Group",
      "LogStream": "Stream-{timestamp:yyyyMMdd}",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "ALSource2CWLSink",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "CloudWatchLogsSink"
    }
  ]
}

Verwenden von Pipes

Die folgende appsettings.json-Beispiel-Konfigurationsdatei veranschaulicht die Verwendung Pipe-bezogener Funktionen.

Dieses Beispiel streamt Protokolleinträge aus demc:\LogSource\auf dieApplicationLogFirehoseDeliveryStreamKinesis Data Firehose Delivery-Stream. Es enthält nur die Zeilen, die dem regulären Ausdruck entsprechen, der durch das FilterPattern-Schlüssel-Wert-Paar angegeben wird. Genauer gesagt werden nur Zeilen in der Protokolldatei, die mit10oder .11Genauer gesagt werden an Kinesis Data Firehose gestreamt.


{
  "Sources": [
    {
      "Id": "ApplicationLogSource",
      "SourceType": "DirectorySource",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "RecordParser": "SingleLine"
    }
  ],
  "Sinks": [
    {
       "Id": "ApplicationLogKinesisFirehoseSink",
       "SinkType": "KinesisFirehose",
       "StreamName": "ApplicationLogFirehoseDeliveryStream",
       "Region": "us-east-1"
    }  
    ],
  "Pipes": [
    {
      "Id": "ALSourceToALKFSink",
      "Type": "RegexFilterPipe",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "ApplicationLogKinesisFirehoseSink",
      "FilterPattern": "^(10|11),.*"
    }
  ]
}

Verwenden mehrerer Datenquellen und Pipes

Die folgende appsettings.json-Beispiel-Konfigurationsdatei veranschaulicht die Verwendung mehrerer Quellen und Pipes.

Dieses Beispiel streamt die Windows-Ereignisprotokolle für Anwendung, Sicherheit und System an denEventLogStreamKinesis Data Firehose Delivery-Stream mit drei Quellen, drei Pipes und einer einzelnen Senke.


{
    "Sources": [
		{
		  "Id": "ApplicationLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "Application"
		},
		{
		  "Id": "SecurityLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "Security"
		},
		{
		  "Id": "SystemLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "System"
		}
    ],
    "Sinks": [
		{
		  "Id": "EventLogSink",
		  "SinkType": "KinesisFirehose",
		  "StreamName": "EventLogStream",
		  "Format": "json"
		},
    ],
    "Pipes": [
		{
		  "Id": "ApplicationLogToFirehose",
		  "SourceRef": "ApplicationLog",
		  "SinkRef": "EventLogSink"
		},
		{
		  "Id": "SecurityLogToFirehose",
		  "SourceRef": "SecurityLog",
		  "SinkRef": "EventLogSink"
		},
		{
		  "Id": "SystemLogToFirehose",
		  "SourceRef": "SystemLog",
		  "SinkRef": "EventLogSink"
		}
    ]
}

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Konfigurieren von automatischen Updates

Konfigurieren von Telemetrie

Konfigurationsbeispiele für Kinesis Agent für Windows

Themen

Streamen aus verschiedenen Quellen an Kinesis Data Streams

DirectorySource-, SysLog-Datensatz-Parser

DirectorySource-, SingleLineJson-Datensatz-Parser

ExchangeLogSource

W3SVCLogSource

WindowsEventLogSource mit Abfrage

WindowsETWEventSource

WindowsPerformanceCounterSource