Diffusion à partir de diverses sources vers les Kinesis Data Streams Diffusion à partir du journal des événements d'application Windows vers les récepteurs Utilisation des canaux Utilisation de plusieurs sources et canaux

Exemples de configuration de l'agent Kinesis pour Windows

La .appsettings.jsonest un document JSON qui vérifie la manière dont Amazon Kinesis Agent pour Microsoft Windows collecte les journaux, les événements et les métriques. Il vérifie également la manière dont Kinesis Agent for Windows transforme ces données et les diffuse vers différents services AWS. Pour plus d'informations sur les déclarations des sources, des récepteur et des canaux dans le fichier de configuration, consultez Déclarations de sources, Déclarations de récepteurs et Déclarations de canal.

Les sections suivantes proposent des exemples de fichiers de configuration pour différents types de scénarios.

Rubriques

Diffusion à partir de diverses sources vers les Kinesis Data Streams
Diffusion à partir du journal des événements d'application Windows vers les récepteurs
Utilisation des canaux
Utilisation de plusieurs sources et canaux

Diffusion à partir de diverses sources vers les Kinesis Data Streams

L'exemple suivantappsettings.jsonLes fichiers de configuration illustrent les événements et les journaux de diffusion à partir de diverses sources vers Kinesis Data Streams et à partir des compteurs de performance Windows vers les métriques Amazon CloudWatch.

`DirectorySource`, Analyseur d'enregistrement `SysLog`

Le fichier suivant diffuse les enregistrements des journaux au format syslog à partir de tous les fichiers avec.logextension de fichier dans le fichierC:\LogSource\Accédez au répertoireSyslogKinesisDataStreamDiffusion Kinesis Data Streams dans la région us-east-1. Un signet est créé pour veiller à ce que toutes les données des fichiers journaux soient envoyées, même si l'agent est arrêté et redémarré ultérieurement. Une application personnalisée peut lire et traiter les enregistrements à partir du flux SyslogKinesisDataStream.


{
  "Sources": [
    {
      "Id": "SyslogDirectorySource",
      "SourceType": "DirectorySource",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "RecordParser": "SysLog",
      "TimeZoneKind": "UTC",
      "InitialPosition": "Bookmark"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "SyslogKinesisDataStream",
      "Region": "us-east-1"
    }
  ],
  "Pipes": [
    {
      "Id": "SyslogDS2KSSink",
      "SourceRef": "SyslogDirectorySource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`DirectorySource`, Analyseur d'enregistrement `SingleLineJson`

Le fichier suivant diffuse les enregistrements des journaux au format JSON à partir de tous les fichiers avec.logextension de fichier dans le fichierC:\LogSource\Accédez au répertoireJsonKinesisDataStreamDiffusion Kinesis Data Streams dans la région us-east-1. Avant la diffusion, les paires clé-valeur des clés ComputerName et DT sont ajoutées à chaque objet JSON, avec les valeurs du nom de l'ordinateur et de la date et de l'heure auxquelles l'enregistrement est traité. Une application personnalisée peut lire et traiter les enregistrements à partir du flux JsonKinesisDataStream.


{
  "Sources": [
    {
      "Id": "JsonLogSource",
      "SourceType": "DirectorySource",
      "RecordParser": "SingleLineJson",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "InitialPosition": 0
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "JsonKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json",
      "ObjectDecoration": "ComputerName={ComputerName};DT={timestamp:yyyy-MM-dd HH:mm:ss}"
    }
  ],
  "Pipes": [
    {
      "Id": "JsonLogSourceToKinesisStreamSink",
      "SourceRef": "JsonLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`ExchangeLogSource`

Le fichier suivant diffuse les enregistrements des journaux générés par Microsoft Exchange et stockés dans des fichiers avec.logextension dans le fichierC:\temp\ExchangeLog\Accédez au répertoireExchangeKinesisDataStreamFlux de données Kinesis dans la région us-east-1 au format JSON. Bien que les journaux Exchange ne soient pas au format JSON, Kinesis Agent pour Windows peut les analyser et les convertir au format JSON. Avant la diffusion, les paires clé-valeur des clés ComputerName et DT sont ajoutées à chaque objet JSON contenant les valeurs du nom de l'ordinateur et de la date et de l'heure auxquelles l'enregistrement est traité. Une application personnalisée peut lire et traiter les enregistrements à partir du flux ExchangeKinesisDataStream.


{
  "Sources": [
    {
       "Id": "ExchangeSource",
       "SourceType": "ExchangeLogSource",
       "Directory": "C:\\temp\\ExchangeLog\",
       "FileNameFilter": "*.log"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "ExchangeKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json",
      "ObjectDecoration": "ComputerName={ComputerName};DT={timestamp:yyyy-MM-dd HH:mm:ss}"
    }
  ],
  "Pipes": [
    {
      "Id": "ExchangeSourceToKinesisStreamSink",
      "SourceRef": "ExchangeSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`W3SVCLogSource`

Le fichier suivant diffuse les enregistrements des journaux Internet Information Services (IIS) pour Windows stockés à l'emplacement standard de ces fichiers vers le répertoireIISKinesisDataStreamDiffusion Kinesis Data Streams dans la région us-east-1. Une application personnalisée peut lire et traiter les enregistrements à partir du flux IISKinesisDataStream. IIS (Internet Information Services) est un serveur web pour Windows.


{
  "Sources": [
    {
       "Id": "IISLogSource",
       "SourceType": "W3SVCLogSource",
       "Directory": "C:\\inetpub\\logs\\LogFiles\\W3SVC1",
       "FileNameFilter": "*.log"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "IISKinesisDataStream",
      "Region": "us-east-1"
    }
  ],
  "Pipes": [
    {
      "Id": "IISLogSourceToKinesisStreamSink",
      "SourceRef": "IISLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`WindowsEventLogSource` avec requête (Query)

Le fichier suivant transmet les événements du journal des événements système Windows qui ont un niveau deCriticalouError(inférieurs ou égaux à 2) auSystemKinesisDataStreamFlux de données Kinesis dans la région us-east-1 au format JSON. Une application personnalisée peut lire et traiter les enregistrements à partir du flux SystemKinesisDataStream.


{
  "Sources": [
    {
         "Id": "SystemLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "System",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "SystemKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "SLSourceToKSSink",
      "SourceRef": "SystemLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`WindowsETWEventSource`

Le fichier suivant diffuse les événements de sécurité et d'exception Microsoft Common Language Runtime (CLR) vers le répertoireClrKinesisDataStreamFlux de données Kinesis dans la région us-east-1 au format JSON. Une application personnalisée peut lire et traiter les enregistrements à partir du flux ClrKinesisDataStream.


{
  "Sources": [
    {
       "Id": "ClrETWEventSource",
       "SourceType": "WindowsETWEventSource",
       "ProviderName": "Microsoft-Windows-DotNETRuntime",
       "TraceLevel": "Verbose",
       "MatchAnyKeyword": "0x00008000, 0x00000400"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "ClrKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "ETWSourceToKSSink",
      "SourceRef": "ClrETWEventSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`WindowsPerformanceCounterSource`

Le fichier suivant diffuse les compteurs de performance relatifs au nombre total de fichiers ouverts, au nombre total de tentatives de connexion depuis le redémarrage, au nombre de lectures disque par seconde et au pourcentage d'espace disque disponible, vers les métriques CloudWatch de la région us-east-1. Vous pouvez représenter graphiquement ces métriques dans CloudWatch, créer des tableaux de bord à partir des graphiques et définir des alarmes qui envoient des notifications lorsque les seuils sont dépassés.


{
  "Sources": [
    {
      "Id": "PerformanceCounter",
      "SourceType": "WindowsPerformanceCounterSource",
      "Categories": [
        {
          "Category": "Server",
          "Counters": [
            "Files Open",
            "Logon Total"
          ]
        },
        {
          "Category": "LogicalDisk",
          "Instances": "*",
          "Counters": [
            "% Free Space",
            {
              "Counter": "Disk Reads/sec",
              "Unit": "Count/Second"
            }
          ]
        }
      ],
    }
  ],
  "Sinks": [
    {
      "Namespace": "MyServiceMetrics",
      "Region": "us-east-1",
      "Id": "CloudWatchSink",
      "SinkType": "CloudWatch"
    }
  ],
  "Pipes": [
    {
      "Id": "PerformanceCounterToCloudWatch",
      "SourceRef": "PerformanceCounter",
      "SinkRef": "CloudWatchSink"
    }
  ]
}

Diffusion à partir du journal des événements d'application Windows vers les récepteurs

L'exemple suivantappsettings.jsonLes fichiers de configuration illustrent la diffusion de journaux d'événements d'application Windows vers différents récepteurs dans Amazon Kinesis Agent for Microsoft Windows. Pour obtenir des exemples d'utilisation des types de récepteur KinesisStream et CloudWatch, consultez Diffusion à partir de diverses sources vers les Kinesis Data Streams.

`KinesisFirehose`

Les flux de fichiers suivantsCriticalouErrorLes événements du journal de l'application Windows dans leWindowsLogFirehoseDeliveryStreamDiffusion Kinesis Data Firehose dans la région us-east-1. Si la connexion à Kinesis Data Firehose est interrompue, les événements sont d'abord mis en file d'attente en mémoire. Ensuite, si nécessaire, ils sont mis en file d'attente dans un fichier disque jusqu'à ce que la connexion soit rétablie. Enfin, les événements sont extraits de la file d'attente et envoyés, suivis par les nouveaux événements éventuels.

Vous pouvez configurer Kinesis Data Firehose pour stocker les données diffusées selon différents types de services de stockage et d'analyse en fonction des exigences des canaux de données.


{
  "Sources": [
    {
         "Id": "ApplicationLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "Application",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
       "Id": "WindowsLogKinesisFirehoseSink",
       "SinkType": "KinesisFirehose",
       "StreamName": "WindowsLogFirehoseDeliveryStream",
       "Region": "us-east-1",
       "QueueType": "file"
    }  
    ],
  "Pipes": [
    {
      "Id": "ALSource2ALKFSink",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "WindowsLogKinesisFirehoseSink"
    }
  ]
}

`CloudWatchLogs`

Les flux de fichiers suivantsCriticalouErrorJournalisation des événements d'application Windows vers CloudWatch Logs diffuse les flux de diffusion de la pageMyServiceApplicationLog-Grouplog group. Le nom de chaque flux commence par Stream-. Il se termine par l'année (quatre chiffres), le mois (deux chiffres) et le jour (deux chiffres) de création du flux ; toutes les valeurs sont concaténées (par exemple, Stream-20180501 représente le flux créé le 1er mai 2018).


{
  "Sources": [
    {
         "Id": "ApplicationLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "Application",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
      "Id": "CloudWatchLogsSink",
      "SinkType": "CloudWatchLogs",
      "LogGroup": "MyServiceApplicationLog-Group",
      "LogStream": "Stream-{timestamp:yyyyMMdd}",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "ALSource2CWLSink",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "CloudWatchLogsSink"
    }
  ]
}

Utilisation des canaux

L'exemple suivant de fichier de configuration appsettings.json illustre l'utilisation des fonctions liées aux canaux.

Cet exemple diffuse les entrées des journaux à partir du fichierc:\LogSource\à laApplicationLogFirehoseDeliveryStreamFlux de diffusion Kinesis Data Firehose. Il inclut uniquement les lignes qui correspondent à l'expression régulière spécifiée par la paire clé-valeur FilterPattern. Plus précisément, seules les lignes du fichier journal qui commencent par10ou11sont diffusés vers Kinesis Data Firehose.


{
  "Sources": [
    {
      "Id": "ApplicationLogSource",
      "SourceType": "DirectorySource",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "RecordParser": "SingleLine"
    }
  ],
  "Sinks": [
    {
       "Id": "ApplicationLogKinesisFirehoseSink",
       "SinkType": "KinesisFirehose",
       "StreamName": "ApplicationLogFirehoseDeliveryStream",
       "Region": "us-east-1"
    }  
    ],
  "Pipes": [
    {
      "Id": "ALSourceToALKFSink",
      "Type": "RegexFilterPipe",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "ApplicationLogKinesisFirehoseSink",
      "FilterPattern": "^(10|11),.*"
    }
  ]
}

Utilisation de plusieurs sources et canaux

L'exemple suivant de fichier de configuration appsettings.json illustre l'utilisation de plusieurs sources et canaux.

Cet exemple diffuse les journaux d'événements d'application, les journaux d'événements de sécurité et les journaux d'événements système Windows versEventLogStreamDiffusion Kinesis Data Firehose à l'aide de trois sources, de trois canaux et d'un seul récepteur.


{
    "Sources": [
		{
		  "Id": "ApplicationLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "Application"
		},
		{
		  "Id": "SecurityLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "Security"
		},
		{
		  "Id": "SystemLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "System"
		}
    ],
    "Sinks": [
		{
		  "Id": "EventLogSink",
		  "SinkType": "KinesisFirehose",
		  "StreamName": "EventLogStream",
		  "Format": "json"
		},
    ],
    "Pipes": [
		{
		  "Id": "ApplicationLogToFirehose",
		  "SourceRef": "ApplicationLog",
		  "SinkRef": "EventLogSink"
		},
		{
		  "Id": "SecurityLogToFirehose",
		  "SourceRef": "SecurityLog",
		  "SinkRef": "EventLogSink"
		},
		{
		  "Id": "SystemLogToFirehose",
		  "SourceRef": "SystemLog",
		  "SinkRef": "EventLogSink"
		}
    ]
}

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Configuration des mises à jour automatiques

Configuration de la télémétrie

Exemples de configuration de l'agent Kinesis pour Windows

Rubriques

Diffusion à partir de diverses sources vers les Kinesis Data Streams

DirectorySource, Analyseur d'enregistrement SysLog

DirectorySource, Analyseur d'enregistrement SingleLineJson

ExchangeLogSource

W3SVCLogSource

WindowsEventLogSource avec requête (Query)

WindowsETWEventSource

WindowsPerformanceCounterSource