Streaming da diverse origini a Kinesis Data Streams Streaming da log di eventi di applicazioni Windows ai sink Utilizzo di pipe Utilizzo di più origini e pipe

Esempi di configurazione di Kinesis Agent per Windows

Laappsettings.jsonIl file di configurazione è un documento JSON che controlla il modo in cui Amazon Kinesis Agent per Microsoft Windows raccoglie i log, gli eventi e i parametri. Controlla anche il modo in cui Kinesis Agent per Windows trasforma i dati e li trasmette ai vari servizi AWS. Per ulteriori informazioni sulle dichiarazioni di pipe, sink e origine nel file di configurazione, consulta Dichiarazioni delle origini, Dichiarazioni dei sink e Dichiarazioni delle pipe.

Le seguenti sezioni contengono esempi di file di configurazione per diversi tipi di scenari.

Argomenti

Streaming da diverse origini a Kinesis Data Streams
Streaming da log di eventi di applicazioni Windows ai sink
Utilizzo di pipe
Utilizzo di più origini e pipe

Streaming da diverse origini a Kinesis Data Streams

L'esempio seguenteappsettings.jsonI file di configurazione mostrano i log di streaming e gli eventi da origini diverse a Kinesis Data Streams e da contatori di performance Windows a parametri Amazon CloudWatch.

Parser di record `DirectorySource`, `SysLog`

Il seguente file effettua lo streaming di record di log in formato syslog da tutti i file con un.logEstensione file nella directoryC:\LogSource\directory alla directorySyslogKinesisDataStreamKinesis Data Streams nella regione us-east-1. Viene definito un segnalibro per garantire che vengano inviati tutti i dati dai file di log anche se l'agente viene arrestato e riavviato più tardi. Un'applicazione personalizzata può leggere ed elaborare i record dal flusso SyslogKinesisDataStream.


{
  "Sources": [
    {
      "Id": "SyslogDirectorySource",
      "SourceType": "DirectorySource",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "RecordParser": "SysLog",
      "TimeZoneKind": "UTC",
      "InitialPosition": "Bookmark"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "SyslogKinesisDataStream",
      "Region": "us-east-1"
    }
  ],
  "Pipes": [
    {
      "Id": "SyslogDS2KSSink",
      "SourceRef": "SyslogDirectorySource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

Parser di record `DirectorySource`, `SingleLineJson`

Il seguente file effettua lo streaming di record di log in formato JSON da tutti i file con un.logEstensione file nella directoryC:\LogSource\directory alla directoryJsonKinesisDataStreamKinesis Data Streams nella regione us-east-1. Prima dello streaming, le coppie chiave-valore per le chiavi ComputerName e DT vengono aggiunte a ogni oggetto JSON, con i valori per il nome del computer e la data e l'ora in cui il record viene elaborato. Un'applicazione personalizzata può leggere ed elaborare i record dal flusso JsonKinesisDataStream.


{
  "Sources": [
    {
      "Id": "JsonLogSource",
      "SourceType": "DirectorySource",
      "RecordParser": "SingleLineJson",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "InitialPosition": 0
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "JsonKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json",
      "ObjectDecoration": "ComputerName={ComputerName};DT={timestamp:yyyy-MM-dd HH:mm:ss}"
    }
  ],
  "Pipes": [
    {
      "Id": "JsonLogSourceToKinesisStreamSink",
      "SourceRef": "JsonLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`ExchangeLogSource`

Il seguente file effettua lo streaming di record di log generati da Microsoft Exchange e archiviati in file con il.logEstensione nella directoryC:\temp\ExchangeLog\directory alla directoryExchangeKinesisDataStreamStreaming di dati di kinesis nella regione us-east-1 in formato JSON. Anche se i log di Exchange non sono in formato JSON, Kinesis Agent per Windows è in grado di analizzare i log e di trasformarli in formato JSON. Prima dello streaming, le coppie chiave-valore per le chiavi ComputerName e DT vengono aggiunte a ogni oggetto JSON contenente i valori per il nome del computer e la data e l'ora in cui il record viene elaborato. Un'applicazione personalizzata può leggere ed elaborare i record dal flusso ExchangeKinesisDataStream.


{
  "Sources": [
    {
       "Id": "ExchangeSource",
       "SourceType": "ExchangeLogSource",
       "Directory": "C:\\temp\\ExchangeLog\",
       "FileNameFilter": "*.log"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "ExchangeKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json",
      "ObjectDecoration": "ComputerName={ComputerName};DT={timestamp:yyyy-MM-dd HH:mm:ss}"
    }
  ],
  "Pipes": [
    {
      "Id": "ExchangeSourceToKinesisStreamSink",
      "SourceRef": "ExchangeSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`W3SVCLogSource`

Il seguente file effettua lo streaming di record di log di Internet Information Services (IIS) per Windows archiviati nel percorso standard di tali file al file diIISKinesisDataStreamKinesis Data Streams nella regione us-east-1. Un'applicazione personalizzata può leggere ed elaborare i record dal flusso IISKinesisDataStream. IIS è un server Web per Windows.


{
  "Sources": [
    {
       "Id": "IISLogSource",
       "SourceType": "W3SVCLogSource",
       "Directory": "C:\\inetpub\\logs\\LogFiles\\W3SVC1",
       "FileNameFilter": "*.log"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "IISKinesisDataStream",
      "Region": "us-east-1"
    }
  ],
  "Pipes": [
    {
      "Id": "IISLogSourceToKinesisStreamSink",
      "SourceRef": "IISLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`WindowsEventLogSource` con Query

Il file seguente esegue flussi di eventi di registro dal registro eventi di sistema di Windows con un livello diCriticaloError(minore di o uguale a 2) alSystemKinesisDataStreamStreaming di dati di kinesis nella regione us-east-1 in formato JSON. Un'applicazione personalizzata può leggere ed elaborare i record dal flusso SystemKinesisDataStream.


{
  "Sources": [
    {
         "Id": "SystemLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "System",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "SystemKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "SLSourceToKSSink",
      "SourceRef": "SystemLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`WindowsETWEventSource`

Il seguente file effettua lo streaming dell'eccezione Microsoft Common Language Runtime (CLR) e degli eventi di sicurezza alClrKinesisDataStreamStreaming di dati di kinesis nella regione us-east-1 in formato JSON. Un'applicazione personalizzata può leggere ed elaborare i record dal flusso ClrKinesisDataStream.


{
  "Sources": [
    {
       "Id": "ClrETWEventSource",
       "SourceType": "WindowsETWEventSource",
       "ProviderName": "Microsoft-Windows-DotNETRuntime",
       "TraceLevel": "Verbose",
       "MatchAnyKeyword": "0x00008000, 0x00000400"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "ClrKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "ETWSourceToKSSink",
      "SourceRef": "ClrETWEventSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}

`WindowsPerformanceCounterSource`

Il seguente file effettua lo streaming di contatori di prestazioni per i file totali aperti, i tentativi di accesso totali dal riavvio, il numero di letture del disco al secondo e la percentuale di spazio di disco libero ai parametri CloudWatch nella regione us-east-1. Puoi tracciare un grafico di queste metriche in CloudWatch, creare dashboard dai grafici e impostare allarmi che inviano notifiche quando vengono superate soglie.


{
  "Sources": [
    {
      "Id": "PerformanceCounter",
      "SourceType": "WindowsPerformanceCounterSource",
      "Categories": [
        {
          "Category": "Server",
          "Counters": [
            "Files Open",
            "Logon Total"
          ]
        },
        {
          "Category": "LogicalDisk",
          "Instances": "*",
          "Counters": [
            "% Free Space",
            {
              "Counter": "Disk Reads/sec",
              "Unit": "Count/Second"
            }
          ]
        }
      ],
    }
  ],
  "Sinks": [
    {
      "Namespace": "MyServiceMetrics",
      "Region": "us-east-1",
      "Id": "CloudWatchSink",
      "SinkType": "CloudWatch"
    }
  ],
  "Pipes": [
    {
      "Id": "PerformanceCounterToCloudWatch",
      "SourceRef": "PerformanceCounter",
      "SinkRef": "CloudWatchSink"
    }
  ]
}

Streaming da log di eventi di applicazioni Windows ai sink

L'esempio seguenteappsettings.jsonI file di configurazione mostrano lo streaming di log di eventi di applicazioni Windows a diversi sink in Amazon Kinesis Agent per Microsoft Windows. Per esempi di utilizzo dei tipi di sink KinesisStream e CloudWatch, consulta Streaming da diverse origini a Kinesis Data Streams.

`KinesisFirehose`

I seguenti flussi di fileCriticaloErrorEventi del registro applicazioni di Windows nelWindowsLogFirehoseDeliveryStreamStreaming di distribuzione di Kinesis Data Firehose nella regione us-east-1. Se la connettività a Kinesis Data Firehose viene interrotta, gli eventi vengono prima messi in coda in memoria. Quindi, se necessario, sono in coda a un file su disco fino al ripristino della connettività. Quindi gli eventi non sono in coda e vengono inviati seguiti da eventuali nuovi eventi.

È possibile configurare Kinesis Data Firehose per memorizzare i dati in streaming in diversi tipi di storage e servizi di analisi in base ai requisiti della pipeline di dati.


{
  "Sources": [
    {
         "Id": "ApplicationLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "Application",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
       "Id": "WindowsLogKinesisFirehoseSink",
       "SinkType": "KinesisFirehose",
       "StreamName": "WindowsLogFirehoseDeliveryStream",
       "Region": "us-east-1",
       "QueueType": "file"
    }  
    ],
  "Pipes": [
    {
      "Id": "ALSource2ALKFSink",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "WindowsLogKinesisFirehoseSink"
    }
  ]
}

`CloudWatchLogs`

I seguenti flussi di fileCriticaloErrorRegistrazione degli eventi di log di applicazioni Windows ai flussi di CloudWatch Logs nella directoryMyServiceApplicationLog-Groupgruppo di log. Il nome di ogni flusso inizia con Stream-. Termina con l'anno di quattro cifre, il mese di due cifre e il giorno di due cifre in cui il flusso è stato creato, tutti concatenati (per esempio, Stream-20180501 è il flusso creato il 1° maggio 2018).


{
  "Sources": [
    {
         "Id": "ApplicationLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "Application",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
      "Id": "CloudWatchLogsSink",
      "SinkType": "CloudWatchLogs",
      "LogGroup": "MyServiceApplicationLog-Group",
      "LogStream": "Stream-{timestamp:yyyyMMdd}",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "ALSource2CWLSink",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "CloudWatchLogsSink"
    }
  ]
}

Utilizzo di pipe

Il seguente file di configurazione di esempio appsettings.json dimostra l'utilizzo di funzionalità relative alle pipe.

In questo esempio viene eseguito lo streaming di voci di log dalc:\LogSource\alApplicationLogFirehoseDeliveryStreamStreaming di distribuzione di Kinesis Data Firehose. Include solo le linee che soddisfano l'espressione regolare specificata dalla coppia chiave-valore FilterPattern. In particolare, solo le righe del file di log che iniziano con10o11vengono trasmesse a Kinesis Data Firehose.


{
  "Sources": [
    {
      "Id": "ApplicationLogSource",
      "SourceType": "DirectorySource",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "RecordParser": "SingleLine"
    }
  ],
  "Sinks": [
    {
       "Id": "ApplicationLogKinesisFirehoseSink",
       "SinkType": "KinesisFirehose",
       "StreamName": "ApplicationLogFirehoseDeliveryStream",
       "Region": "us-east-1"
    }  
    ],
  "Pipes": [
    {
      "Id": "ALSourceToALKFSink",
      "Type": "RegexFilterPipe",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "ApplicationLogKinesisFirehoseSink",
      "FilterPattern": "^(10|11),.*"
    }
  ]
}

Utilizzo di più origini e pipe

Il seguente file di configurazione di esempio appsettings.json dimostra l'utilizzo di più origini e pipe.

In questo esempio viene eseguito lo streaming di log di sistema Windows Event, dell'applicazione e di sicurezza alEventLogStreamIl flusso di distribuzione di Kinesis Data Firehose utilizza tre origini, tre tubi e un unico lavandino.


{
    "Sources": [
		{
		  "Id": "ApplicationLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "Application"
		},
		{
		  "Id": "SecurityLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "Security"
		},
		{
		  "Id": "SystemLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "System"
		}
    ],
    "Sinks": [
		{
		  "Id": "EventLogSink",
		  "SinkType": "KinesisFirehose",
		  "StreamName": "EventLogStream",
		  "Format": "json"
		},
    ],
    "Pipes": [
		{
		  "Id": "ApplicationLogToFirehose",
		  "SourceRef": "ApplicationLog",
		  "SinkRef": "EventLogSink"
		},
		{
		  "Id": "SecurityLogToFirehose",
		  "SourceRef": "SecurityLog",
		  "SinkRef": "EventLogSink"
		},
		{
		  "Id": "SystemLogToFirehose",
		  "SourceRef": "SystemLog",
		  "SinkRef": "EventLogSink"
		}
    ]
}

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Configurazione di aggiornamenti automatici

Configurazione della Telemetria

Esempi di configurazione di Kinesis Agent per Windows

Argomenti

Streaming da diverse origini a Kinesis Data Streams

Parser di record DirectorySource, SysLog

Parser di record DirectorySource, SingleLineJson

ExchangeLogSource

W3SVCLogSource

WindowsEventLogSource con Query

WindowsETWEventSource

WindowsPerformanceCounterSource