Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Dichiarazioni dei sink

Le Dichiarazioni dei sink specificano dove e in quale forma log, eventi e parametri devono essere inviati ai diversi servizi AWS. Le seguenti sezioni descrivono le configurazioni per i tipi di sink integrati disponibili in Amazon Kinesis Agent per Microsoft Windows. Poiché Kinesis Agent per Windows è ampliabile, è possibile aggiungere tipi di sink personalizzati. Ogni tipo di sink richiede in genere coppie chiave-valore univoche nella dichiarazioni di configurazione pertinenti per quel tipo di sink.

Tutte le dichiarazioni di sink possono offrire le seguenti coppie chiave-valore:

Per esempi di file di configurazione completi che utilizzano vari tipi di sink, consulta Streaming da log di eventi di applicazioni Windows ai sink.

Configurazione sink KinesisStream

LaKinesisStreamIl tipo di sink invia in streaming record di log e di eventi al servizio di Kinesis Data Streams. Di solito, i dati inviati in streaming a Kinesis Data Streams vengono elaborati da una o più applicazioni personalizzate eseguite utilizzando diversi servizi AWS. I dati vengono inviati in streaming a un flusso denominato configurato utilizzando Kinesis Data Streams. Per ulteriori informazioni, consulta la .Guida per gli sviluppatori di Amazon Kinesis Data Streams: .

Di seguito è riportato un esempio Kinesis Data Streams di:

{
    "Id": "TestKinesisStreamSink",
    "SinkType": "KinesisStream",
    "StreamName": "MyTestStream",
    "Region": "us-west-2"
}
   

Tutte le dichiarazioni sink KinesisStream possono offrire le seguenti coppie chiave-valore aggiuntive:

L'impostazione predefinita di BufferInterval per questo tipo di sink è di 1 secondo, e l'impostazione predefinita di BufferSize è di 500 record.

Configurazione sink KinesisFirehose

LaKinesisFirehoseIl tipo di sink invia in streaming record di log e di eventi al servizio Kinesis Data Firehose. Kinesis Data Firehose fornisce i dati provenienti da altri servizi per lo storage. In genere i dati archiviati vengono poi analizzati in fasi successive della pipeline di dati. I dati vengono inviati in streaming a un flusso di distribuzione denominato configurato utilizzando Kinesis Data Firehose. Per ulteriori informazioni, consulta la .Guida per sviluppatori di Amazon Kinesis Data Firehose: .

Di seguito è riportato un esempio della dichiarazione Kinesis Data Firehose:

{
   "Id": "TestKinesisFirehoseSink",
   "SinkType": "KinesisFirehose",
   "StreamName": "MyTestFirehoseDeliveryStream",
   "Region": "us-east-1",
   "CombineRecords": "true"
}
   

Tutte le dichiarazioni sink KinesisFirehose possono offrire le seguenti coppie chiave-valore aggiuntive:

L'impostazione predefinita di BufferInterval per questo tipo di sink è di 1 secondo, e l'impostazione predefinita di BufferSize è di 500 record.

Configurazione sink CloudWatch

LaCloudWatchIl tipo di sink effettua lo streaming dei parametri al servizio CloudWatch. Puoi visualizzare i parametri nella console di gestione AWS. Per ulteriori informazioni, consulta la Guida per l'utente di Amazon CloudWatch.

Di seguito è riportato un esempio della dichiarazione sink CloudWatch:

{
   "Id": "CloudWatchSink",
   "SinkType": "CloudWatch"
}
   

Tutte le dichiarazioni sink CloudWatch possono offrire le seguenti coppie chiave-valore aggiuntive:

Configurazione sink CloudWatchLogs

LaCloudWatchLogsIl tipo di sink invia in streaming record di log e di eventi a Amazon CloudWatch Logs. Puoi visualizzare i log nella console di gestione AWS o elaborarli tramite altre fasi di una pipeline di dati. I dati vengono inviati in streaming a un flusso di log denominato configurato nei CloudWatch Logs. I flussi di log sono organizzati in gruppi di log denominati. Per ulteriori informazioni, consulta la .Amazon CloudWatch Logs: .

Di seguito è riportato un esempio della dichiarazione sink CloudWatch Logs:

{
   "Id": "MyCloudWatchLogsSink",
   "SinkType": "CloudWatchLogs",
   "BufferInterval": "60",
   "BufferSize": "100",
   "Region": "us-west-2",
   "LogGroup": "MyTestLogGroup",
   "LogStream": "MyTestStream"
}

Tutte le dichiarazioni sink CloudWatchLogs devono offrire le seguenti coppie chiave-valore aggiuntive:

L'impostazione predefinita di BufferInterval per questo tipo di sink è di 1 secondo, e l'impostazione predefinita di BufferSize è di 500 record. La dimensione massima del buffer è di 10.000 record.

LocaleFileSystemConfigurazione sink

Il tipo di lavelloFileSystemsalva i record di log ed eventi in un file nel file system locale invece di inviarli in streaming ai servizi AWS.FileSystemsono utili per test e diagnostica. Ad esempio, è possibile utilizzare questo tipo di sink per esaminare i record prima di inviarli a AWS.

conFileSystem, è anche possibile utilizzare i parametri di configurazione per simulare batch, limitazione e retry-on-error per simulare il comportamento dei sink AWS effettivi.

Tutti i record di tutte le origini connesse a unFileSystemvengono salvati nel singolo file specificato comeFilePath: . SeFilePathnon viene specificato, i record vengono salvati in un file denominatoSinkId.txtnella%TEMP%, che di solito èC:\Users\UserName\AppData\Local\Temp, doveSinkIdè l'identificatore univoco del sink eUserNameè il nome utente di Windows dell'utente attivo.

Questo tipo di sink supporta gli attributi di decorazione del testo. Per ulteriori informazioni, consulta Configurazione delle decorazioni sink.

Un esempioFileSystemNell'esempio seguente viene visualizzata la seguente configurazione.

{
	   "Id": "LocalFileSink",
	   "SinkType": "FileSystem",
	   "FilePath": "C:\\ProgramData\\Amazon\\local_sink.txt",
	   "Format": "json",
	   "TextDecoration": "",
	   "ObjectDecoration": ""
}

LaFileSystemè costituito dalle seguenti coppie chiave-valore.

Utilizzo avanzato: simulazione di limitazione dei record e guasti

FileSystempuò imitare il comportamento dei sink AWS simulando la limitazione dei record. È possibile utilizzare le seguenti coppie chiave-valore per specificare gli attributi di limitazione dei record e di simulazione di errori.

Acquisendo un blocco sul file di destinazione e impedendo le scritture su di esso, è possibile utilizzareFileSystemper simulare ed esaminare il comportamento dei sink AWS quando la rete fallisce.

L'esempio seguente mostra unFileSystemcon attributi di simulazione.

{
	   "Id": "LocalFileSink",
	   "SinkType": "FileSystem",
	   "FilePath": "C:\\ProgramData\\Amazon\\local_sink.txt",
	   "TextDecoration": "",
	   "RequestsPerSecond": "100",
    "BufferSize": "10",
    "MaxBatchSize": "1024"
}

Il limite massimo di velocità di registrazione è una funzione diBufferSize, che determina il numero massimo di record per richiesta eRequestsPerSecond: . È possibile calcolare il limite di velocità record al secondo utilizzando la formula seguente.

RecordRate=BufferSize*RequestsPerSecond

Dati i valori di configurazione nell'esempio precedente, esiste una velocità massima di record di 1000 record al secondo.

Configurazione di sicurezza del sink

Configurazione dell'autenticazione

Per consentire a Kinesis Agent per Windows di trasmettere in streaming log, eventi e parametri ai servizi AWS, l'accesso deve essere autenticato. Vi sono diversi modi per fornire l'autenticazione per Kinesis Agent per Windows. Il metodo scelto dipende dalla situazione in cui è in esecuzione Kinesis Agent per Windows e i requisiti di sicurezza specifici di una determinata organizzazione.

Anche se è possibile fornire direttamente le chiavi di accesso e le chiavi segrete nelle dichiarazioni dei sink, questo approccio è sconsigliato perché le dichiarazioni non sono crittografate.

Configurazione dell'autorizzazione

Collegare le policy appropriate per l'utente o il ruolo IAM che verrà utilizzato da Kinesis Agent per Windows per trasmettere i dati ai servizi AWS:

Kinesis Data Streams

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "kinesis:PutRecord",
                "kinesis:PutRecords"
            ],
            "Resource": "arn:aws:kinesis:*:*:stream/*"
        }
    ]
}     
     

Per limitare l'autorizzazione a una regione, un account o un nome di flusso specifici, sostituire gli asterischi appropriati nell'ARN con valori specifici. Per ulteriori informazioni, vedere "Amazon Resource Name (ARN) per flussi di dati di Kinesis" in Controllo degli accessi alle risorse dei flussi di dati di Amazon Kinesis tramite IAM.

Kinesis Data Firehose

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "firehose:PutRecord",
                "firehose:PutRecordBatch"
            ],
            "Resource": "arn:aws:firehose:*:*:deliverystream/*"
        }
    ]
}      
     

Per limitare l'autorizzazione a una regione, un account o un flusso di distribuzione specifici, sostituire gli asterischi appropriati nell'ARN con valori specifici. Per ulteriori informazioni, consultaControllare gli accessi con Amazon Kinesis Data FirehosenellaGuida per sviluppatori di Amazon Kinesis Data Firehose: .

CloudWatch

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "cloudwatch:PutMetricData",
            "Resource": "*"
        }
    ]
}

Per ulteriori informazioni, consultaPanoramica sulla gestione delle autorizzazioni di accesso alle risorse CloudWatchnellaAmazon CloudWatch Logs: .

CloudWatch Logs con un gruppo di log e di flussi di log

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor3",
            "Effect": "Allow",
            "Action": [
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*"
        },
        {
            "Sid": "VisualEditor4",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:*:*:log-group:*:*:*"
        }
    ]
}      
     

Per limitare l'accesso a una regione, un account, un gruppo o un flusso di log specifico, sostituire gli asterischi opportuni negli ARN con i valori appropriati. Per ulteriori informazioni, consultaPanoramica sulla gestione delle autorizzazioni di accesso alle risorse CloudWatch LogsnellaAmazon CloudWatch Logs: .

CloudWatch Logs con autorizzazioni aggiuntive per Kinesis Agent per Windows per creare gruppi di log e flussi di log

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor5",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogStream",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*"
        },
        {
            "Sid": "VisualEditor6",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:*:*:log-group:*:*:*"
        },
        {
            "Sid": "VisualEditor7",
            "Effect": "Allow",
            "Action": "logs:CreateLogGroup",
            "Resource": "*"
        }
    ]
}
     

Per limitare l'accesso a una regione, un account, un gruppo o un flusso di log specifico, sostituire gli asterischi opportuni negli ARN con i valori appropriati. Per ulteriori informazioni, consultaPanoramica sulla gestione delle autorizzazioni di accesso alle risorse CloudWatch LogsnellaAmazon CloudWatch Logs: .

Le autorizzazioni necessarie per l'espansione delle variabili dei tag EC2

L'utilizzo dell'espansione delle variabili con il prefisso della variabile ec2tag richiede l'autorizzazione ec2:Describe*.

{
   "Version": "2012-10-17",
   "Statement": [{
      "Sid": "VisualEditor8",
      "Effect": "Allow",
      "Action": "ec2:Describe*",
      "Resource": "*"
    }
   ]
}     

Configurazione diProfileRefreshingAWSCredentialProviderPer aggiornare le credenziali AWS

Se si utilizza AWS Systems Manager per ambienti ibridi per gestire le credenziali AWS, Systems Manager ruota le credenziali di sessione inc:\Windows\System32\config\systemprofile\.aws\credentials: . Per ulteriori informazioni su Systems Manager per gli ambienti ibridi, consultaConfigurazione di AWS Systems Manager per ambienti ibridinellaAWS Systems Manager: .

Poiché AWS .net SDK non rileva automaticamente nuove credenziali, forniamo ilProfileRefreshingAWSCredentialProviderper aggiornare le credenziali.

Puoi utilizzareCredentialRefdi qualsiasi configurazione di sincronizzazione AWS per fare riferimento aCredentialsin cui vieneCredentialTypeL'attributo è impostato suProfileRefreshingAWSCredentialProviderCome mostrato nell'esempio seguente.

{
    "Sinks": [{
		      "Id": "myCloudWatchLogsSink",
		      "SinkType": "CloudWatchLogs",
		      "CredentialRef": "ssmcred",
		      "Region": "us-west-2",
		      "LogGroup": "myLogGroup",
		      "LogStream": "myLogStream"
    }],
    "Credentials": [{
        "Id": "ssmcred",
        "CredentialType": "ProfileRefreshingAWSCredentialProvider",
        "Profile": "default",
        "FilePath": "%USERPROFILE%//.aws//credentials",
        "RefreshingInterval": 300
    }]
}

Una definizione di credenziali è costituita dai seguenti attributi come coppie chiave-valore.

Configurazione delle decorazioni sink

Le dichiarazioni sink possono facoltativamente includere coppie chiave-valore che specificano dati aggiuntivi per lo streaming ai vari servizi AWS per aumentare i record raccolti dall'origine.

Se il tipo di origine dell'origine connessa al sink è DirectorySource, allora il sink può utilizzare tre variabili aggiuntive:

Queste variabili sono utili quando si utilizza un'origine che raccoglie record di log da più file connessi a un sink che invia tutti i record a un solo flusso. Inserire i valori di queste variabili nel record di streaming consente di effettuare analisi downstream nella pipeline di dati per ordinare i record per file e per ubicazione all'interno di ciascun file.

Suggerimenti per scrivere espressioni

Un'espressione può essere qualsiasi tra i seguenti:

Caratteri speciali

Per sfuggire a caratteri speciali sono necessari due barre rovesciate.

Nesting

Le chiamate di funzione possono essere nidificate, come mostrato nell'esempio seguente.

format(date(2018, 11, 28), 'MMddyyyy')

Variables

Ci sono tre tipi di variabili: locale, meta e globale.

Funzioni integrate

Kinesis Agent per Windows supporta le seguenti funzioni integrate. Se uno qualsiasi degli argomenti èNULLe la funzione non è progettata per gestireNULL, unNULLviene restituito.

//string functions
int length(string input)
string lower(string input)
string lpad(string input, int size, string padstring)
string ltrim(string input)
string rpad(string input, int size, string padstring)
string rtrim(string input)
string substr(string input, int start)
string substr(string input, int start, int length)
string trim(string input)
string upper(string str)

//regular expression functions
string regexp_extract(string input, string pattern)
string regexp_extract(string input, string pattern, int group)

//date functions
DateTime date(int year, int month, int day)
DateTime date(int year, int month, int day, int hour, int minute, int second)
DateTime date(int year, int month, int day, int hour, int minute, int second, int millisecond)

//conversion functions
int? parse_int(string input)
decimal? parse_decimal(string input)
DateTime? parse_date(string input, string format)
string format(object o, string format)

//coalesce functions
object coalesce(object obj1, object obj2)
object coalesce(object obj1, object obj2, object obj3)
object coalesce(object obj1, object obj2, object obj3, object obj4)
object coalesce(object obj1, object obj2, object obj3, object obj4, object obj5) 
object coalesce(object obj1, object obj2, object obj3, object obj4, object obj5, object obj6)

Configurazione di sostituzione di variabili sink

Le dichiarazioni sink KinesisStream, KinesisFirehose e CloudWatchLogs richiedono una coppia chiave-valore LogStream o StreamName. Il valore di queste coppie chiave-valore può contenere riferimenti a variabili che vengono automaticamente risolti da Kinesis Agent per Windows. PerCloudWatchLogs, ilLogGroupÈ richiesta anche una coppia chiave-valore e può contenere riferimenti a variabili automaticamente risolti da Kinesis Agent per Windows. Le variabili sono specificate utilizzando il modello {prefix:variablename} in cui prefix: è facoltativo. I prefissi supportati sono i seguenti:

Se il prefisso non è specificato, se c'è una variabile di ambiente con lo stesso nome di variablename, il riferimento alla variabile viene risolto dal valore della variabile di ambiente. Altrimenti, se variablename è instance_id o hostname, il riferimento alla variabile viene risolto dal valore dei metadati EC2 con lo stesso nome. In caso contrario, il riferimento alla variabile non viene risolto.

Di seguito sono elencati alcuni esempi di coppie chiave-valore valide che utilizzano i riferimenti alle variabili:

"LogStream": "LogStream_{instance_id}"
"LogStream": "LogStream_{hostname}"
"LogStream": "LogStream_{ec2:local-hostname}"
"LogStream": "LogStream_{computername}"
"LogStream": "LogStream_{env:computername}"
   

Le dichiarazioni sink CloudWatchLogs supportano una variabile timestamp con un formato speciale che consente al timestamp del record dell'evento o del log originale dell'origine di modificare il nome del flusso di log. Il formato è {timestamp:timeformat}. Fai riferimento al file di esempio seguente:

"LogStream": "LogStream_{timestamp:yyyyMMdd}"

Se il record di eventi o di log è stato generato il 5 giugno 2017, il valore della coppia chiave-valore LogStream dell'esempio precedente si risolverebbe in "LogStream_20170605".

Se autorizzato, il tipo di sink CloudWatchLogs è in grado di creare automaticamente nuovi flussi di log generati quando richiesto in base ai nomi. Non è possibile eseguire questa operazione per altri tipi di sink perché richiedono un'ulteriore configurazione oltre il nome del flusso.

Non ci sono sostituzioni specifiche di variabili che si verificano nel testo e nella decorazione dell'oggetto. Per ulteriori informazioni, consulta Configurazione delle decorazioni sink.

Configurazione dell'accodamento dei sink

Le dichiarazioni dei sink KinesisStream, KinesisFirehose e CloudWatchLogs possono facoltativamente abilitare l'accodamento di record che non hanno lo streaming per il servizio AWS associato a questi tipi di sink a causa di problemi di connessione transitori. Per abilitare nuovi tentativi di streaming automatico e di accodamento quando la connettività viene ripristinata, utilizzare le seguenti coppie chiave-valore nelle dichiarazioni sink:

Configurazione di un Proxy per i sink

Per configurare un proxy per tutti i tipi di sink di Kinesis Agent per Windows che accedono ai servizi AWS, modificare il file di configurazione dell'Agente Kinesis per Windows che si trova in%Program Files%\Amazon\KinesisTap\AWSKinesisTap.exe.config: . Per istruzioni, consultaproxySezioneDocumentazione di riferimento per AWS SDK for .NETnellaGuida per gli sviluppatori dell'SDK AWS per .NET: .

Configurazione delle variabili di risoluzione in più attributi sink

L'esempio seguente mostra una configurazione sink che utilizza ilRegionVariabile di ambiente per il valore delRegionCoppia chiave-valore dell'attributo. PerRoleARN, specifica la chiave del tag EC2MyRoleARN, che restituisce il valore associato a quella chiave.

"Id": "myCloudWatchLogsSink",
"SinkType": "CloudWatchLogs",
"LogGroup": "EC2Logs",
"LogStream": "logs-{instance_id}"
"Region": "{env:Region}"
"RoleARN": "{ec2tag:MyRoleARN}"

Configurazione degli endpoint regionali di AWS STS quando si utilizza la proprietà RoleARN nei sink AWS

Questa funzione si applica solo se utilizzi KinesiStap su Amazon EC2 e utilizzi ilRoleARNdei sink AWS per assumere un ruolo IAM esterno per l'autenticazione con i servizi AWS di destinazione.

ImpostandoUseSTSRegionalEndpointsDa atrue, è possibile specificare che un agente utilizzi l'endpoint regionale (ad esempiohttps://sts.us-east-1.amazonaws.com) invece dell'endpoint globale (ad esempio,https://sts.amazonaws.com). L'utilizzo di un endpoint STS regionale riduce la latenza di andata e ritorno per l'operazione e limita l'impatto degli errori nel servizio endpoint globale.

Configurazione di VPC Endpoint per i sink AWS

È possibile specificare un endpoint VPC nella configurazione sink perCloudWatchLogs,CloudWatch,KinesisStreams, eKinesisFirehosetipi di lavello. Un endpoint VPC consente di connettere privatamente il VPC a servizi AWS supportati e servizi endpoint VPC powered by AWS PrivateLink senza richiedere un Internet gateway, un dispositivo NAT, una connessione VPN o una connessione AWS Direct Connect. Le istanze nel VPC non richiedono indirizzi IP pubblici per comunicare con risorse nel servizio. Il traffico tra il VPC e gli altri servizi non lascia la rete Amazon. Per ulteriori informazioni, consultaEndpoint VPCnellaGuida per l'utente di Amazon VPC: .

È possibile specificare l'endpoint VPC utilizzando il comandoServiceURLcome mostrato nell'esempio seguente di un'CloudWatchLogsconfigurazione del sink. Impostare il valoreServiceURLal valore mostrato nella schedaDettagli dell'endpoint VPCcon la console Amazon VPC.

{
    "Id": "myCloudWatchLogsSink",
    "SinkType": "CloudWatchLogs",
    "LogGroup": "EC2Logs",
    "LogStream": "logs-{instance_id}",
    "ServiceURL":"https://vpce-ab1c234de56-ab7cdefg.logs.us-east-1.vpce.amazonaws.com"
}

Configurazione di un mezzo alternativo di proxy

Questa funzionalità consente di configurare un server proxy in una configurazione sink utilizzando il supporto proxy incorporato in AWS SDK anziché .NET. In precedenza, l'unico modo per configurare l'agente per utilizzare un proxy era utilizzare una funzionalità nativa di .NET, che instradava automaticamente tutte le richieste HTTP/S tramite il proxy definito nel file proxy.

Se si sta attualmente utilizzando l'agente con un server proxy, non è necessario modificare per utilizzare questo metodo.

Puoi utilizzareProxyHosteProxyPortPer configurare un proxy alternativo, come mostrato nell'esempio seguente.

{
    "Id": "myCloudWatchLogsSink",
    "SinkType": "CloudWatchLogs",
    "LogGroup": "EC2Logs",
    "LogStream": "logs-{instance_id}",
    "Region": "us-west-2",
    "ProxyHost": "myproxy.mydnsdomain.com",
    "ProxyPort": "8080"
}