As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Declarações de coletor

Declarações de coletor especificam onde e de que forma os logs, eventos e métricas devem ser enviados para vários serviços da AWS. As seções a seguir descrevem as configurações para os tipos de coletor integrados que estão disponíveis no Amazon Kinesis Agent para Microsoft Windows. Como o Kinesis Agent para Windows é extensível, você pode adicionar tipos de coletor personalizados. Cada tipo de coletor geralmente requer pares de chave-valor exclusivos nas declarações de configuração que são relevantes para esse tipo de coletor.

Todas as declarações de coletor podem conter os seguintes pares de chave/valor:

Para obter exemplos de arquivos de configuração completos que usam vários tipos de coletores, consulte Streaming do log de eventos de aplicativos do Windows para coletores.

Configuração do coletor KinesisStream

OKinesisStreamO tipo de coletor faz streaming de registros de log e eventos para o serviço de Streams de dados do Kinesis. Normalmente, os dados dos quais é feito streaming para Kinesis Data Streams são processados por um ou mais aplicativos personalizados que são executados com vários serviços da AWS. É feito streaming dos dados para um determinado stream que é configurado com o Kinesis Data Streams. Para obter mais informações, consulte o .Guia do desenvolvedor do Amazon Kinesis Data Streams.

Veja a seguir um exemplo de declaração de coletor do Kinesis Data Streams:

{
    "Id": "TestKinesisStreamSink",
    "SinkType": "KinesisStream",
    "StreamName": "MyTestStream",
    "Region": "us-west-2"
}
   

Todas as declarações de coletor KinesisStream podem fornecer os seguintes pares de chave/valor adicionais:

O BufferInterval padrão para esse tipo de coletor é 1 segundo, e o BufferSize padrão é 500 registros.

Configuração do coletor KinesisFirehose

OKinesisFirehoseO tipo de coletor faz streaming de registros de log e eventos para o serviço Kinesis Data Firehose. O Kinesis Data Firehose fornece dados transmitidos para outros serviços para armazenamento. Normalmente, os dados armazenados são analisados em estágios subsequentes do pipeline de dados. É feito streaming dos dados para um stream de entrega que é configurado com o Kinesis Data Firehose. Para obter mais informações, consulte o .Guia do desenvolvedor do Amazon Kinesis Data Firehose.

Veja a seguir um exemplo de declaração de coletor do Kinesis Data Firehose do:

{
   "Id": "TestKinesisFirehoseSink",
   "SinkType": "KinesisFirehose",
   "StreamName": "MyTestFirehoseDeliveryStream",
   "Region": "us-east-1",
   "CombineRecords": "true"
}
   

Todas as declarações de coletor KinesisFirehose podem fornecer os seguintes pares de chave/valor adicionais:

O BufferInterval padrão para esse tipo de coletor é 1 segundo, e o BufferSize padrão é 500 registros.

Configuração do CloudWatch

OCloudWatchO tipo de coletor faz streaming de métricas para o serviço do CloudWatch. É possível visualizar as métricas no AWS Management Console do. Para obter mais informações, consulte o Guia do usuário do Amazon CloudWatch.

Veja a seguir um exemplo de declaração de coletor do CloudWatch:

{
   "Id": "CloudWatchSink",
   "SinkType": "CloudWatch"
}
   

Todas as declarações de coletor CloudWatch podem fornecer os seguintes pares de chave/valor adicionais:

Configuração do coletor CloudWatchLogs

OCloudWatchLogsO tipo de coletor faz streaming de registros de log e eventos para o Amazon CloudWatch Logs É possível visualizar os logs no AWS Management Console ou processá-los por meio de estágios adicionais de um pipeline de dados. É feito streaming dos dados para um stream de logs que é configurado no CloudWatch Logs. Os streams de log são organizados em grupos de logs. Para obter mais informações, consulte o .Amazon CloudWatch Logs.

Veja a seguir um exemplo de declaração de coletor do CloudWatch Logs:

{
   "Id": "MyCloudWatchLogsSink",
   "SinkType": "CloudWatchLogs",
   "BufferInterval": "60",
   "BufferSize": "100",
   "Region": "us-west-2",
   "LogGroup": "MyTestLogGroup",
   "LogStream": "MyTestStream"
}

Todas as declarações do coletor CloudWatchLogs devem fornecer os seguintes pares de chave/valor adicionais:

O BufferInterval padrão para esse tipo de coletor é 1 segundo, e o BufferSize padrão é 500 registros. O tamanho máximo é 10.000 registros.

LocalFileSystemConfiguração do coletor

O tipo de piaFileSystemsalva registros de log e eventos em um arquivo no sistema de arquivos local em vez de transmiti-los para os serviços da AWS.FileSystemsão úteis para testes e diagnósticos. Por exemplo, você pode usar esse tipo de coletor para examinar registros antes de enviá-los para a AWS.

comFileSystem, você também pode usar parâmetros de configuração para simular lotes, limitação e retry-on-error para imitar o comportamento de pias reais da AWS.

Todos os registros de todas as fontes conectadas a umFileSystemsão salvos no único arquivo especificado comoFilePath. SeFilePathNão especificado, os registros serão salvos em um arquivo chamadoSinkId.txtno%TEMP%diretório, que normalmente éC:\Users\UserName\AppData\Local\Temp, ondeSinkIdé o identificador exclusivo do coletor eUserNameé o nome de usuário ativo do Windows.

Este tipo de coletor suporta atributos de decoração de texto. Para obter mais informações, consulte Configuração de decorações de coletor.

Um exemploFileSystemA configuração do tipo de coletor é mostrada no exemplo a seguir.

{
	   "Id": "LocalFileSink",
	   "SinkType": "FileSystem",
	   "FilePath": "C:\\ProgramData\\Amazon\\local_sink.txt",
	   "Format": "json",
	   "TextDecoration": "",
	   "ObjectDecoration": ""
}

OFileSystemA configuração consiste nos seguintes pares de chave/valor.

Uso Avançado — Controle de Registros e Simulação de Falha

FileSystempode imitar o comportamento dos pias da AWS simulando a limitação de registros. É possível usar os seguintes pares de chave/valor para especificar atributos de simulação de falha e limitação de registros.

Ao adquirir um bloqueio no arquivo de destino e impedir gravações nele, você pode usarFileSystempara simular e examinar o comportamento dos pias da AWS quando a rede falha.

O exemplo a seguir mostra umFileSystemconfiguração com atributos de simulação.

{
	   "Id": "LocalFileSink",
	   "SinkType": "FileSystem",
	   "FilePath": "C:\\ProgramData\\Amazon\\local_sink.txt",
	   "TextDecoration": "",
	   "RequestsPerSecond": "100",
    "BufferSize": "10",
    "MaxBatchSize": "1024"
}

O limite máximo de taxa de registro é uma função deBufferSize, o que determina o número máximo de registros por solicitação, eRequestsPerSecond. Você pode calcular o limite de taxa de registro por segundo usando a seguinte fórmula.

RecordRate=BufferSize*RequestsPerSecond

Dados os valores de configuração no exemplo acima, há uma taxa de registro máxima de 1000 registros por segundo.

Configuração de segurança do coletor

Como configurar a autenticação da

Para o Kinesis Agent for Windows fazer streaming de logs, eventos e métricas para os serviços da AWS, o acesso deve ser autenticado. Existem diversas formas de fornecer autenticação para o Kinesis Agent para Windows. A forma como você faz isso depende da situação em que o Kinesis Agent para Windows está em execução e dos requisitos de segurança específicos para uma organização.

Embora seja possível fornecer diretamente as chaves de acesso e chaves secretas nas declarações de coletor, essa abordagem não é recomendada porque as declarações não são criptografadas.

Configuração da autorização da

Associe as políticas adequadas que se seguem ao usuário do IAM ou à função do que o Kinesis Agent para Windows usará para fazer streaming de dados para serviços da AWS:

Kinesis Data Streams

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "kinesis:PutRecord",
                "kinesis:PutRecords"
            ],
            "Resource": "arn:aws:kinesis:*:*:stream/*"
        }
    ]
}     
     

Para limitar a autorização a uma região específica, a conta ou o nome do stream, substitua os asteriscos apropriados no ARN pelos valores específicos. Para obter mais informações, consulte "Nomes de recursos da Amazon (ARNs) para streams de dados do Kinesis" em Controle de acesso aos recursos de stream de dados do Amazon Kinesis usando o IAM.

Kinesis Data Firehose

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "firehose:PutRecord",
                "firehose:PutRecordBatch"
            ],
            "Resource": "arn:aws:firehose:*:*:deliverystream/*"
        }
    ]
}      
     

Para limitar a autorização a uma região, conta ou o nome do fluxo de entrega específico, substitua os asteriscos apropriados no ARN pelos valores específicos. Para obter mais informações, consulteControlar o acesso com o Amazon Kinesis Data FirehosenoGuia do desenvolvedor do Amazon Kinesis Data Firehose.

CloudWatch

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "cloudwatch:PutMetricData",
            "Resource": "*"
        }
    ]
}

Para obter mais informações, consulteVisão geral do gerenciamento de permissões de acesso aos recursos do CloudWatchnoAmazon CloudWatch Logs.

O CloudWatch Logs com um grupo e stream de logs existentes

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor3",
            "Effect": "Allow",
            "Action": [
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*"
        },
        {
            "Sid": "VisualEditor4",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:*:*:log-group:*:*:*"
        }
    ]
}      
     

Para restringir o acesso a uma região, conta, grupo de logs ou stream de logs específico, substitua os asteriscos apropriados nos ARNs pelos valores apropriados. Para obter mais informações, consulteVisão geral do gerenciamento de permissões de acesso aos recursos do CloudWatch LogsnoAmazon CloudWatch Logs.

CloudWatch Logs com permissões extras para o Kinesis Agent for Windows para criar grupos de logs e streams de logs

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor5",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogStream",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*"
        },
        {
            "Sid": "VisualEditor6",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:*:*:log-group:*:*:*"
        },
        {
            "Sid": "VisualEditor7",
            "Effect": "Allow",
            "Action": "logs:CreateLogGroup",
            "Resource": "*"
        }
    ]
}
     

Para restringir o acesso a uma região, conta, grupo de logs ou stream de logs específico, substitua os asteriscos apropriados nos ARNs pelos valores apropriados. Para obter mais informações, consulteVisão geral do gerenciamento de permissões de acesso aos recursos do CloudWatch LogsnoAmazon CloudWatch Logs.

Permissões necessárias para a expansão de variáveis de tags do EC2

O uso da expansão de variáveis com o prefixo de variável ec2tag requer a permissão ec2:Describe*.

{
   "Version": "2012-10-17",
   "Statement": [{
      "Sid": "VisualEditor8",
      "Effect": "Allow",
      "Action": "ec2:Describe*",
      "Resource": "*"
    }
   ]
}     

Configurar oProfileRefreshingAWSCredentialProviderAtualizar credenciais da AWS

Se você usar o AWS Systems Manager para ambientes híbridos para gerenciar credenciais da AWS, o Systems Manager girará as credenciais de sessão noc:\Windows\System32\config\systemprofile\.aws\credentials. Para obter mais informações sobre o Systems Manager para ambientes híbridos, consulteConfigurando o AWS Systems Manager para ambientes híbridosnoGuia do usuário do AWS Systems Manager.

Como o AWS .net SDK não pega novas credenciais automaticamente, fornecemos oProfileRefreshingAWSCredentialProviderpara atualizar credenciais.

Você pode usar oCredentialRefde qualquer configuração de sincronização da AWS para fazer referência a umCredentialsem que oCredentialTypeAttributeProfileRefreshingAWSCredentialProviderComo mostrado no exemplo a seguir.

{
    "Sinks": [{
		      "Id": "myCloudWatchLogsSink",
		      "SinkType": "CloudWatchLogs",
		      "CredentialRef": "ssmcred",
		      "Region": "us-west-2",
		      "LogGroup": "myLogGroup",
		      "LogStream": "myLogStream"
    }],
    "Credentials": [{
        "Id": "ssmcred",
        "CredentialType": "ProfileRefreshingAWSCredentialProvider",
        "Profile": "default",
        "FilePath": "%USERPROFILE%//.aws//credentials",
        "RefreshingInterval": 300
    }]
}

Uma definição de credencial consiste nos seguintes atributos como pares de chave/valor.

Configuração de decorações de coletor

As declarações de coletor podem incluir pares de chave-valor que especificam dados adicionais para fazer streaming para vários serviços da AWS a fim de aprimorar os registros reunidas da origem.

Se o tipo da origem conectada ao coletor for DirectorySource, o coletor poderá usar três variáveis adicionais:

Essas variáveis são úteis quando você usa uma origem que reúne os registros de log de vários arquivos conectados a um coletor que faz streaming de todos os registros para um único stream. A injeção dos valores dessas variáveis nos registros de streaming permite que a análise de downstream no pipeline de dados ordene os registros por arquivo e por local em cada arquivo.

Dicas para escrever expressões

Uma expressão pode ser qualquer uma destas:

Caracteres especiais

Duas barras invertidas são necessárias para escapar caracteres especiais.

Nesting

As invocações de função podem ser aninhadas, conforme mostrado no exemplo a seguir.

format(date(2018, 11, 28), 'MMddyyyy')

Variables

Existem três tipos de variáveis: local, meta e global.

Funções incorporadas

O Kinesis Agent para Windows oferece suporte às seguintes funções incorporadas do. Se algum dos argumentos forNULLe a função não é projetada para lidar comNULL, umNULLobjeto é retornado.

//string functions
int length(string input)
string lower(string input)
string lpad(string input, int size, string padstring)
string ltrim(string input)
string rpad(string input, int size, string padstring)
string rtrim(string input)
string substr(string input, int start)
string substr(string input, int start, int length)
string trim(string input)
string upper(string str)

//regular expression functions
string regexp_extract(string input, string pattern)
string regexp_extract(string input, string pattern, int group)

//date functions
DateTime date(int year, int month, int day)
DateTime date(int year, int month, int day, int hour, int minute, int second)
DateTime date(int year, int month, int day, int hour, int minute, int second, int millisecond)

//conversion functions
int? parse_int(string input)
decimal? parse_decimal(string input)
DateTime? parse_date(string input, string format)
string format(object o, string format)

//coalesce functions
object coalesce(object obj1, object obj2)
object coalesce(object obj1, object obj2, object obj3)
object coalesce(object obj1, object obj2, object obj3, object obj4)
object coalesce(object obj1, object obj2, object obj3, object obj4, object obj5) 
object coalesce(object obj1, object obj2, object obj3, object obj4, object obj5, object obj6)

Configuração de substituições de variáveis de coletor

As declarações de coletor KinesisStream, KinesisFirehose e CloudWatchLogs exigem um par de chave-valor LogStream ou StreamName. Os valores desses pares de chaves-valores podem conter referências a variáveis que são automaticamente resolvidas pelo Kinesis Agent para Windows. para oCloudWatchLogs, oLogGroupTambém é necessário e pode conter referências a variáveis que são automaticamente resolvidas pelo Kinesis Agent para Windows. As variáveis são especificadas usando o modelo {prefix:variablename} em que prefix: é opcional. Os prefixos compatíveis são os seguintes:

Se o prefixo não for especificado, se houver uma variável de ambiente com o mesmo nome que variablename, a referência a variáveis será resolvida para o valor da variável de ambiente. Caso contrário, se variablename for instance_id ou hostname, a referência a variáveis será resolvida para o valor dos metadados do EC2 com o mesmo nome. Caso contrário, a referência a variáveis não será resolvida.

Veja a seguir exemplos de pares de chave-valor válidos usando referências a variáveis:

"LogStream": "LogStream_{instance_id}"
"LogStream": "LogStream_{hostname}"
"LogStream": "LogStream_{ec2:local-hostname}"
"LogStream": "LogStream_{computername}"
"LogStream": "LogStream_{env:computername}"
   

As declarações de coletor do CloudWatchLogs oferecem suporte a uma variável de timestamp de formato especial que permite que o timestamp do registro de evento ou log original da origem altere o nome do stream de logs. O formato é {timestamp:timeformat}. Veja o exemplo a seguir:

"LogStream": "LogStream_{timestamp:yyyyMMdd}"

Se o registro de evento ou log foi gerado em 5 de junho de 2017, o valor do par de chave-valor LogStream no exemplo anterior seria resolvido para "LogStream_20170605".

Se autorizado, o tipo de coletor CloudWatchLogs pode criar automaticamente novos streams de log quando necessários com base nos nomes gerados. Você não pode fazer isso para outros tipos de coletor, pois eles exigem configuração adicional além do nome do stream.

Há substituições de variáveis especiais que ocorrem na decoração de objeto e texto. Para obter mais informações, consulte Configuração de decorações de coletor.

Configuração do enfileiramento do coletor

As declarações dos coletores KinesisStream, KinesisFirehose e CloudWatchLogs também poderão ativar o enfileiramento de registros cujo streaming para o serviço da AWS associado falhou com esses tipos de coletor devido a problemas de conectividade temporários. Para ativar o enfileiramento e novas tentativas de streaming automático quando a conectividade for restaurada, use os seguintes pares de chave-valor nas declarações de coletor:

Configuração de um proxy para coletores

Para configurar um proxy para todos os tipos de coletor do Kinesis Agent para Windows que acessam os serviços da AWS, edite o arquivo de configuração do Kinesis Agent para Windows localizado em%Program Files%\Amazon\KinesisTap\AWSKinesisTap.exe.config. Para obter instruções, consulte oproxyseção emReferência de arquivos de configuração do AWS SDK for .NETnoGuia do desenvolvedor do AWS SDK para .NET.

Configurando variáveis de resolução em mais atributos de coletor

O exemplo a seguir mostra uma configuração de coletor do que usa oRegionVariável de ambiente para o valor doRegionAttribute chave-valor. para oRoleARN, ele especifica a chave de tag EC2MyRoleARN, que é avaliado para o valor associado a essa chave.

"Id": "myCloudWatchLogsSink",
"SinkType": "CloudWatchLogs",
"LogGroup": "EC2Logs",
"LogStream": "logs-{instance_id}"
"Region": "{env:Region}"
"RoleARN": "{ec2tag:MyRoleARN}"

Configurando endpoints regionais do AWS STS ao usar a propriedade RoleARN nos pias da AWS

Esse recurso só se aplicará se você estiver usando o KinesISTAP no Amazon EC2 e usando oRoleARNdos coletores da AWS para assumir uma função externa do IAM para autenticar com os serviços da AWS de destino.

DefinindoUseSTSRegionalEndpointsparatrue, você pode especificar que um agente use o endpoint regional (por exemplo,https://sts.us-east-1.amazonaws.com) em vez do endpoint global (por exemplo,https://sts.amazonaws.com). O uso de um endpoint STS Regional reduz a latência de ida e volta para a operação e limita o impacto de falhas no serviço de endpoint global.

Configurando o ponto final da VPC para pias da AWS

Você pode especificar um endpoint da VPC na configuração do coletor paraCloudWatchLogs,CloudWatch,KinesisStreams, eKinesisFirehosetipos de pia. Um VPC endpoint permite que você conecte de forma privada a VPC aos serviços da AWS compatíveis e aos serviços do VPC endpoint desenvolvidos pelo AWS PrivateLink sem exigir um gateway da Internet, um dispositivo NAT, uma conexão VPN ou uma conexão do AWS Direct Connect. As instâncias na sua VPC não exigem que endereços IP públicos se comuniquem com recursos no serviço. O tráfego entre a sua VPC e os outros serviços não deixa a rede da Amazon. Para obter mais informações, consulteVPC endpointsnoGuia do usuário da Amazon VPC.

Você especifica o endpoint da VPC usando o parâmetroServiceURL, conforme mostrado no exemplo a seguir de umCloudWatchLogsconfiguração do coletor. Defina o valor deServiceURLpara o valor mostrado na guiaDetalhes do VPC endpointusando o console da Amazon VPC.

{
    "Id": "myCloudWatchLogsSink",
    "SinkType": "CloudWatchLogs",
    "LogGroup": "EC2Logs",
    "LogStream": "logs-{instance_id}",
    "ServiceURL":"https://vpce-ab1c234de56-ab7cdefg.logs.us-east-1.vpce.amazonaws.com"
}

Configurando um meio alternativo de proxy

Esse recurso permite que você configure um servidor proxy em uma configuração de coletor usando o suporte de proxy integrado ao AWS SDK em vez do .NET. Anteriormente, a única maneira de configurar o agente para usar um proxy era usar um recurso nativo do .NET, que roteava automaticamente todas as solicitações HTTP/S através do proxy definido no arquivo proxy.

Se você estiver usando o agente com um servidor proxy no momento, não será necessário alterar para usar esse método.

Você pode usar oProxyHosteProxyPortPara configurar um proxy alternativo, conforme mostrado no exemplo a seguir.

{
    "Id": "myCloudWatchLogsSink",
    "SinkType": "CloudWatchLogs",
    "LogGroup": "EC2Logs",
    "LogStream": "logs-{instance_id}",
    "Region": "us-west-2",
    "ProxyHost": "myproxy.mydnsdomain.com",
    "ProxyPort": "8080"
}