本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

接收器声明

接收器声明 指定应从哪里以何种格式将日志、事件和指标发送到各种 AWS 服务。以下部分描述了 Microsoft Windows 的 Amazon Kinesis 代理中可用的内置接收器类型的配置。由于 Windows 的 Kinesis 代理是可扩展的，因此，您可以添加自定义接收器类型。通常在与各个接收器类型关联的配置声明中，需要有该接收器类型的唯一键/值对。

所有接收器声明可以包含以下键/值对：

有关使用不同接收器类型的完整配置文件示例，请参阅从 Windows 应用程序事件日志流式传输到接收器。

KinesisStream 接收器配置

这些区域有：KinesisStream接收器类型将日志记录和事件流式传输到 Kinesis Data Streams 服务。通常，流式传输到 Kinesis Data Tata Stream 的数据由一个或多个使用各种 AWS 服务执行的自定义应用程序处理。数据流式传输到使用 Kinesis 数据流配置的指定流。有关更多信息，请参阅 。Amazon Kinesis Data Streams 开发人员指南。

以下是 Kinesis Data Streams 接收器声明的示例：

{
    "Id": "TestKinesisStreamSink",
    "SinkType": "KinesisStream",
    "StreamName": "MyTestStream",
    "Region": "us-west-2"
}
   

所有 KinesisStream 接收器声明可以提供以下额外的键/值对：

此接收器类型的默认 BufferInterval 为 1 秒，默认 BufferSize 为 500 个记录。

KinesisFirehose 接收器配置

这些区域有：KinesisFirehose接收器类型将日志记录和事件流式传输到 Kinesis Data Firehose 服务。Kinesis Data Firehose 将流式传输的数据提供给其他服务进行存储。通常，接下来在数据管道的后续阶段中会分析存储的数据。数据流式传输到使用 Kinesis Data Firehose 配置的指定传输流。有关更多信息，请参阅 。Amazon Kinesis Data Firehose 开发人员指南。

以下是 Kinesis 数据消防器接收器声明的示例：

{
   "Id": "TestKinesisFirehoseSink",
   "SinkType": "KinesisFirehose",
   "StreamName": "MyTestFirehoseDeliveryStream",
   "Region": "us-east-1",
   "CombineRecords": "true"
}
   

所有 KinesisFirehose 接收器声明可以提供以下额外的键/值对：

此接收器类型的默认 BufferInterval 为 1 秒，默认 BufferSize 为 500 个记录。

CloudWatch 接收器配置

这些区域有：CloudWatch接收器类型将指标流式传输到 CloudWatch Service。您可在 AWS 管理控制台中查看指标。有关更多信息，请参阅 Amazon CloudWatch 用户指南。

以下为 CloudWatch 接收器声明：

{
   "Id": "CloudWatchSink",
   "SinkType": "CloudWatch"
}
   

所有 CloudWatch 接收器声明可以提供以下额外的键/值对：

CloudWatchLogs 接收器配置

这些区域有：CloudWatchLogs接收器类型将日志记录和事件流式传输到 Amazon CloudWatch Logs。您可在 AWS 管理控制台中查看日志，或者通过数据管道的其他阶段处理它们。数据流式传输到在 CloudWatch 日志中配置的指定日志流。日志流按照指定的日志组排列。有关更多信息，请参阅 。Amazon CloudWatch Logs 用户指南。

以下是 CloudWatch Logs 接收器声明的示例：

{
   "Id": "MyCloudWatchLogsSink",
   "SinkType": "CloudWatchLogs",
   "BufferInterval": "60",
   "BufferSize": "100",
   "Region": "us-west-2",
   "LogGroup": "MyTestLogGroup",
   "LogStream": "MyTestStream"
}

所有 CloudWatchLogs 接收器声明必须提供以下额外的键/值对：

此接收器类型的默认 BufferInterval 为 1 秒，默认 BufferSize 为 500 个记录。最大缓冲区大小为 10000 个记录。

本地FileSystem接收器配置

汇类型FileSystem将日志和事件记录保存到本地文件系统上的文件中，而不是将其流式传输到 AWS 服务。FileSystem汇对于测试和诊断非常有用。例如，您可以使用此接收器类型在将记录发送到 AWS 之前检查记录。

与FileSystem接收器，您还可以使用配置参数来模拟批处理、限制和错误时重试，以模拟实际 AWS 汇的行为。

来自所有源的所有记录连接到FileSystem接收器保存到指定为FilePath。如果FilePath未指定，则会将记录保存到名为SinkId.txt中的%TEMP%目录，通常是C:\Users\UserName\AppData\Local\Temp，其中，SinkId是接收器的唯一标识符，UserName是活动用户的 Windows 用户名。

此接收器类型支持文本装饰属性。有关更多信息，请参阅 配置接收器修饰。

一个示例FileSystem接收器类型配置显示在以下示例中。

{
	   "Id": "LocalFileSink",
	   "SinkType": "FileSystem",
	   "FilePath": "C:\\ProgramData\\Amazon\\local_sink.txt",
	   "Format": "json",
	   "TextDecoration": "",
	   "ObjectDecoration": ""
}

这些区域有：FileSystem配置由以下键/值对组成。

高级使用 — 记录限制和故障模拟

FileSystem可以通过模拟记录限制来模拟 AWS 汇的行为。可使用以下键-值对指定记录限制和失效模拟属性。

通过获取目标文件的锁定并阻止对其进行写入，您可以使用FileSystem汇来模拟和检查网络发生故障时 AWS 汇的行为。

以下示例显示了一个FileSystem配置与模拟属性。

{
	   "Id": "LocalFileSink",
	   "SinkType": "FileSystem",
	   "FilePath": "C:\\ProgramData\\Amazon\\local_sink.txt",
	   "TextDecoration": "",
	   "RequestsPerSecond": "100",
    "BufferSize": "10",
    "MaxBatchSize": "1024"
}

最大记录速率限制是BufferSize，它确定每个请求的最大记录数，RequestsPerSecond。您可以使用以下公式计算每秒记录速率限制。

记录率=BufferSize*RequestsPerSecond

给定上面示例中的配置值，最大记录速率为每秒 1000 条记录。

接收器安全配置

配置身份验证

对于 Windows Kinesis Agent 将日志、事件和指标流式传输到 AWS 服务，必须对访问进行身份验证。有多种方法可以为 Windows 提供身份验证。如何提供身份验证取决于 Windows 的 Kinesis Agent 以及特定组织的特定安全要求。

虽然可以在接收器声明中直接提供访问密钥和私有密钥，但不建议使用此方法，因为声明未加密。

配置授权

将相应策略附加到 IAM 用户或角色，适用于 Windows 的 Kinesis Agent 将使用这些用户或角色来流式传输数据到 AWS 服务：

Kinesis Data Streams

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "kinesis:PutRecord",
                "kinesis:PutRecords"
            ],
            "Resource": "arn:aws:kinesis:*:*:stream/*"
        }
    ]
}     
     

要将授权限制到特定区域、账户或流名称，请使用特定值替换 ARN 中的相应星号。有关更多信息，请参阅使用 IAM 控制对 Amazon Kinesis Data Streams 资源的访问中的“用于 Kinesis Data Streams 的 Amazon 资源名称 (ARN)”。

Kinesis Data Firehose

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "firehose:PutRecord",
                "firehose:PutRecordBatch"
            ],
            "Resource": "arn:aws:firehose:*:*:deliverystream/*"
        }
    ]
}      
     

要将授权限制到特定区域、账户或传输流名称，请使用特定值替换 ARN 中的相应星号。有关更多信息，请参阅 。使用 Amazon Kinesis Data Firehose 控制访问中的Amazon Kinesis Data Firehose 开发人员指南。

CloudWatch

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "cloudwatch:PutMetricData",
            "Resource": "*"
        }
    ]
}

有关更多信息，请参阅 。管理您的 CloudWatch 资源的访问权限概述中的Amazon CloudWatch Logs 用户指南。

具有现有日志组和日志流的 CloudWatch 日志

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor3",
            "Effect": "Allow",
            "Action": [
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*"
        },
        {
            "Sid": "VisualEditor4",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:*:*:log-group:*:*:*"
        }
    ]
}      
     

要限制对特定区域、账户、日志组或日志流的访问，请使用相应值替换 ARN 中的相应星号。有关更多信息，请参阅 。管理您的 CloudWatch Logs 资源的访问权限概述中的Amazon CloudWatch Logs 用户指南。

CloudWatch Logs 具有额外权限的 CloudWatch Kinesis 日志日志日志日志，用于 Windows 创建日志组和日志流

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor5",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogStream",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*"
        },
        {
            "Sid": "VisualEditor6",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:*:*:log-group:*:*:*"
        },
        {
            "Sid": "VisualEditor7",
            "Effect": "Allow",
            "Action": "logs:CreateLogGroup",
            "Resource": "*"
        }
    ]
}
     

要限制对特定区域、账户、日志组或日志流的访问，请使用相应值替换 ARN 中的相应星号。有关更多信息，请参阅 。管理您的 CloudWatch Logs 资源的访问权限概述中的Amazon CloudWatch Logs 用户指南。

EC2 标签变量扩展所需的权限

通过 ec2tag 变量前缀使用变量扩展需要 ec2:Describe* 权限。

{
   "Version": "2012-10-17",
   "Statement": [{
      "Sid": "VisualEditor8",
      "Effect": "Allow",
      "Action": "ec2:Describe*",
      "Resource": "*"
    }
   ]
}     

配置ProfileRefreshingAWSCredentialProvider刷新 AWS 凭证

如果您使用适用于混合环境的 AWS Systems Manager 来管理 AWS 证书，Systems Manager 会在c:\Windows\System32\config\systemprofile\.aws\credentials。有关混合环境的更多信息，请参阅为混合环境设置 AWS Systems Manager中的AWS Systems Manager 用户指南。

由于 AWS .net 开发工具包不会自动获取新证书，因此我们提供ProfileRefreshingAWSCredentialProvider插件刷新凭据。

您可以使用CredentialRef属 AWS 来引用Credentials定义，其中CredentialType属性设置为ProfileRefreshingAWSCredentialProvider如以下示例所示。

{
    "Sinks": [{
		      "Id": "myCloudWatchLogsSink",
		      "SinkType": "CloudWatchLogs",
		      "CredentialRef": "ssmcred",
		      "Region": "us-west-2",
		      "LogGroup": "myLogGroup",
		      "LogStream": "myLogStream"
    }],
    "Credentials": [{
        "Id": "ssmcred",
        "CredentialType": "ProfileRefreshingAWSCredentialProvider",
        "Profile": "default",
        "FilePath": "%USERPROFILE%//.aws//credentials",
        "RefreshingInterval": 300
    }]
}

凭证定义由以下属性组成，作为键 — 值对。

配置接收器修饰

接收器声明可以选择包括指定要流式传输到各种 AWS 服务的额外数据的键/值对，用于增强从源收集的记录。

如果与接收器连接的源的源类型是 DirectorySource，则接收器可以使用三个其他变量：

当您使用从连接到单个接收器的多个文件收集日志记录的源并将所有记录流式传输到单个流时，这些变量非常有用。将这些变量的值注入流记录中可在数据管道的下游进行分析，以按照文件和在各个文件中的位置来排序记录。

有关编写表达式的提示

表达式可以为以下任一种：

特殊字符

需要两个反斜杠来转义特殊字符。

Nesting

函数调用可以嵌套，如以下示例所示。

format(date(2018, 11, 28), 'MMddyyyy')

Variables

有三种类型的变量：局部变量、元变量和全局变量。

内置函数

Windows Kinesis 代理支持以下内置函数。如果任何参数是NULL并且该函数不是为了处理NULL，aNULL对象被返回。

//string functions
int length(string input)
string lower(string input)
string lpad(string input, int size, string padstring)
string ltrim(string input)
string rpad(string input, int size, string padstring)
string rtrim(string input)
string substr(string input, int start)
string substr(string input, int start, int length)
string trim(string input)
string upper(string str)

//regular expression functions
string regexp_extract(string input, string pattern)
string regexp_extract(string input, string pattern, int group)

//date functions
DateTime date(int year, int month, int day)
DateTime date(int year, int month, int day, int hour, int minute, int second)
DateTime date(int year, int month, int day, int hour, int minute, int second, int millisecond)

//conversion functions
int? parse_int(string input)
decimal? parse_decimal(string input)
DateTime? parse_date(string input, string format)
string format(object o, string format)

//coalesce functions
object coalesce(object obj1, object obj2)
object coalesce(object obj1, object obj2, object obj3)
object coalesce(object obj1, object obj2, object obj3, object obj4)
object coalesce(object obj1, object obj2, object obj3, object obj4, object obj5) 
object coalesce(object obj1, object obj2, object obj3, object obj4, object obj5, object obj6)

配置接收器变量替换

KinesisStream、KinesisFirehose 和 CloudWatchLogs 接收器声明需要 LogStream 或 StreamName 键/值对。值的值可以包含由 Windows 的 Kinesis 代理自动解析的变量引用。适用于CloudWatchLogs，LogGroup键/值对也是必需的，并且可以包含由 Windows Kinesis 代理自动解析的变量引用。使用模板 {prefix:variablename} 指定变量，其中 prefix: 可选。支持的前缀如下所示：

如果未指定前缀，并且某个环境变量具有与 variablename 相同的名称，变量引用解析为环境变量的值。否则，如果 variablename 为 instance_id 或 hostname，变量引用解析为同名的 EC2 元数据的值。如果均不满足，不解析变量引用。

以下为使用变量引用的有效键/值对示例：

"LogStream": "LogStream_{instance_id}"
"LogStream": "LogStream_{hostname}"
"LogStream": "LogStream_{ec2:local-hostname}"
"LogStream": "LogStream_{computername}"
"LogStream": "LogStream_{env:computername}"
   

CloudWatchLogs 接收器声明支持特殊格式的时间戳变量，允许来自源的日志或事件记录的时间戳变更日志流的名称。格式为 {timestamp:timeformat}。请参见以下示例：

"LogStream": "LogStream_{timestamp:yyyyMMdd}"

如果日志或事件记录在 2017 年 6 月 5 日生成，上一例中 LogStream 键/值对的值将解析为 "LogStream_20170605"。

如果已授权，根据生成的名称，在需要时 CloudWatchLogs 接收器类型可以自动创建新日志流。对于其他接收器类型，由于它们在流名称之外需要其他配置，您无法执行此操作。

这些是在文本和对象修饰中出现的特殊变量替换。有关更多信息，请参阅 配置接收器修饰。

配置接收器排队

KinesisStream、KinesisFirehose 和 CloudWatchLogs 接收器声明可以选择如果由于临时连接问题，记录无法流式传输到与这些接收器类型关联的 AWS 服务，则启用记录排队。要启用排队和在连接恢复时的自动流式传输重试，请在接收器声明中使用以下键/值对：

为接收器配置代理

要为访问 AWS 服务的 Windows 接收器类型配置代理，请编辑位于的 Windows Kinesis Agent 配置文件。%Program Files%\Amazon\KinesisTap\AWSKinesisTap.exe.config。有关说明，请参阅proxy中的部分AWS SDK for .NET 的配置文件参考中的AWS SDK for .NET Developer Guide。

在更多汇属性中配置解析变量

以下示例显示了接收器配置，该接收器配置使用Region环境变量的值Region属性键/值对。适用于RoleARN，它指定 EC2 标签密钥MyRoleARN，它的计算结果为与该键关联的值。

"Id": "myCloudWatchLogsSink",
"SinkType": "CloudWatchLogs",
"LogGroup": "EC2Logs",
"LogStream": "logs-{instance_id}"
"Region": "{env:Region}"
"RoleARN": "{ec2tag:MyRoleARN}"

在 AWS 汇中使用 RoLearn 属性时配置 AWS STS 区域终端节点

此功能仅在您在 Amazon EC2 上使用 KinesiSTAP 并使用RoleARN属性代入外部 IAM 角色，以便通过目标 AWS 服务进行身份验证。

通过将设置UseSTSRegionalEndpoints到true，您可以指定代理使用区域终端节点（例如https://sts.us-east-1.amazonaws.com）而不是全局终端节点（例如，https://sts.amazonaws.com)。使用区域 STS 终端节点可减少操作的往返延迟，并限制全局终端服务中故障的影响。

为 AWS 汇配置 VPC 终端节点

您可以在接收器配置中指定 VPC 终端节点CloudWatchLogs、CloudWatch、KinesisStreams, 和KinesisFirehose汇类型。VPC 终端节点使您能够将 VPC 私密地连接到支持的 AWS 服务和 VPC 终端节点服务（由 AWS PrivateLink 提供支持），而无需互联网网关、NAT 设备、VPN 连接或 AWS Direct Connect 连接。VPC 中的实例无需公有 IP 地址便可与服务中的资源通信。VPC 和其他服务之间的通信不会离开 Amazon 网络。有关更多信息，请参阅 。VPC 终端节点中的Amazon VPC 用户指南。

您可 VPC 使用ServiceURL属性，如以下示例所示。CloudWatchLogs汇配置。将值设置为ServiceURL设置为VPC 终端节点节点详选项卡上，使用 Amazon VPC 控制台。

{
    "Id": "myCloudWatchLogsSink",
    "SinkType": "CloudWatchLogs",
    "LogGroup": "EC2Logs",
    "LogStream": "logs-{instance_id}",
    "ServiceURL":"https://vpce-ab1c234de56-ab7cdefg.logs.us-east-1.vpce.amazonaws.com"
}

配置替代代代理方式

此功能允许您使用 AWS 开发工具包内置的代理支持而不是 .NET 来配置接收器配置代理服务器。以前，将代理配置为使用代理的唯一方法是使用 .NET 的本机功能，该功能通过代理文件中定义的代理自动路由所有 HTTP/S 请求。

如果您当前使用代理与代理服务器一起使用，则无需更改即可使用此方法。

您可以使用ProxyHost和ProxyPort属性配置备用代理，如以下示例所示。

{
    "Id": "myCloudWatchLogsSink",
    "SinkType": "CloudWatchLogs",
    "LogGroup": "EC2Logs",
    "LogStream": "logs-{instance_id}",
    "Region": "us-west-2",
    "ProxyHost": "myproxy.mydnsdomain.com",
    "ProxyPort": "8080"
}