监控管道日志 - 亚马逊 OpenSearch 服务

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

监控管道日志

您可以为 Amazon OpenSearch Ingestion 管道启用日志记录,以公开管道操作和摄取活动期间出现的错误和警告消息。OpenSearch Ingestion 将所有日志发布到 Amazon CloudWatch Logs。CloudWatch Logs 可以监控日志文件中的信息,并在达到特定阈值时通知您。您还可以在高持久性存储中检索您的日志数据。有关更多信息,请参阅 Amazon CloudWatch Logs 用户指南

来自 OpenSearch Ingestion 的日志可能指示请求处理失败、从源到接收器的身份验证错误以及其他有助于排除故障的警告。对于日志,OpenSearch Ingestion 使用 INFOWARNERRORFATAL 日志级别。我们建议为所有管道启用日志发布。

所需权限

为使 OpenSearch Ingestion 将日志发送到 CloudWatch Logs,必须以具有特定 IAM 权限的用户身份登录。

您需要以下 CloudWatch Logs 权限才能创建和更新日志传送资源:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Resource": "*", "Action": [ "logs:CreateLogDelivery", "logs:PutResourcePolicy", "logs:UpdateLogDelivery", "logs:DeleteLogDelivery", "logs:DescribeResourcePolicies", "logs:GetLogDelivery", "logs:ListLogDeliveries" ] } ] }

启用日志发布

您可以在现有管道上启用日志发布,也可以在创建管道时启用日志发布。有关在管道创建期间启用日志发布的步骤,请参阅 创建管道

在现有管道上启用发布日志
  1. 登录到位于 https://console.aws.amazon.com/aos/home 的 Amazon OpenSearch Service 控制台。

  2. 在左侧导航窗格中选择摄取,然后选择要为其启用日志的管道。

  3. 选择编辑日志发布选项

  4. 选择发布到 CloudWatch Logs

  5. 创建新日志组或选择现有日志组。我们建议您将名称设置为路径格式,例如 /aws/vendedlogs/OpenSearchIngestion/pipeline-name/audit-logs。此格式可以更轻松地应用 CloudWatch 访问策略,为特定路径(例如,/aws/vendedlogs/OpenSearchService/OpenSearchIngestion)下的所有日志组授予权限。

    重要

    必须在日志组名称中包含前缀 vendedlogs,否则创建失败。

  6. 选择 Save(保存)。

要使用 AWS CLI 启用日志发布,请发送以下请求:

aws osis update-pipeline \ --pipeline-name my-pipeline \ --log-publishing-options IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="/aws/vendedlogs/OpenSearchIngestion/pipeline-name"}