本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 Logs Insights 分析 CloudWatch 日志数据
借助 CloudWatch Logs Insights,您可以在亚马逊日志中交互式搜索和分析您的 CloudWatch 日志数据。您可以执行查询以帮助您更高效地响应操作问题。除了使用日志组进行查询外,您还可以使用分面、数据源和数据类型进行查询。如果出现问题,您可以使用 L CloudWatch ogs Insights 来确定潜在原因并验证已部署的修复程序。每个账户的并发 CloudWatch 日志见解 QL 限制为 100 个,包括添加到仪表板的查询。此外,您可以对 OpenSearch 服务 PPL 或 OpenSearch 服务 SQL 运行 15 个并发查询。
CloudWatch Logs Insights 支持 3 种查询语言,可用于查询:
-
一种专门构建的 Logs Insights 查询语言(Logs Insights QL),包含一些简单但功能强大的命令。
-
OpenSearch 服务管道处理语言 (PPL)。 OpenSearch PPL 允许您使用一组由竖线 (|) 分隔的命令来分析日志。
使用 OpenSearch PPL,您可以使用通过管道传送的命令来检索、查询和分析数据,从而更易于理解和撰写复杂的查询。该语法使命令链能够转换和处理数据。使用 PPL,您可以对数据进行筛选和聚合,并使用一组丰富的数学、字符串、日期、条件和其他函数进行分析。
-
OpenSearch 服务结构化查询语言 (SQL) 。使用 OpenSearch SQL 查询,您可以以声明方式分析日志。您可以使用 SELECT、FROM、WHERE、GROUP BY、HAVING 等命令,以及 SQL 中提供的各种其他命令和函数。您可以跨日志组执行 JOIN 操作,使用子查询关联日志中的数据,并使用丰富的 JSON、数学、字符串、条件和其他 SQL 函数集对日志执行强大的分析。
使用 SQL 或 PPL 命令时,请务必用反引号将包含特殊字符(非字母和非数字)的字段括起来,才能成功查询。例如,对
@message、Operation.Export和Test::Field使用反引号。纯字母名称的字段无需使用反引号。
CloudWatch Logs Insights 提供以下功能,可用于任何查询语言。
-
自动发现来自 Amazon Route 53、 AWS Lambda AWS CloudTrail、和 Amazon VPC 等 AWS 服务的日志中的日志字段,以及以 JSON 形式发出日志事件的任何应用程序或自定义日志。
-
创建字段索引可以降低成本并加快查询速度,尤其适用于处理大量日志组或日志事件的查询。为日志事件中常见的字段创建字段索引后,可以在查询中使用它们。查询会跳过处理已知不包含索引字段的日志事件,并处理较少的数据。
注意
filterIndex命令仅在 Logs Insights QL 中可用。 -
检测和分析日志事件中的模式。模式是在日志字段中重复出现的共有的文本结构。查看查询结果时,可以选择 “模式” 选项卡,查看 L CloudWatch ogs 根据结果样本找到的模式。
-
使用自然语言生成查询允许您使用自然语言来创建 L CloudWatch ogs Insights 查询。您可以询问有关您要查找的数据的问题或描述该数据,然后 AI 会根据您的提示生成查询,并逐行说明查询的工作原理。
-
使用周围日志,您可以查看查询结果中任何特定日志记录之前和之后的日志行,以即时获取有关关键日志事件的背景信息。您可以将范围配置为查看所选记录前后的 5、10、20、50 或 100 条日志行,并在周围日志中搜索特定的关键字。
只有当您使用 L CloudWatch ogs Insights QL 时,才支持以下日志见解功能。
-
比较查询,将日志组中的日志事件与先前时间段的日志事件进行比较。
重要
CloudWatch Logs Insights 无法访问时间戳早于日志组创建时间的日志事件。
如果您登录了在 CloudWatch 跨账户可观察性中设置为监控账户的账户,则可以对与该监控账户关联的源账户中的 CloudWatch 日志组运行 Logs Insights 查询。您可以运行一个查询,查询位于不同账户中的多个日志组。有关更多信息,请参阅 CloudWatch 跨账户可观测性。
使用 Logs Insights QL 创建查询时,还可以使用自然语言创建 CloudWatch 日志见解查询。要执行此操作,请询问或描述您要查找的数据。此 AI-assisted 功能会根据您的提示生成查询,并逐行解释查询的工作原理。有关更多信息,请参阅使用自然语言生成和更新 CloudWatch 日志见解查询。
如果使用任何支持的查询语言的查询尚未完成,则会在 60 分钟后超时。查询结果在 7 天内可用。
CloudWatch 无论使用何种查询语言,Logs Insights 查询都会根据扫描的未压缩日志数据量产生费用。有关更多信息,请参阅亚马逊 CloudWatch 定价
您可以使用 L CloudWatch ogs Insights 来搜索在 2018 年 11 月 5 日或之后发送到 CloudWatch 日志的日志数据。
重要
如果您的网络安全团队不允许使用 Web 套接字,则您目前无法访问 CloudWatch 控制台的 L CloudWatch ogs Insights 部分。您可以使用 API 使用 CloudWatch 日志见解查询功能。有关更多信息,请参阅StartQuery《亚马逊 CloudWatch 日志 API 参考》。