View a markdown version of this page

使用集群见解进行统一运营监控 - 亚马逊 OpenSearch 服务

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用集群见解进行统一运营监控

Amazon OpenSearch Service 现在包括集群见解,这是一种监控解决方案,可通过单个控制面板为您的集群提供全面的运营可见性。这消除了必须分析和关联各种日志和指标以确定集群可用性或性能的潜在风险的复杂性。该解决方案可自动整合跨节点、索引和分片的关键运营数据,将复杂的故障排除转化为简化的流程。您可以检测大型分片和低磁盘水印等问题,查看节点、索引和分片级别的详细指标,并访问安全和弹性最佳实践。

注意

集群见解无需额外费用即可获得,支持以下版本:

  • 亚马逊 OpenSearch 服务控制台(“集群运行状况” 选项卡):适用于 Elasticsearch 6.8 及更高版本以及所有 OpenSearch 版本(1.0+)。

  • OpenSearch 仪表板用户界面(通过 OpenSearch UI 应用程序):需要 OpenSearch 2.17 或更高版本。运行早期版本的域可以关联为数据源,但不会出现在用户界面的集群见解概述中。 OpenSearch版本为 2.17 和 2.19 的域也需要更新最新的服务软件版本。

  • “查询视图” 选项卡(在 OpenSearch 控制板用户界面中):需要 OpenSearch 2.19 或更高版本。

  • 您可以使用ListInsights和 DescribeInsightDetails API 以编程方式检索 Insight 详细信息,这对于自动化和代理很有用。

  • 还可以通过其他渠道获得见解,包括通知和亚马逊 EventBridge。

注意:运行早于 2.17 OpenSearch 版本的域可以在 OpenSearch 用户界面应用程序中关联为数据源,但不会出现在集群见解概述中。控制面板用户界面中只有运行 OpenSearch 2.17 或更高版本的域才完全支持集群见解。

优势

  • 主动监控 -利用所有组件(从单个节点和索引到分片和搜索查询)的详细性能指标,主动监控集群运行状况。

  • 统一可见性 -将监控数据整合到单个仪表板中

  • 切实可行的建议 -获取问题解决的分步指南

  • 全面覆盖 -监控集群的安全性、稳定性和灵活性 OpenSearch

  • 查询优化 -识别资源密集型查询并优化性能

借助 Cluster Insights,您可以保持最佳集群性能,减少运营开销,并确保 OpenSearch 集群之间采用一致的最佳实践

通过控制台访问集群见解

查看性能和弹性建议并进行必要的配置更改,所有这些都可以在同一个控制台中完成。在控制台的集群运行状况选项卡下,您可以访问列出所有活跃见解的集群见解。点击任意 Insight 查看建议。

Screen-1:“集群运行状况” 选项卡下的集群见解

见解面板显示错误的 集群 管理员配置建议,严重程度为中等,处于活动状态。

通过 OpenSearch UI 访问集群见解和详细指标

您可以通过OpenSearch 用户界面(控制面板)查看特定 OpenSearch 服务集群的见解。在 OpenSearch UI 中,应用程序只是一种组织结构,如文件夹。每个应用程序都可以连接到多个 OpenSearch 服务集群并显示其见解。访问集群见解需要在 OpenSearch UI 应用程序中扮演管理角色。

注意

访问集群见解需要在 OpenSearch UI 应用程序中扮演管理角色。

创建和配置应用程序以查看集群见解

  1. 在以下位置打开 OpenSearch 服务控制台 https://console.aws.amazon.com/aos/home

  2. 从左侧导航栏中选择 OpenSearch UI(仪表板)

  3. 完成以下步骤以创建和配置应用程序:

  4. 完成这两个步骤后,您可以在 OpenSearch 用户界面控制面板中查看集群见解。选择设置图标,然后选择数据管理员 > 集群见解。

Screen-2: 从 OpenSearch UI 访问数据管理员

左侧导航菜单中突出显示了数据管理选项。

Screen-3: “管理数据” 部分下的集群见解

集群 数据管理概述的 “管理数据” 部分突出显示了见解卡。

了解集群见解

本节介绍集群见解中可用的各种见解。

概述控制面板

如以下屏幕截图所示,集群见解概述页面提供了应用程序级别集群运行状况的高级视图,包括以下部分:

Screen-4: OpenSearch UI 应用程序中的 “集群见解” 登录页面。

集群 见解概览页面,显示 集群 健康状况、见解趋势和基于严重程度的见解表。

当前集群状态

圆环图显示您的集群运行状况:

  • 绿色 -所有主分片和副本都分配给节点

  • 黄色 -所有主分片均已分配,但有些副本未分配

  • 红色 -至少有一个主分片未分配给任何节点

洞察趋势

趋势图跟踪过去 30 天内的问题模式,帮助您识别新出现的问题并监控解决进度。

当前的开放见解

按过去 30 天公开见解的严重程度排列的计数。

OpenSearch 服务集群

本部分列出了所有 OpenSearch 集群的关键统计信息,包括节点数、分片数和活跃查询。

按严重程度划分的主要见解

您可以查看应用程序中所有域的见解。本节列出了需要立即关注的问题(严重和高严重性)的优先级。每项见解都包含描述和具体建议,可以帮助您首先关注关键问题。

见解详细信息

“按严重程度划分的热门见解” 部分中的每项见解都是交互式的,可提供详细的分析。例如,当您选择 “大碎片大小” 洞察力时:

  1. 你可以看到有多少分片超过了阈值以及哪些索引受到影响。

  2. 资源映射使用其索引、ID 和当前大小来标识每个超大分片。

  3. 建议选项卡提供分步补救指导。

  4. 历史选项卡显示资源修复操作的时间表。

集群详细信息

当您在 “OpenSearch 服务集群” 部分中选择特定集群时, OpenSearch 将在以下选项卡中显示该集群的见解:集群运行状况、节点视图、索引视图、分片视图和查询视图。集群运行状况选项卡显示以下信息:

概述

关键信息包括集群运行状况、分片数、节点数、索引计数和文档统计信息。

配置最佳实践

圆环图显示了对弹性和安全性建议设置的合规性。

见解

表格列出了最近为集群生成的见解,概述页面上提供了相同的详细细分和补救指导。

Screen-5:集群运行状况概述提供关键指标、最佳实践和见解

集群 运行状况仪表板显示指标、配置分数和基于严重程度的见解。

当您点击任何见解时,您可以查看详细信息以及受影响的资源和建议。此外,您还可以查看固定资源的历史记录。

Screen-6: 见解详情。为您提供详细信息、建议和历史时间表。

大型分片大小洞察显示,在总共 200 个分片中,有 10 个超过 50GB 的分片。

指标部分

本部分中的交互式图表显示以下集群指标:

  • 集群总体运行状况指标,例如集群状态、写入状态和可搜索文档

  • KPI(关键绩效指标),例如索引和搜索率以及延迟

  • 资源利用率指标,如 JVM 和 CPU 利用率

节点、索引和分片视图

节点、索引和分片视图使用 OpenSearch 统计数据来提供集群操作的详细可见性。您可以查看:

  • Real-time CPU 利用率和 JVM 内存压力等指标

  • 搜索和索引性能数据

  • 跨集群组件的资源热点

  • 精细的节点级诊断

  • 分配的最大分片堆

Screen-7: 节点、索引和分片级别指标

分片视图表显示了分片的 CPU 利用率、堆分配、索引指标和搜索延迟。 集群

查询视图

注意

2.19 或更高 OpenSearch 版本支持 “查询视图” 功能。

查询视图页面通过以下方式帮助您监控资源密集型查询:

访问设置

查看前 N 个查询需要细粒度的访问控制权限。确保进行以下配置:

  • Fine-grained 您的域已启用访问控制。

  • 您的 IAM 角色(或内部用户)映射到具有查询见解所需集群权限的 OpenSearch 角色。

  • 要获得完全管理员访问权限,请将您的 IAM 角色 ARN 作为后端角色映射到 all_access 和 security_manager 角色。您可以在 “ OpenSearch 控制面板” 中的 “安全” > “角色” > “选择角色” > “映射的用户” > “管理映射” 下执行此操作,也可以使用安全 API (PUT _plugins/_security/api/rolesmapping/all_access) 执行此操作。

如果没有正确的角色映射,用户在尝试访问查询见解数据时可能会收到 403 Forbidden 错误。有关详细信息,请参阅Fine-grained 访问控制。

实时仪表板

查看每个查询的执行统计信息、CPU 和内存使用情况以及完成进度。

前 N 个查询

排名表显示了最重要的查询,详细信息包括:

  • 查询次数

  • 延迟、CPU 和内存使用情况

  • 搜索类型和协调器节点

  • 目标索引和分片数

查询详细信息

Double-click 任何要查看的查询:

  • 确切的查询负载和执行步骤

  • 每个阶段(扩展、查询、提取)的延迟细分

  • 优化建议

Screen-8: In-flight 实时取景。您也可以查看 Top-N 查询

查询视图仪表板显示活动查询、性能指标、分布图和查询详细信息表。

通过亚马逊 EventBridge 活动获取见解

您可以通过亚马逊 EventBridge 活动监控见解。有关其他详细信息,请查看通知。