View a markdown version of this page

Amazon CloudWatch 解決方案:Amazon MSK 洞察 - Amazon CloudWatch

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon CloudWatch 解決方案:Amazon MSK 洞察

此解決方案可協助您在 CloudWatch 中監控 Amazon MSK 叢集,而無需執行或擴展您自己的集合基礎設施。當您在 Amazon MSK 叢集上啟用 Open Monitoring 時,叢集會透過 JMX Exporter 和 Node Exporter 公開Prometheus指標,Amazon CloudWatch 受管 Prometheus 收集器會抓取這些指標並將其交付給 CloudWatch。如需所有 CloudWatch 可觀測性解決方案的一般資訊,請參閱CloudWatch 可觀測性解決方案。如需完整的收集器設定演練,包括建立湊集器和範例湊集組態,請參閱 整合 Amazon MSK

要求

此解決方案適用於下列情況:

  • 使用標準或快速代理程式的佈建模式 Amazon MSK 叢集。受管收集器不支援 Amazon MSK Serverless 叢集。

  • 在叢集上啟用開啟監控,這會公開 JMX Exporter (連接埠 11001) 和 Node Exporter (連接埠 11002)。

  • 啟用 DNS 的 Amazon VPC,以及收集器不同可用區域中至少兩個子網路。

  • 允許收集器連接代理程式連接埠 11001 和 11002 的安全群組。

啟用受管收集器

若要使用受管收集器收集 Amazon MSK 指標,請在叢集上啟用開放監控,然後建立 VPC 連線收集器來抓取代理程式端點,並將指標交付至 CloudWatch 資料集。收集器會連線至您的 VPC,並使用 DNS 型服務探索來抓取所有代理程式,因此您的監控會保有代理程式替換和叢集擴展的彈性。如需逐步說明,請參閱 整合 Amazon MSK

注意

參數--open-monitoring只會公開連接埠 11001 和 11002 上的Prometheus端點。等增強型監控層PER_TOPIC_PER_PARTITION與 Open Monitoring 分開,可能會產生額外費用,因此只有在您需要該層級的 Amazon MSK 指標時,才能設定它們。

Amazon MSK 詳細監控層級

與收集器抓取的Prometheus指標不同,Amazon MSK 會在多個監控層級將其自己的指標發佈至 CloudWatch。每個層級都以先前的層級為基礎,並提供更精細的操作可見性。您可以在建立或更新叢集時選擇監控層級。下列清單摘要說明關卡。如需各層級指標的完整清單,請參閱《Amazon MSK 開發人員指南》中的使用 CloudWatch 監控的 Amazon MSK 指標。

  • 基本監控 (DEFAULT) — 預設層級,無需額外費用。包括叢集層級和代理程式層級指標,例如代理程式數量、分割區數量、傳入和傳出位元組和訊息、CPU 使用率和網路 I/O。

  • 增強型代理程式層級監控 (PER_BROKER) — 包括基本監控以及更精細的每個代理程式指標,需額外付費。

  • 增強型主題層級監控 (PER_TOPIC_PER_BROKER) — 包含增強型代理程式層級監控以及每個主題的指標,可更精細地檢視跨代理程式的主題效能,但需額外付費。

  • 增強的分割區層級監控 (PER_TOPIC_PER_PARTITION) — 最詳細的層級。包括增強型主題層級監控,以及每個分割區的精細指標,例如偏移延遲,需額外付費。

注意

Amazon MSK 會將詳細的監控指標發佈至傳統 CloudWatch 指標,您可以使用 GetMetricData API 查詢這些指標。若要讓詳細的監控指標與 Open Monitoring Prometheus指標一起可用,您需要啟用 OpenTelemetry 擴充功能。如需詳細資訊,請參閱 OpenTelemetry 指標擴充

檢視自動儀表板

收集器開始將 Amazon MSK 指標交付至 CloudWatch 之後,CloudWatch 主控台會提供名為 MSK OTel 的自動儀表板。若要開啟它,請參閱 MSK OTel,或登入 AWS 管理主控台、開啟 CloudWatch 主控台、在導覽窗格中選擇儀表板、選擇自動儀表板,然後選擇 MSK OTel。您可以開始監控叢集,而無需自行建置任何小工具或儀表板。如果自動儀表板符合您的需求,您可以正常使用它。若要建立量身打造的監控體驗,您可以將其任何小工具新增至自訂儀表板。如需自訂儀表板的詳細資訊,請參閱使用 CloudWatch 儀表板

成本

我們會按小時向Prometheus收集器收費,並套用 CloudWatch OpenTelemetry 指標擷取定價。較高的 Amazon MSK 監控層級也會產生額外的每月成本。如需 CloudWatch 定價的詳細資訊,請參閱 Amazon CloudWatch 定價