監控 MSK Connect - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

監控 MSK Connect

監控是維護 MSK Connect 和其他 AWS 解決方案可靠性、可用性和效能的重要部分。Amazon CloudWatch AWS 會即時監控您的 AWS 資源和您在 上執行的應用程式。您可以收集和追蹤指標、建立自訂儀板表,以及設定警示,在特定指標達到您指定的閾值時通知您或採取動作。例如,您可以讓 CloudWatch 追蹤 CPU 使用率或其他連接器指標,以便在需要時增加其容量。如需更多資訊,請參閱 Amazon CloudWatch 使用者指南

您可以使用下列 API 操作:

  • DescribeConnectorOperation:監控連接器更新操作的狀態。

  • ListConnectorOperations:追蹤先前在連接器上執行的更新。

下表顯示 MSK Connect 在 ConnectorName 維度下傳送至 CloudWatch 的指標。MSK Connect 預設會免費傳送這些指標。CloudWatch 會保留這些指標 15 個月,以便您存取歷史資訊,並更加了解您的連線器執行情況。您也可以設定留意特定閾值的警示,當滿足這些閾值時傳送通知或採取動作。如需詳細資訊,請參閱 Amazon CloudWatch 使用者指南

MSK Connect 指標
指標名稱 描述
BytesInPerSec 連接器接收的總位元組數。
BytesOutPerSec 連接器傳送的總位元組數。
CpuUtilization CPU 使用率 (依系統和使用者)。
ErroredTaskCount 錯誤的任務數。
MemoryUtilization 工作程序執行個體的總記憶體百分比,而非僅是目前使用中的 Java 虛擬機器 (JVM) 堆積記憶體。JVM 通常不會釋放記憶體使其回到作業系統。因此,JVM 堆積大小 (MemoryUtilization) 通常會從堆積大小下限開始,然後逐漸增加穩定至約上限的 80-90%。JVM 堆積使用量可能會隨連接器的實際記憶體使用量變更而增加或減少。
RebalanceCompletedTotal 此連接器完成的重新平衡總數。
RebalanceTimeAvg 連接器重新平衡所花費的平均時間 (毫秒)。
RebalanceTimeMax 連接器重新平衡所花費的最大時間 (毫秒)。
RebalanceTimeSinceLast

自此連接器完成最近重新平衡之後的時間 (毫秒)。

RunningTaskCount 連接器中執行的任務數。
SinkRecordReadRate 從 Apache Kafka 或 Amazon MSK 叢集平均每秒讀取的記錄數。
SinkRecordSendRate 平均每秒從轉換輸出並傳送至目的地的記錄數。此數字不包含已篩選的記錄。
SourceRecordPollRate 平均每秒產生或輪詢的記錄數。
SourceRecordWriteRate 平均每秒從輸出轉換並寫入 Apache Kafka 或 Amazon MSK 叢集的記錄數。
TaskStartupAttemptsTotal 連接器嘗試啟動的任務總數。您可以使用此指標來識別任務啟動嘗試中的異常情況。
TaskStartupSuccessPercentage 連接器成功啟動任務的平均百分比。您可以使用此指標來識別任務啟動嘗試中的異常情況。
WorkerCount 連接器中執行的工作程序數目。