View a markdown version of this page

CloudWatch 管道 - Amazon CloudWatch

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

CloudWatch 管道

CloudWatch 管道是全受管的資料收集器,可擷取、轉換和路由遙測資料,包括從 AWS 服務、第三方應用程式和自訂來源到 CloudWatch 的日誌和指標。內建處理器可讓您將日誌擴充、篩選和標準化為 OCSF 等格式,而無需管理基礎設施或第三方工具。對於指標,CloudWatch 管道會在擷取至 CloudWatch 期間處理並擴充內嵌 OpenTelemetry (OTel) 指標。

CloudWatch 管道與日誌管理體驗完全整合,可讓您透過資料來源和資料類型規格,一致地處理和豐富相關日誌群組之間的日誌資料。這會解鎖使用案例,例如:

  • 自動日誌分類 – 透過管道處理的日誌會自動標記資料來源資訊,讓以服務為中心的探索和跨基礎設施進行查詢

  • 擴展第三方支援 – 從不斷增長的第三方來源庫彙總和標準化日誌,以實現統一的分析和合規

對於指標,CloudWatch 管道會啟用下列使用案例:

  • 豐富 – 將團隊、成本中心或環境等業務內容新增至您無法修改來源的指標

  • 成本最佳化 – 去除高基數屬性以降低儲存成本

  • 標準化 – 重新命名指標和屬性以強制執行命名慣例

管道的輸出與 CloudWatch Logs 功能完全相容,包括 Logs Insights 查詢、Logs 異常偵測和 Live Tail。CloudWatch 管道適用於標準和不常存取日誌類別,並且與日誌轉換器回溯相容。

對於指標管道,處理過的指標可透過 Query Studio 中的 PromQL 完全查詢,並與 CloudWatch 警示和異常偵測相容。

若要開始使用 CloudWatch 管道,請造訪 CloudWatch 主控台 CloudWatch 擷取頁面中的管道。 CloudWatch

注意

請注意適用於 CloudWatch 管道的下列限制

  • 每個帳戶的日誌管道:330

    • 最多 300 個管道,用於從 CloudWatch Logs 收集資料

    • 最多 30 個管道,用於從其他來源收集資料

  • 每個帳戶的指標管道:最多 300 個

  • 每個管道最多 20 個處理器 (日誌和指標)

  • 指標管道支援的擷取路徑:僅限 OTLP

管道元件

每個管道都包含下列元件:

  • 來源 – 定義資料的來源 (Amazon S3 儲存貯體、CloudWatch Logs、CloudWatch Metrics (OTel)、第三方整合)。每個管道必須只有一個來源。指標管道會在 OTLP 擷取路徑上處理 OTel 指標。

  • 處理器 (選用) – 轉換、剖析和豐富流經管道的遙測資料。處理器會依定義順序依序套用。指標管道支援一組針對 OTel 指標屬性最佳化的不同處理器。

  • 接收器 – 定義傳送已處理資料的目的地。支援的接收器類型包括 cloudwatch_logscloudwatch_metrics。每個管道必須只有一個接收器。

  • 延伸模組 (選用) – 提供其他功能,例如用於憑證管理的 AWS Secrets Manager 整合。

在整個管道中,您的資料會受到傳輸層加密的保護,以便您的資料符合安全和合規要求。

注意

管道定義不會使用客戶提供的金鑰加密,而且絕不能包含敏感資料,例如密碼、API 金鑰或個人身分識別資訊 (PII)。

注意

新增處理器會導致日誌事件的變動,並且不會保留原始 (原始) 日誌。

定價

CloudWatch 管道包含在 CloudWatch Logs 中,無需額外費用。根據日誌類別 (已提供或自訂) 和儲存類別 (標準或不常存取) 的標準日誌擷取率仍然適用。計量會在第一次擷取至 CloudWatch 時進行。CloudWatch Logs 來源會在管道處理之前進行計量。第三方和 S3 儲存貯體來源分類為自訂日誌,並在處理後計量。如需定價詳細資訊,請參閱 CloudWatch 定價

對於指標管道,需支付標準 CloudWatch OTel 指標擷取和儲存費用。管道處理不收取額外費用。

區域可用性

CloudWatch 管道可在下列 AWS 區域使用:

  • 美國東部 (維吉尼亞北部)

  • 美國東部 (俄亥俄)

  • 美國西部 (加利佛尼亞北部)

  • 美國西部 (奧勒岡)

  • 非洲 (開普敦)

  • 亞太地區 (香港)

  • 亞太區域 (海德拉巴)

  • 亞太地區 (雅加達)

  • 亞太地區 (馬來西亞)

  • 亞太地區 (墨爾本)

  • 亞太地區 (孟買)

  • 亞太區域 (紐西蘭)

  • 亞太地區 (大阪)

  • 亞太區域 (首爾)

  • 亞太區域 (新加坡)

  • 亞太地區 (雪梨)

  • 亞太區域 (台北)

  • 亞太區域 (泰國)

  • 亞太地區 (東京)

  • 加拿大 (中部)

  • 加拿大西部 (卡加利)

  • 歐洲 (法蘭克福)

  • 歐洲 (愛爾蘭)

  • 歐洲 (倫敦)

  • 歐洲 (米蘭)

  • Europe (Paris)

  • 歐洲 (西班牙)

  • 歐洲 (斯德哥爾摩)

  • 歐洲 (蘇黎世)

  • 以色列 (特拉維夫)

  • 墨西哥 (中部)

  • 南美洲 (聖保羅)

注意

OpenSearch Ingestion 具有 API 端點的區域中,可以使用第三方資料來源集合。

如需詳細資訊,請參閱《》中的 Amazon CloudWatch 端點和配額AWS 一般參考