View a markdown version of this page

CloudWatch パイプライン - Amazon CloudWatch
パイプラインコンポーネント料金リージョンの可用性

CloudWatch パイプライン

CloudWatch パイプラインは、AWS サービス、サードパーティーアプリケーション、カスタムソースからテレメトリデータ (ログとメトリクスを含む) を取り込んで変換し、CloudWatch にルーティングするフルマネージドデータコレクターです。組み込みプロセッサを使用すると、インフラストラクチャやサードパーティーツールを管理することなく、OCSF などの形式を通じたログの強化、フィルタリング、標準化が可能です。メトリクスの場合、CloudWatch パイプラインは CloudWatch への取り込み中に OpenTelemetry (OTel) メトリクスをインラインで処理して強化します。

CloudWatch パイプラインはログ管理エクスペリエンスと完全に統合されているため、データソースおよびデータ型仕様を介して、関連するロググループ間でログデータを一貫して処理し強化できます。これにより、次のようなユースケースが実現可能になります。

  • 自動ログ分類 – パイプラインを介して処理されたログには自動的にデータソース情報がタグ付けされるため、インフラストラクチャ全体でサービス中心の検出とクエリが可能になります。

  • サードパーティーサポートの拡大 – 増え続けるサードパーティーソースのライブラリからのログを集約・正規化して、統合分析とコンプライアンスを実現します。

メトリクスの場合、CloudWatch パイプラインにより次のユースケースが有効になります。

  • エンリッチメント – 変更できないソースのメトリクスに、チーム、コストセンター、環境などのビジネスコンテキストを追加します。

  • コスト最適化 – 高カーディナリティ属性を取り除いてストレージコストを削減します。

  • 標準化 – メトリクス名と属性名を変更して命名規則を適用します。

パイプラインからの出力は、Logs Insights クエリ、Logs 異常検出、Live Tail などの CloudWatch Logs 機能と完全に互換性があります。CloudWatch パイプラインは、標準アクセスログクラスと低頻度アクセスログクラスの両方で動作し、ログトランスフォーマーと下位互換性があります。

メトリクスパイプラインの場合、処理されたメトリクスは、Query Studio の PromQL を介して完全にクエリすることができ、CloudWatch アラームおよび異常検出との互換性があります。

CloudWatch パイプラインの使用を開始するには、CloudWatch コンソールの CloudWatch 取り込みページ内のパイプラインにアクセスします。

注記

CloudWatch パイプラインに適用される以下の制限に注意してください。

  • アカウントあたりのログパイプライン: 330

    • CloudWatch Logs からデータを収集するためのパイプラインは最大 300

    • 他のソースからデータを収集するためのパイプラインは最大 30

  • アカウントあたりのメトリクスパイプライン: 最大 300

  • パイプラインあたりのプロセッサは最大 20 (ログとメトリクス)

  • メトリクスパイプラインでサポートされている取り込みパス: OTLP のみ

パイプラインコンポーネント

各パイプラインは以下で構成されます。

  • ソース – データのソース (Amazon S3 バケット、CloudWatch Logs、CloudWatch Metrics (OTel)、サードパーティー統合) を定義します。各パイプラインのソースはそれぞれ 1 つのみとします。メトリクスパイプラインは、OTLP 取り込みパスで OTel メトリクスを処理します。

  • プロセッサ (オプション) – パイプラインを通過するテレメトリデータの変換、解析、強化を行います。プロセッサは定義した順に適用されます。メトリクスパイプラインは、OTel メトリクス属性のために最適化された個別のプロセッサセットをサポートします。

  • シンク - 処理されたデータの送信先を定義します。サポートされるシンクタイプには、cloudwatch_logs、cloudwatch_metrics などがあります。各パイプラインには、シンクが 1 つだけ存在する必要があります。

  • 拡張機能 (オプション) – 認証情報管理用の AWS Secrets Manager 統合などの追加機能を提供します。

パイプライン全体を通じて、データは、セキュリティとコンプライアンスの要件を満たせるように、トランスポートレイヤー暗号化で保護された状態で維持されます。

注記

パイプライン定義は、顧客提供のキーでは暗号化されないので、パスワード、API キー、個人を特定できる情報 (PII) などの機密データを含めないでください。

注記

プロセッサを追加すると、ログイベントは変換され、元の (生の) ログは保持されなくなります。

料金

CloudWatch Pipelines は CloudWatch Logs に含まれています。追加料金はかかりません。ログクラス (ベンダー提供またはカスタム) とストレージクラス (標準または低頻度アクセス) に基づく標準ログ取り込みレートは引き続き適用されます。計測は、CloudWatch への初回取り込み時に行われます。CloudWatch Logs ソースは、パイプライン処理の前に計測されます。サードパーティーソースと S3 バケットソースはカスタムログとして分類され、処理後に計測されます。料金表については、「CloudWatch 料金表」を参照してください。

メトリクスパイプラインの場合、標準の CloudWatch OTel メトリクスの取り込み料金とストレージ料金が適用されます。パイプライン処理には追加料金はかかりません。

リージョンの可用性

CloudWatch パイプラインは、次の AWS リージョンで利用できます。

  • 米国東部 (バージニア北部)

  • 米国東部(オハイオ)

  • 米国西部 (北カリフォルニア)

  • 米国西部 (オレゴン)

  • アフリカ (ケープタウン)

  • アジアパシフィック (香港)

  • アジアパシフィック (ハイデラバード)

  • アジアパシフィック (ジャカルタ)

  • アジアパシフィック (マレーシア)

  • アジアパシフィック (メルボルン)

  • アジアパシフィック (ムンバイ)

  • アジアパシフィック (ニュージーランド)

  • アジアパシフィック (大阪)

  • アジアパシフィック (ソウル)

  • アジアパシフィック (シンガポール)

  • アジアパシフィック (シドニー)

  • アジアパシフィック (台北)

  • アジアパシフィック (タイ)

  • アジアパシフィック (東京)

  • カナダ (中部)

  • カナダ西部 (カルガリー)

  • 欧州 (フランクフルト)

  • 欧州 (アイルランド)

  • 欧州 (ロンドン)

  • 欧州 (ミラノ)

  • 欧州 (パリ)

  • 欧州 (スペイン)

  • 欧州 (ストックホルム)

  • 欧州 (チューリッヒ)

  • イスラエル (テルアビブ)

  • メキシコ (中部)

  • 南米 (サンパウロ)

注記

サードパーティーのデータソースコレクションは、OpenSearch Ingestion に API エンドポイントがあるリージョンで利用できます。

詳細については、「AWS 全般のリファレンス」の「Amazon CloudWatch エンドポイントとクォータ」を参照してください。