パイプラインのログのモニタリング

Amazon OpenSearch Ingestion パイプラインのログ記録を有効にすることで、パイプラインのオペレーション中や取り込みアクティビティ中に発生した、エラーや警告メッセージを公開できます。OpenSearch Ingestion は、すべてのログを Amazon CloudWatch Logs にパブリッシュします。CloudWatch Logs は、ログファイル内の情報をモニタリングし、特定のしきい値が満たされたときに通知します。高い耐久性を備えたストレージにログデータをアーカイブすることも可能です。詳細については、「Amazon CloudWatch Logs ユーザーガイド」を参照してください。

OpenSearch Ingestion のログに、リクエスト処理の失敗、送信元からシンクへの認証エラー、その他、トラブルシューティングに役立つ警告が表示されることがあります。OpenSearch Ingestion は、ログでは、INFO、WARN、ERROR、FATAL のログレベルを使用します。ログのパブリッシュは、すべてのパイプラインで有効にすることが推奨されています。

必要なアクセス許可

OpenSearch Ingestion を有効にしてログを CloudWatch Logs へ送信するには、特定の IAM アクセス権限を持つユーザーとしてサインインする必要があります。

ログ配信リソースを作成し更新するには、次の CloudWatch Logs のアクセス権限が必要です。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Resource": "*",
            "Action": [
                "logs:CreateLogDelivery",
                "logs:PutResourcePolicy",
                "logs:UpdateLogDelivery",
                "logs:DeleteLogDelivery",
                "logs:DescribeResourcePolicies",
                "logs:GetLogDelivery",
                "logs:ListLogDeliveries"
            ]
        }
    ]
}

ログパブリッシュの有効化

ログのパブリッシュは、既存のパイプラインで有効にするか、パイプラインの作成中に有効にすることができます。パイプラインの作成中にログのパブリッシュを有効にする手順については、「パイプラインの作成」を参照してください。

aws osis update-pipeline \
  --pipeline-name my-pipeline \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="/aws/vendedlogs/OpenSearchIngestion/pipeline-name"}

aws osis update-pipeline \
  --pipeline-name my-pipeline \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="/aws/vendedlogs/OpenSearchIngestion/pipeline-name"}