翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon CloudWatch Logs を用いて OpenSearch ログをモニタリングする

Amazon OpenSearch Service は、Amazon CloudWatch Logs を通じて以下の OpenSearch ログを公開します。

検索シャードスローログ、インデックス作成シャードスローログ、およびエラーログは、パフォーマンスと安定性の問題のトラブルシューティングに役立ちます。監査ログは、コンプライアンスの目的でユーザーのアクティビティを追跡します。すべてのログはデフォルトで無効になっています。有効にすると、標準の CloudWatch 料金が適用されます。

ログについては、OpenSearch は、Apache Log4j 2 とその組み込みログレベル (昇順) の TRACE、DEBUG、INFO、WARN、ERROR、および FATAL を使用します。

エラーログを有効にすると、OpenSearch Service によって、WARN、ERROR、および FATAL のログ行が CloudWatch に発行されます。OpenSearch サービスは、DEBUG レベルからのいくつかの例外も公開し、それには以下が含まれます。

以下のように、エラーログは多くの状況でトラブルシューティングに役立ちます。

ログ発行を有効にする (コンソール)

CloudWatch へのログの発行を有効にするには、OpenSearch Service コンソールを使用する方法が最も簡単です。

シャードスローログのいずれかを有効にしている場合は、「シャードスローログのしきい値設定」を参照してください。監査ログを有効にした場合は、「ステップ 2: OpenSearch Dashboards で、監査ログを有効にする」を参照してください。エラーログのみ有効にしている場合は、追加のステップを行う必要はありません。

ログ発行の有効化 (AWS CLI)

ログの発行を有効にする前に、CloudWatch ロググループが必要です。まだロググループがない場合は、次のコマンドを使用して作成できます。

aws logs create-log-group --log-group-name my-log-group

次のコマンドを入力してロググループの ARN を検索し、それを書き留めます。

aws logs describe-log-groups --log-group-name my-log-group

これで、このロググループに書き込むための許可を OpenSearch Service に付与できます。ロググループの末尾に近い位置にロググループの ARN を指定する必要があります。

aws logs put-resource-policy \
  --policy-name my-policy \
  --policy-document '{ "Version": "2012-10-17", "Statement": [{ "Sid": "", "Effect": "Allow", "Principal": { "Service": "es.amazonaws.com"}, "Action":[ "logs:PutLogEvents","logs:CreateLogStream"],"Resource": "cw_log_group_arn:*"}]}'

後でこのポリシーを確認する必要がある場合は、aws logs describe-resource-policies コマンドを使用します。ポリシーを更新するには、新しいポリシードキュメントで同じ aws logs put-resource-policy コマンドを実行します。

最後に、--log-publishing-options オプションを使用して発行を有効化できます。オプションの構文は、create-domain コマンドと update-domain-config コマンドのどちらでも同じです。

例

次の例では、指定されたドメインに対して検索およびインデックス作成のシャードスローログの発行を有効にします。

aws opensearch update-domain-config \
  --domain-name my-domain \
  --log-publishing-options "SEARCH_SLOW_LOGS={CloudWatchLogsLogGroupArn=arn:aws:logs:us-east-1:123456789012:log-group:my-log-group,Enabled=true},INDEX_SLOW_LOGS={CloudWatchLogsLogGroupArn=arn:aws:logs:us-east-1:123456789012:log-group:my-other-log-group,Enabled=true}"

CloudWatch への発行を無効にするには、Enabled=false を使用して同じコマンドを実行します。

シャードスローログのいずれかを有効にしている場合は、「シャードスローログのしきい値設定」を参照してください。監査ログを有効にした場合は、「ステップ 2: OpenSearch Dashboards で、監査ログを有効にする」を参照してください。エラーログのみ有効にしている場合は、追加のステップを行う必要はありません。

ログ発行の有効化 (AWS SDK)

ログの発行を有効にする前に、CloudWatch ロググループを作成してその ARN を取得し、そのロググループに書き込むための許可を OpenSearch Service に付与する必要があります。関連するオペレーションは Amazon CloudWatch Logs API リファレンスに記載されています。

これらのオペレーションには、AWS SDK を使用してアクセスできます。

AWS SDK (Android および iOS SDK を除く) は、CreateDomain および UpdateDomainConfig の --log-publishing-options オプションを含む、「Amazon OpenSearch Service API リファレンス」で定義されているすべてのオペレーションをサポートします。

シャードスローログのいずれかを有効にしている場合は、「シャードスローログのしきい値設定」を参照してください。エラーログのみ有効にしている場合は、追加のステップを行う必要はありません。

ログの発行を有効にする (CloudFormation)

この例では、CloudFormation を使用して opensearch-logs というロググループを作成し、適切な許可を割り当ててから、アプリケーションログ、検索スローログ、およびインデックス作成シャードスローログのためにログの発行が有効化されたドメインを作成します。

ログの公開を有効化する前に、CloudWatch ロググループを作成する必要があります。

Resources:
  OpenSearchLogGroup:
    Type: AWS::Logs::LogGroup
    Properties: 
      LogGroupName: opensearch-logs
Outputs:
  Arn:
    Value:
      'Fn::GetAtt':
        - OpenSearchLogGroup
        - Arn

テンプレートは、ロググループの ARN を出力します。この場合、ARNは arn:aws:logs:us-east-1:123456789012:log-group:opensearch-logs です。

ARN を使用して、OpenSearch Service にロググループに書き込むための許可を付与するリソースポリシーを作成します。

Resources:
 OpenSearchLogPolicy:
   Type: AWS::Logs::ResourcePolicy
   Properties:
     PolicyName: my-policy
     PolicyDocument: "{ \"Version\": \"2012-10-17\", \"Statement\": [{ \"Sid\": \"\", \"Effect\": \"Allow\", \"Principal\": { \"Service\": \"es.amazonaws.com\"}, \"Action\":[ \"logs:PutLogEvents\",\"logs:CreateLogStream\"],\"Resource\": \"arn:aws:logs:us-east-1:123456789012:log-group:opensearch-logs:*\"}]}"

最後に、以下の CloudFormation スタックが作成されます。これは、ログの発行が有効化された OpenSearch Service ドメインを生成します。アクセスポリシーは、ドメインに対してすべての HTTP リクエストを実行することを AWS アカウントのユーザーに許可します。

Resources:
  OpenSearchServiceDomain:
    Type: "AWS::OpenSearchService::Domain"
    Properties:
      DomainName: my-domain
      EngineVersion: "OpenSearch_1.0"
      ClusterConfig:
        InstanceCount: 2
        InstanceType: "r6g.xlarge.search"
        DedicatedMasterEnabled: true
        DedicatedMasterCount: 3
        DedicatedMasterType: "r6g.xlarge.search"
      EBSOptions:
        EBSEnabled: true
        VolumeSize: 10
        VolumeType: "gp2"
      AccessPolicies:
        Version: "2012-10-17"
        Statement:
            Effect: "Allow"
            Principal:
                AWS: "arn:aws:iam::123456789012:user/es-user"
            Action: "es:*"
            Resource: "arn:aws:es:us-east-1:123456789012:domain/my-domain/*"
      LogPublishingOptions:
        ES_APPLICATION_LOGS:
          CloudWatchLogsLogGroupArn: "arn:aws:logs:us-east-1:123456789012:log-group:opensearch-logs"
          Enabled: true
        SEARCH_SLOW_LOGS:
          CloudWatchLogsLogGroupArn: "arn:aws:logs:us-east-1:123456789012:log-group:opensearch-logs"
          Enabled: true
        INDEX_SLOW_LOGS:
          CloudWatchLogsLogGroupArn: "arn:aws:logs:us-east-1:123456789012:log-group:opensearch-logs"
          Enabled: true

構文の詳細については、AWS CloudFormation ユーザーガイドの「ログの発行オプション」を参照してください。

検索リクエストスのスローログのしきい値設定

検索リクエストのスローログは、バージョン 2.13 以降で実行されている OpenSearch Service ドメインで検索できます。検索リクエストのスローログのしきい値は、リクエストの合計所要時間に対して設定されます。これは、個々のシャードの所要時間に対して設定されたシャードリクエストのスローログとは異なります。

クラスター設定を使用して、検索リクエストのスローログを指定できます。これは、インデックス設定で有効にするシャードスローログとは異なります。例えば、次の設定は、OpenSearch REST API を使用して指定できます。

PUT domain-endpoint/_cluster/settings
{
  "transient": {
    "cluster.search.request.slowlog.threshold.warn": "5s",
    "cluster.search.request.slowlog.threshold.info": "2s"
  }
}

シャードスローログのしきい値設定

OpenSearch では、デフォルトでシャードスローログが無効になっています。CloudWatch へのシャードスローログの発行を有効にしたら、さらに OpenSearch インデックスごとにログしきい値を指定する必要があります。これらのしきい値は、ログに記録する内容とログレベルを正確に定義します。

例えば、次の設定は、OpenSearch REST API を使用して指定できます。

PUT domain-endpoint/index/_settings
{
  "index.search.slowlog.threshold.query.warn": "5s",
  "index.search.slowlog.threshold.query.info": "2s"
}

スローログのテスト

検索リクエストのスローログとシャードスローログの正常な発行をテストするには、極度に低い値から開始してログが CloudWatch に表示されることを確認し、その後、しきい値をより有用なレベルに高めます。

ログが表示されない場合は、以下を確認してください。

インデックスのスローログを無効にする場合は、変更したしきい値をデフォルト値の -1 に戻します。

OpenSearch Service コンソールまたは AWS CLI を使用して CloudWatch への発行を無効にしても、OpenSearch でのログ生成は停止されません。これらのログの発行が停止されるだけです。シャードスローログが不要になった場合はインデックス設定、検索リクエストのスローログが不要になった場合はドメイン設定を確認してください。

ログの表示

CloudWatchでアプリケーションとスローログを表示する方法は、その他の CloudWatch ログを表示する方法と同じです。詳細については、Amazon CloudWatch Logs ユーザーガイドの「ログデータの表示」を参照してください。

ログを表示する際の考慮事項は以下のとおりです。