データソースログストリームドキュメントログストリーム同期ジョブの Amazon Kendra メトリクスを表示する

Amazon Logs による Amazon Kendra CloudWatch のモニタリング

Amazon Kendra は Amazon CloudWatch Logs を使用して、データソースのオペレーションに関するインサイトを提供します。Amazon Kendra のログは、インデックスが作成されたドキュメントの詳細をログに記録します。ドキュメントのインデックス作成中に発生したデータソースからのエラーをログに記録します。 CloudWatch Logs を使用して、ログファイルをモニタリング、保存、アクセスします。

CloudWatch ログは、ロググループの一部であるログストリームにログイベントを保存します。Amazon Kendra はこれらの機能を次のように使用します。

ロググループ - Amazon Kendra は、すべてのログストリームをインデックスごとに 1 つのロググループに保存します。Amazon Kendra は、インデックスの作成時にロググループを作成します。ロググループ識別子は常に「aws/kendra/」で始まります。
ログストリーム - Amazon Kendra は、実行するインデックス同期ジョブごとに、ロググループに新しいデータソースログストリームを作成します。また、ストリームが約 500 エントリに達すると、新しいドキュメントログストリームが作成されます。
ログエントリ - Amazon Kendra は、ドキュメントのインデックス作成時にログストリームにログエントリを作成します。各エントリは、ドキュメントの処理または発生したエラーに関する情報を提供します。

CloudWatch ログの使用の詳細については、「Amazon Cloud Watch Logs ユーザーガイド」の「Amazon Cloud Watch Logs とは」を参照してください。

Amazon Kendra は 2 つのタイプのログストリームを作成します。

データソースログストリーム
ドキュメントログストリーム

データソースログストリーム

データソースログストリームは、インデックス同期ジョブに関するエントリを公開します。各同期ジョブは、エントリの公開に使用する新しいログストリームを作成します。ログストリーム名は次のとおりです。


data source id/YYYY-MM-DD-HH/data source sync job ID

同期ジョブの実行ごとに、新しいログストリームが作成されます。

データソースログストリームに発行されるログメッセージには 3 つのタイプがあります。

インデックス作成の送信に失敗したドキュメントのログメッセージ。S3 データソース内のドキュメントに対するこのメッセージの例を以下に示します。


{
    "DocumentId": "document ID",
    "S3Path": "s3://bucket/prefix/object",
    "Message": "Failed to ingest document via BatchPutDocument.",
    "ErrorCode": "InvalidRequest",
    "ErrorMessage": "No document metadata configuration found for document attribute key  city."
}

削除の送信に失敗したドキュメントのログメッセージ。以下は、このメッセージの例です。


{
    "DocumentId": "document ID",
    "Message": "Failed to delete document via BatchDeleteDocument.",
    "ErrorCode": "InvalidRequest",
    "ErrorMessage": "Document can't be deleted because it doesn't exist." 
}

Amazon S3 バケット内のドキュメントの無効なメタデータファイルが見つかった場合のログメッセージ。以下は、このメッセージの例です。
```
{
    "Message": "Found invalid metadata file bucket/prefix/filename.extension.metadata.json."
}
```
SharePoint およびデータベースコネクタの場合、Amazon Kendra はドキュメントのインデックスを作成できない場合にのみログストリームにメッセージを書き込みます。Amazon Kendra がログに記録するエラーメッセージの例を以下に示します。
```
{ 
    "DocumentID": "document ID", 
    "IndexID": "index ID", 
    "SourceURI": "", 
    "CrawlStatus": "FAILED", 
    "ErrorCode": "403", 
    "ErrorMessage": "Access Denied", 
    "DataSourceErrorCode": "403"
}
```

ドキュメントログストリーム

Amazon Kendra は、インデックス作成中にドキュメントの処理に関する情報をログに記録します。Amazon S3 データソースに保存されたドキュメントの一連のメッセージをログに記録します。Microsoft SharePoint またはデータベースデータソースに保存されているドキュメントのエラーのみをログに記録します。

BatchPutDocument オペレーションを使用してドキュメントがインデックスに追加された場合、ログストリームの名前は次のようになります。


YYYY-MM-DD-HH/UUID

ドキュメントがデータソースを使用してインデックスに追加された場合では、ログストリームは次のように名前が付けられます。


dataSourceId/YYYY-MM-DD-HH/UUID

各ログストリームには最大 500 個のメッセージが含まれます。

ドキュメントのインデックス作成に失敗すると、次のメッセージがログストリームに出力されます。


{
    "DocumentId": "document ID",
    "IndexName": "index name",
    "IndexId": "index ID"
    "SourceURI": "source URI"
    "IndexingStatus": "DocumentFailedToIndex",
    "ErrorCode": "400 | 500",
    "ErrorMessage": "message"
}

同期ジョブの Amazon Kendra メトリクスを表示する

レポートの表示を選択すると、データソース同期ジョブ CloudWatch のドキュメントレベルの同期実行履歴レポートを で表示できます。同期実行履歴レポートには、同期ジョブ内の各ドキュメントの進行状況とステータスに関する詳細が含まれます。クロール、同期、インデックスの各段階でドキュメントが成功、失敗、スキップされたかどうかを示します。また、失敗したドキュメントやスキップされたドキュメントに関連するエラーメッセージも表示されます。進行中の同期ジョブの結果がレポートに表示されない場合、ログはまだ利用できない可能性があります。同期プロセス中にイベントが発生したときにデータがレポートに出力されるので、後で確認してください。

同期実行履歴レポートにアクセスするには、次の手順を実行します。

で Amazon Kendra コンソールを開きますhttps://console.aws.amazon.com/kendra/。
左側のナビゲーションメニューから、「データ管理」で「データソース」を選択し、「データソース」を選択します。
データソースの概要ページから下にスクロールし、同期履歴タブを選択します。
同期実行履歴 から、アクション を選択します。
アクション から、レポートの表示 を選択します。 CloudWatch コンソールにリダイレクトされ、レポートにアクセスできます。

注記

同期実行履歴は、アタッチされた ACLsとメタデータを含む、すべての Amazon Kendra がサポートするコネクタの取り込み中にドキュメントのインデックスが正常に作成されたかどうかを記録します。

Amazon S3 コネクタを使用している場合：

でドキュメントレベルの同期実行履歴レポートを作成することに加えて CloudWatch、Amazon S3 データソース内の各ドキュメントの同期履歴レポートを生成し、にコピーできます。 Amazon S3 バケット。このプロセス中、データはを使用して暗号化されます。 AWS KMS キーとは、ユーザーのみが表示できます。報告されたドキュメントのステータスは、[失敗]、[完了]、または [成功 (エラーあり)] のいずれかになります。Amazon S3 の同期ステータスレポートを生成する前に、以下を実行する必要があります。

以下を追加する Amazon Kendra へのサービスプリンシパル Amazon S3 アクセスポリシー


{
    “Version”: “2012-10-17",
    “Statement”: [
        {
            “Sid”: “KendraS3Access”,
            “Effect”: “Allow”,
            “Principal”: {
                “Service”: “kendra.amazonaws.com”
            },
            “Action”: “s3:PutObject”,
            “Resource”: “arn:aws:s3:::your-manifest-bucket-name/*”
        }
    ]
}

を作成する Amazon S3 へのアクセス許可を持つバケット Amazon Kendra

コンソールを使用して Amazon S3 の同期履歴レポートを生成する場合は、同期履歴レポートからレポートを生成するオプション – データソースの詳細ページのオプションセクションをアクティブ化することを選択します。次に、 Amazon S3 バケットの場所を選択し、使用可能な設定オプションから選択します。レポート生成を有効にすると、次回の同期からレポートが生成されます。

を削除した場合 Amazon S3 バケットでは、ログデータが失われ、新しい同期レポートを保存する新しいバケットを設定する必要があります。

注記

同期履歴レポートは、Amazon S3 コネクタがデータを正常にクロールして取り込んだかどうかに関する情報のみを提供します。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

による Amazon Kendra のモニタリング CloudWatch

セキュリティ