데이터 소스 로그 스트림 문서 로그 스트림 동기화 작업에 대한 Amazon Kendra 지표 보기

아마존 로그로 아마존 켄드라 모니터링 CloudWatch

Amazon Kendra는 CloudWatch Amazon Logs를 사용하여 데이터 소스 운영에 대한 통찰력을 제공합니다. Amazon Kendra는 문서가 인덱싱되는 동안 프로세스 세부 정보를 기록합니다. 문서가 인덱싱되는 동안 발생하는 데이터 소스의 오류를 기록합니다. CloudWatch 로그를 사용하여 로그 파일을 모니터링, 저장 및 액세스할 수 있습니다.

CloudWatch 로그는 로그 그룹의 일부인 로그 스트림에 로그 이벤트를 저장합니다. Amazon Kendra는 다음과 같이 이러한 기능을 사용합니다.

로그 그룹 - Amazon Kendra는 모든 로그 스트림을 각 인덱스의 단일 로그 그룹에 저장합니다. Amazon Kendra는 인덱스가 생성될 때 로그 그룹을 생성합니다. 로그 그룹 식별자는 항상 “aws/kendra/”로 시작합니다.
로그 스트림 - Amazon Kendra는 실행하는 각 인덱스 동기화 작업에 대해 로그 그룹에 새 데이터 소스 로그 스트림을 생성합니다. 또한 스트림이 약 500개 항목에 도달하면 새 문서 로그 스트림을 생성합니다.
로그 항목 - Amazon Kendra는 문서를 인덱싱할 때 로그 스트림에 로그 항목을 생성합니다. 각 항목은 문서 처리 또는 발생한 오류에 대한 정보를 제공합니다.

CloudWatch 로그 사용에 대한 자세한 내용은 Amazon Cloud Watch Logs 사용 설명서의 Amazon Cloud Watch Logs란 무엇입니까? 를 참조하십시오.

Amazon Kendra는 두 가지 유형의 로그 스트림을 생성합니다.

데이터 소스 로그 스트림
문서 로그 스트림

데이터 소스 로그 스트림

데이터 소스 로그 스트림은 인덱스 동기화 작업에 대한 항목을 게시합니다. 각 동기화 작업은 항목을 게시하는 데 사용하는 새 로그 스트림을 만듭니다. 오류 로그 스트림 이름은 다음과 같습니다.


data source id/YYYY-MM-DD-HH/data source sync job ID

각 동기화 작업 실행에 대해 새 로그 스트림이 생성됩니다.

데이터 소스 로그 스트림에 게시되는 로그 메시지에는 세 가지 유형이 있습니다.

인덱싱을 위해 전송하지 못한 문서에 대한 로그 메시지. 다음은 S3 데이터 소스의 문서에 대한 이 메시지의 예입니다.


{
    "DocumentId": "document ID",
    "S3Path": "s3://bucket/prefix/object",
    "Message": "Failed to ingest document via BatchPutDocument.",
    "ErrorCode": "InvalidRequest",
    "ErrorMessage": "No document metadata configuration found for document attribute key  city."
}

삭제를 위해 전송하지 못한 문서에 대한 로그 메시지. 다음은 이 메시지의 예입니다.


{
    "DocumentId": "document ID",
    "Message": "Failed to delete document via BatchDeleteDocument.",
    "ErrorCode": "InvalidRequest",
    "ErrorMessage": "Document can't be deleted because it doesn't exist." 
}

Amazon S3 버킷에서 문서에 대한 잘못된 메타데이터 파일이 발견된 경우의 로그 메시지. 다음은 이 메시지의 예입니다.
```
{
    "Message": "Found invalid metadata file bucket/prefix/filename.extension.metadata.json."
}
```
데이터베이스 커넥터의 경우 Amazon Kendra는 문서를 인덱싱할 수 없는 경우에만 로그 스트림에 메시지를 기록합니다. SharePoint 다음은 Amazon Kendra가 기록하는 오류 메시지의 예입니다.
```
{ 
    "DocumentID": "document ID", 
    "IndexID": "index ID", 
    "SourceURI": "", 
    "CrawlStatus": "FAILED", 
    "ErrorCode": "403", 
    "ErrorMessage": "Access Denied", 
    "DataSourceErrorCode": "403"
}
```

문서 로그 스트림

Amazon Kendra는 문서가 인덱싱되는 동안 문서 처리에 대한 정보를 기록합니다. Amazon S3 데이터 소스에 저장된 문서에 대한 메시지 세트를 기록합니다. Microsoft SharePoint 또는 데이터베이스 데이터 원본에 저장된 문서에 대해서만 오류를 기록합니다.

BatchPutDocument작업을 사용하여 문서를 색인에 추가한 경우 로그 스트림의 이름은 다음과 같습니다.


YYYY-MM-DD-HH/UUID

데이터 소스를 사용하여 문서를 인덱스에 추가한 경우 로그 스트림의 이름은 다음과 같습니다.


dataSourceId/YYYY-MM-DD-HH/UUID

각 로그 스트림에는 최대 500개의 메시지가 포함됩니다.

문서 인덱싱에 실패하면 다음 메시지가 로그 스트림에 출력됩니다.


{
    "DocumentId": "document ID",
    "IndexName": "index name",
    "IndexId": "index ID"
    "SourceURI": "source URI"
    "IndexingStatus": "DocumentFailedToIndex",
    "ErrorCode": "400 | 500",
    "ErrorMessage": "message"
}

동기화 작업에 대한 Amazon Kendra 지표 보기

보고서 보기를 선택하여 데이터 소스 동기화 작업에 CloudWatch 대한 문서 수준 동기화 실행 기록 보고서를 볼 수 있습니다. 동기화 실행 기록 보고서에는 동기화 작업에 있는 각 문서의 진행 상황 및 상태에 대한 세부 정보가 포함됩니다. 크롤링, 동기화 및 인덱스 단계에서 문서가 성공했는지, 실패했는지 또는 건너뛰었는지 보여줍니다. 또한 실패하거나 건너뛰었던 문서와 관련된 오류 메시지도 찾을 수 있습니다. 보고서에 진행 중인 동기화 작업의 결과가 표시되지 않는 경우 로그를 아직 사용할 수 없을 수 있습니다. 동기화 프로세스 중에 이벤트가 발생하면 보고서로 데이터가 전송되므로 나중에 다시 확인하세요.

동기화 실행 기록 보고서에 액세스하려면 다음 단계를 따르세요.

에서 Amazon Kendra 콘솔을 엽니다. https://console.aws.amazon.com/kendra/
왼쪽 탐색 메뉴의 데이터 관리에서 데이터 소스를 선택한 다음 데이터 소스를 선택합니다.
데이터 원본 요약 페이지에서 아래로 스크롤하여 동기화 기록 탭을 선택합니다.
동기화 실행 기록에서 작업을 선택합니다.
작업에서 보고서 보기를 선택합니다. 보고서에 액세스할 수 있는 CloudWatch 콘솔로 리디렉션됩니다.

참고

동기화 실행 기록은 모든 Amazon Kendra 지원 커넥터에 대해 첨부 파일 ACLs 및 메타데이터를 포함하여 통합 중에 문서가 성공적으로 인덱싱되었는지 여부를 기록합니다.

Amazon S3 커넥터를 사용하는 경우:

에서 문서 수준 동기화 실행 기록 보고서를 보는 것 외에도 Amazon S3 데이터 소스의 CloudWatch 각 문서에 대한 동기화 기록 보고서를 생성하여 다음 주소로 복사할 수 있습니다. Amazon S3 버킷. 이 과정에서 데이터는 다음을 사용하여 암호화됩니다. AWS KMS 키는 본인만 볼 수 있습니다. 보고된 문서 상태는 실패, 완료 또는 성공(오류 있음) 중 하나일 수 있습니다. Amazon S3에 대한 동기화 상태 보고서를 생성하려면 먼저 다음을 수행해야 합니다.

다음을 추가하세요. Amazon Kendra 서비스 주체를 귀하의 담당자에게 Amazon S3 액세스 정책


{
    “Version”: “2012-10-17",
    “Statement”: [
        {
            “Sid”: “KendraS3Access”,
            “Effect”: “Allow”,
            “Principal”: {
                “Service”: “kendra.amazonaws.com”
            },
            “Action”: “s3:PutObject”,
            “Resource”: “arn:aws:s3:::your-manifest-bucket-name/*”
        }
    ]
}

생성하기 Amazon S3 에 대한 액세스 권한이 있는 버킷 Amazon Kendra

콘솔을 사용하는 경우 Amazon S3에 대한 동기화 기록 보고서를 생성하려면 데이터 소스 세부 정보 페이지의 동기화 기록 보고서 — 선택 사항 섹션에서 보고서 생성 옵션을 활성화하도록 선택합니다. 그런 다음 다음을 입력합니다. Amazon S3 버킷 위치를 선택하고 사용 가능한 구성 옵션 중에서 선택합니다. 보고서 생성을 활성화하면 다음번 동기화에서 보고서가 생성됩니다.

삭제하면 Amazon S3 버킷은 로그 데이터를 잃게 되며 새 동기화 보고서를 저장하려면 새 버킷을 설정해야 합니다.

참고

동기화 기록 보고서는 Amazon S3 커넥터가 데이터를 성공적으로 크롤링하고 수집했는지 여부에 대한 정보만 제공합니다.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

Amazon Kendra를 통한 모니터링 CloudWatch

보안