Amazon CloudWatch Logs를 사용한 Amazon Kendra 모니터링

포커스 모드

Amazon CloudWatch Logs를 사용한 Amazon Kendra 모니터링 - Amazon Kendra

데이터 소스 로그 스트림 문서 로그 스트림 동기화 작업에 대한 Amazon Kendra 지표 보기

Amazon Kendra는 Amazon CloudWatch Logs를 사용하여 데이터 소스 운영에 대한 통찰을 제공합니다. Amazon Kendra는 문서가 인덱싱되는 동안 프로세스 세부 정보를 기록합니다. 문서가 인덱싱되는 동안 발생하는 데이터 소스의 오류를 기록합니다. Amazon CloudWatch Logs를 사용하여 로그 파일을 모니터링, 저장 및 액세스합니다.

CloudWatch Logs는 로그 그룹의 일부인 로그 스트림에 로그 이벤트를 저장합니다. Amazon Kendra는 다음과 같이 이러한 기능을 사용합니다.

로그 그룹 - Amazon Kendra는 모든 로그 스트림을 각 인덱스의 단일 로그 그룹에 저장합니다. Amazon Kendra는 인덱스가 생성될 때 로그 그룹을 생성합니다. 로그 그룹 식별자는 항상 “aws/kendra/”로 시작합니다.
로그 스트림 - Amazon Kendra는 실행하는 각 인덱스 동기화 작업에 대해 로그 그룹에 새 데이터 소스 로그 스트림을 생성합니다. 또한 스트림이 약 500개 항목에 도달하면 새 문서 로그 스트림을 생성합니다.
로그 항목 - Amazon Kendra는 문서를 인덱싱할 때 로그 스트림에 로그 항목을 생성합니다. 각 항목은 문서 처리 또는 발생한 오류에 대한 정보를 제공합니다.

CloudWatch Logs에 대한 자세한 내용은 Amazon CloudWatch Logs 사용 설명서의 Amazon CloudWatch Logs란 무엇입니까?를 참조하세요.

Amazon Kendra는 두 가지 유형의 로그 스트림을 생성합니다.

데이터 소스 로그 스트림
문서 로그 스트림

데이터 소스 로그 스트림

데이터 소스 로그 스트림은 인덱스 동기화 작업에 대한 항목을 게시합니다. 각 동기화 작업은 항목을 게시하는 데 사용하는 새 로그 스트림을 만듭니다. 오류 로그 스트림 이름은 다음과 같습니다.


data source id/YYYY-MM-DD-HH/data source sync job ID

각 동기화 작업 실행에 대해 새 로그 스트림이 생성됩니다.

데이터 소스 로그 스트림에 게시되는 로그 메시지에는 세 가지 유형이 있습니다.

인덱싱을 위해 전송하지 못한 문서에 대한 로그 메시지. 다음은 S3 데이터 소스의 문서에 대한 이 메시지의 예입니다.


{
    "DocumentId": "document ID",
    "S3Path": "s3://bucket/prefix/object",
    "Message": "Failed to ingest document via BatchPutDocument.",
    "ErrorCode": "InvalidRequest",
    "ErrorMessage": "No document metadata configuration found for document attribute key  city."
}

삭제를 위해 전송하지 못한 문서에 대한 로그 메시지. 다음은 이 메시지의 예입니다.


{
    "DocumentId": "document ID",
    "Message": "Failed to delete document via BatchDeleteDocument.",
    "ErrorCode": "InvalidRequest",
    "ErrorMessage": "Document can't be deleted because it doesn't exist." 
}

Amazon S3 버킷에서 문서에 대한 잘못된 메타데이터 파일이 발견된 경우의 로그 메시지. 다음은 이 메시지의 예입니다.
```
{
    "Message": "Found invalid metadata file bucket/prefix/filename.extension.metadata.json."
}
```

SharePoint 및 데이터베이스 커넥터의 경우 Amazon Kendra는 문서를 인덱싱할 수 없는 경우에만 로그 스트림에 메시지를 기록합니다. 다음은 Amazon Kendra가 기록하는 오류 메시지의 예입니다.


{ 
    "DocumentID": "document ID", 
    "IndexID": "index ID", 
    "SourceURI": "", 
    "CrawlStatus": "FAILED", 
    "ErrorCode": "403", 
    "ErrorMessage": "Access Denied", 
    "DataSourceErrorCode": "403"
}

문서 로그 스트림

Amazon Kendra는 문서가 인덱싱되는 동안 문서 처리에 대한 정보를 기록합니다. Amazon S3 데이터 소스에 저장된 문서에 대한 메시지 세트를 기록합니다. Microsoft SharePoint 또는 데이터베이스 데이터 소스에 저장된 문서에 대해서만 오류를 기록합니다.

BatchPutDocument 작업을 사용하여 문서를 인덱스에 추가한 경우 로그 스트림의 이름은 다음과 같습니다.


YYYY-MM-DD-HH/UUID

데이터 소스를 사용하여 문서를 인덱스에 추가한 경우 로그 스트림의 이름은 다음과 같습니다.


dataSourceId/YYYY-MM-DD-HH/UUID

각 로그 스트림에는 최대 500개의 메시지가 포함됩니다.

문서 인덱싱에 실패하면 다음 메시지가 로그 스트림에 출력됩니다.


{
    "DocumentId": "document ID",
    "IndexName": "index name",
    "IndexId": "index ID"
    "SourceURI": "source URI"
    "IndexingStatus": "DocumentFailedToIndex",
    "ErrorCode": "400 | 500",
    "ErrorMessage": "message"
}

동기화 작업에 대한 Amazon Kendra 지표 보기

보고서 보기를 선택하여 데이터 소스 동기화 작업에 대한 CloudWatch에서 문서 수준 동기화 실행 기록 보고서를 볼 수 있습니다. 동기화 실행 기록 보고서에는 동기화 작업의 각 문서의 진행 상황 및 상태에 대한 세부 정보가 포함됩니다. 크롤링, 동기화 및 인덱스 단계에서 문서가 성공했는지, 실패했는지 또는 건너뛰었는지 여부를 표시합니다. 실패하거나 건너뛴 문서와 관련된 오류 메시지도 확인할 수 있습니다. 보고서에 진행 중인 동기화 작업의 결과가 나타나지 않으면 로그를 아직 사용할 수 없는 것일 수 있습니다. 나중에 동기화 프로세스 중에 이벤트가 발생할 때 데이터가 보고서로 전송되면 다시 확인하세요.

동기화 실행 기록 보고서에 액세스하려면 다음 단계를 수행합니다.

https://console.aws.amazon.com/kendra/에서 Amazon Kendra 콘솔을 엽니다.
왼쪽 탐색 메뉴의 데이터 관리에서 데이터 소스를 선택한 다음 데이터 소스를 선택합니다.
데이터 소스 요약 페이지에서 아래로 스크롤하여 동기화 기록 탭을 선택합니다.
동기화 실행 기록에서 작업을 선택합니다.
작업에서 보고서 보기를 선택합니다. 보고서에 액세스할 수 있는 CloudWatch 콘솔로 리디렉션됩니다.

참고

동기화 실행 기록은 연결된 ACLs 및 메타데이터를 포함하여 문서가 수집 중에 모든 Amazon Kendra 지원 커넥터에 대해 성공적으로 인덱싱된 경우 기록합니다.

Amazon S3 커넥터를 사용하는 경우:

CloudWatch에서 문서 수준 동기화 실행 기록 보고서를 위반하는 것 외에도 Amazon S3 데이터 소스의 각 문서에 대한 동기화 기록 보고서를 생성하고 Amazon S3 버킷에 복사할 수 있습니다. 이 프로세스 중에 데이터는 AWS KMS 키를 사용하여 암호화되며 사용자만 볼 수 있습니다. 보고된 문서 상태는 실패, 완료 또는 성공(오류 있음) 중 하나일 수 있습니다. Amazon S3에 대한 동기화 상태 보고서를 생성하려면 먼저 다음을 수행해야 합니다.

Amazon S3 액세스 정책에 다음 Amazon Kendra 서비스 보안 주체 추가


{
    “Version”: “2012-10-17",
    “Statement”: [
        {
            “Sid”: “KendraS3Access”,
            “Effect”: “Allow”,
            “Principal”: {
                “Service”: “kendra.amazonaws.com”
            },
            “Action”: “s3:PutObject”,
            “Resource”: “arn:aws:s3:::your-manifest-bucket-name/*”
        }
    ]
}

에 대한 액세스 권한이 있는 Amazon S3 버킷 생성 Amazon Kendra

콘솔을 사용하는 경우 Amazon S3에 대한 동기화 기록 보고서를 생성하려면 데이터 소스 세부 정보 페이지의 기록 보고서 동기화 - 선택적 섹션에서 보고서 생성 옵션을 활성화하도록 선택합니다. 그런 다음 Amazon S3 버킷 위치를 입력하고 사용 가능한 구성 옵션 중에서 선택합니다. 보고서 생성을 활성화하면 다음번 동기화에서 보고서가 생성됩니다.

Amazon S3 버킷을 삭제하면 로그 데이터가 손실되고 새 동기화 보고서를 저장하도록 새 버킷을 설정해야 합니다.