작업 보고서를 사용하여 데이터 전송 모니터링 - AWS DataSync
사용 사례요약 전용 작업 보고서표준 작업 보고서작업 보고서 예제제한 사항

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

작업 보고서를 사용하여 데이터 전송 모니터링

작업 보고서는 작업 실행 중에 전송, 건너뛰기, 확인 및 삭제를 시도하는 항목에 AWS DataSync 대한 자세한 정보를 제공합니다. 자세한 내용은 DataSync가 파일, 객체, 디렉터리를 전송하는 방법 단원을 참조하십시오.

작업 보고서는 JSON 형식으로 생성됩니다. 보고서에서 세부 수준을 사용자 지정할 수 있습니다.

  • 요약 전용 작업 보고서는 전송된 파일 수, DataSync가 해당 파일의 데이터 무결성을 확인할 수 있는지 여부 등 작업 실행에 필요한 세부 정보를 제공합니다.

  • 표준 작업 보고서에는 DataSync가 전송, 건너뛰기, 확인 및 삭제하려고 시도하는 각 파일, 객체 또는 폴더를 나열하는 요약 및 세부 보고서가 포함됩니다. 표준 작업 보고서를 사용하면 작업 실행의 오류 또는 성공 및 오류만 표시하도록 보고서 수준을 지정할 수도 있습니다.

사용 사례

다음은 작업 보고서가 데이터 전송을 모니터링하고 감사하는 데 도움이 될 수 있는 몇 가지 상황입니다.

  • 수백만 개의 파일을 마이그레이션할 때 DataSync에 전송 문제가 있는 파일을 빠르게 식별합니다.

  • 파일의 관리 연속성 프로세스를 확인합니다.

요약 전용 작업 보고서

작업 실행 요약만 제공하는 보고서에는 다음과 같은 세부 정보가 포함됩니다.

  • 작업 실행을 실행 AWS 계정 한

  • 소스 및 대상 위치

  • 건너뛰고, 전송하고, 확인하고, 삭제한 파일, 객체, 폴더의 전체 수

  • 전송된 총 바이트(논리적 및 물리적)

  • 작업 실행이 완료되었거나 취소되었거나 오류가 발생한 경우

  • 시작 및 종료 시간(총 전송 시간 포함)

  • 작업 설정(예: 대역폭 제한, 데이터 무결성 확인, DataSync 전송을 위한 기타 옵션)

표준 작업 보고서

표준 작업 보고서에는 작업 실행에 대한 요약과 DataSync가 전송, 건너뛰기, 확인 및 삭제하려고 시도하는 것에 대한 세부 보고서가 포함됩니다.

보고서 수준

표준 작업 보고서를 사용하면 다음 보고서 수준 중 하나를 선택할 수 있습니다.

  • 오류만

  • 성공 및 오류(기본적으로 작업 실행 중에 발생한 모든 일의 목록)

예를 들어 DataSync가 전송 중에 성공적으로 건너뛰었던 파일과 그렇지 않은 파일을 확인할 수 있습니다.g DataSync에서 건너뛰는 데 성공한 파일은 대상 위치에 이미 존재하므로 DataSync에서 의도적으로 제외하려는 파일일 수 있습니다. 그러나 인스턴스에 대한 건너뛰는 오류는 DataSync에 파일을 읽을 수 있는 올바른 권한이 없다는 것을 나타낼 수 있습니다.

전송된 보고서

DataSync가 작업 실행 중에 전송을 시도한 파일, 객체 및 디렉터리 목록입니다. 전송된 보고서에는 다음과 같은 세부 정보가 포함됩니다.

  • 전송된 데이터의 경로

  • 전송된 내용(콘텐츠, 메타데이터 또는 둘 다)

  • 데이터 유형, 컨텐츠 크기(객체 및 파일만 해당) 등을 포함하는 메타데이터

  • 항목이 전송된 시간

  • 객체 버전(대상이 버전 관리가 사용 설정된 Amazon S3 버킷인 경우)

  • 대상에서 무언가를 덮어쓴 경우

  • 항목이 성공적으로 전송되었는지 여부

참고

S3 버킷 간에 데이터를 이동할 때 소스 위치에 지정한 접두사가 보고서(또는 Amazon CloudWatch Logs)에 표시될 수 있습니다. 이는 해당 접두사가 대상 위치에 객체로 존재하지 않더라도 마찬가지입니다. (DataSync 콘솔에서 이 접두사가 건너뛰었거나 검증된 데이터로 표시되는 것을 확인할 수도 있습니다.)

건너뛴 보고서

DataSync가 소스 위치에서 찾지만 전송을 시도하지 않은 파일, 객체 및 디렉터리의 목록입니다. DataSync가 데이터를 건너뛰는 이유는 작업 및 스토리지 시스템 권한을 구성하는 방법과 같은 여러 요인에 따라 달라질 수 있습니다. 여기 몇 가지 예가 있습니다:

  • 소스 위치 및 대상 위치의 파일이 이미 있습니다. 소스의 파일은 이전 작업 실행 이후 수정되지 않았습니다. 변경된 데이터만 전송하므로 DataSync는 다음에 작업을 실행할 때 해당 파일을 전송하지 않습니다.

  • 두 위치 모두에 있는 객체는 소스에서 변경됩니다. 태스크가 대상의 데이터를 덮어쓰지 않기 때문에 태스크를 실행하면 DataSync는 대상에서 이 객체를 건너뜁니다.

  • DataSync는 아카이브 스토리지 클래스를 사용하고 복원되지 않는 소스의 객체를 건너뜁니다. DataSync가 읽기 위해서는 아카이브된 객체를 복원해야 합니다.

  • DataSync는 소스 위치의 파일, 객체 또는 디렉터리를 읽을 수 없기 때문에 이를 건너뜁니다. 이 경우 스토리지의 액세스 권한을 확인하고 DataSync가 건너뛴 내용을 읽을 수 있는지 확인합니다.

건너뛴 보고서에는 다음과 같은 세부 정보가 포함됩니다.

  • 건너뛰는 데이터의 경로

  • 항목을 건너뛰었던 시간

  • 항목을 건너뛰게 된 이유

  • 항목을 성공적으로 건너뛰었는지 여부

참고

건너뛴 보고서에 성공 및 오류가 포함되고, 변경된 데이터만 전송하도록 작업을 구성하고, 소스 데이터가 대상에 이미 있는 경우 건너뛴 보고서가 클 수 있습니다.

확인된 보고서

DataSync가 작업 실행 중에 무결성을 확인하려고 시도한 파일, 객체 및 디렉터리 목록입니다. 검증된 데이터 보고서에는 다음과 같은 세부 정보가 포함됩니다.

  • 검증된 데이터의 경로

  • 항목이 검증된 시간

  • 확인 오류 이유(있는 경우)

  • 소스 및 대상 SHA256 체크섬(파일만 해당)

  • 항목이 성공적으로 확인되었는지 여부

확인된 보고서에 대한 다음 사항에 유의하세요.

  • 전송된 데이터만 확인하도록 작업을 구성할 때 DataSync는 전송에 실패한 일부 상황이나 파일 또는 객체에서 디렉터리를 확인하지 않습니다. 어느 경우든 DataSync는 검증되지 않은 데이터를 이 보고서에 포함하지 않습니다.

  • 향상된 모드를 사용하는 경우 대용량 객체를 전송하는 경우 확인이 평소보다 오래 걸릴 수 있습니다.

삭제된 보고서

작업 실행 중에 삭제된 파일, 디렉터리 및 객체의 목록입니다. 이는 소스에 없는 대상의 데이터를 삭제하도록 작업을 구성한 경우에만 DataSync가 이 보고서를 생성합니다. 삭제된 데이터 보고서에는 다음과 같은 세부 정보가 포함됩니다.

  • 삭제된 데이터 경로

  • 항목이 성공적으로 삭제되었는지 여부

  • 항목을 삭제한 시간

작업 보고서 예제

작업 보고서의 세부 수준은 사용자에게 달려 있습니다. 다음 구성으로 전송된 데이터 보고서의 몇 가지 예제입니다.

  • 보고서 유형 - 표준

  • 보고서 수준 - 성공 및 오류

참고

보고서는 타임스탬프 형식으로 ISO-8601 표준을 사용합니다. 시간은 UTC 기준이며 나노초 단위로 측정됩니다. 이 동작은 다른 작업 보고서 지표의 측정 방식과 다릅니다. 예를 들어, TransferDuration 및 VerifyDuration과 같은 작업 실행 세부 정보는 밀리초 단위로 측정됩니다.

향상된 모드 작업 보고서는 기본 모드 작업 보고서와 다소 다른 스키마를 사용합니다. 다음 예제는 사용하는 작업 모드에 따라 보고서에서 예상되는 사항을 파악하는 데 도움이 될 수 있습니다.

성공 상태의 전송된 데이터 보고서 예

다음 보고서는 이라는 객체에 대한 성공적인 전송을 보여줍니다object1.txt.

Enhanced mode
{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "object1.txt",
        "SourceMetadata": {
            "Type": "Object",
            "ContentSize": 6,
            "LastModified": "2024-10-04T14:40:55Z",
            "SystemMetadata": {
                "ContentType": "binary/octet-stream",
                "ETag": "\"9b2d7e1f8054c3a2041905d0378e6f14\"",
                "ServerSideEncryption": "AES256"
            },
            "UserMetadata": {},
            "Tags": []
        },
        "Overwrite": "False",
        "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
        "TransferTimestamp": "2024-10-04T14:48:39.748862183Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "SUCCESS"
    }]
}
Basic mode
{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "/object1.txt",
        "SrcMetadata": {
            "Type": "Regular",
            "ContentSize": 6,
            "Mtime": "2022-01-07T16:59:26.136114671Z",
            "Atime": "2022-01-07T16:59:26.136114671Z",
            "Uid": 0,
            "Gid": 0,
            "Mode": "0644"
        },
        "Overwrite": "False",
        "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
        "TransferTimestamp": "2022-01-07T16:59:45.747270957Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "SUCCESS"
    }]
}
오류 상태의 전송된 데이터 보고서 예

다음 보고서는 DataSync가 이라는 객체를 전송할 수 없는 경우의 예를 제공합니다object1.txt.

Enhanced mode

이 보고서는 DataSync가 권한 문제로 object1.txt 인해 라는 객체에 AWS KMS 액세스할 수 없음을 보여줍니다. (이러한 오류가 발생하면 서버측 암호화를 사용하여 S3 버킷에 액세스 섹션을 참조하세요.)

{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "object1.txt",
        "SourceMetadata": {
            "Type": "Object",
            "ContentSize": 6,
            "LastModified": "2022-10-07T20:48:32Z",
            "SystemMetadata": {
                "ContentType": "binary/octet-stream",
                "ETag": "\"3a7c0b2f1d9e5c4a6f8b2e0d1c9f7a3b2\"",
                "ServerSideEncryption": "AES256"
            },
            "UserMetadata": {},
            "Tags": []
        },
        "Overwrite": "False",
        "TransferTimestamp": "2022-10-09T16:05:11.134040717Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "FAILED",
        "ErrorCode": "AccessDenied",
        "ErrorDetail": "User: arn:aws:sts::111222333444:assumed-role/AWSDataSyncS3Bucket/AwsSync-loc-0b3017fc4ba4a2d8d is not authorized to perform: kms:GenerateDataKey on resource: arn:aws:kms:us-east-1:111222333444:key/1111aaaa-22bb-33cc-44d-5555eeee6666 because no identity-based policy allows the kms:GenerateDataKey action"
    }]
}
Basic mode

이 보고서는 object1.txt라는 객체가 S3 버킷 권한 문제로 인해 전송되지 않았음을 보여줍니다. (이러한 오류가 발생하면 DataSync에 S3 버킷 액세스 권한 제공 섹션을 참조하세요.)

{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "/object1.txt",
        "SrcMetadata": {
            "Type": "Regular",
            "ContentSize": 6,
            "Mtime": "2022-01-07T16:59:26.136114671Z",
            "Atime": "2022-01-07T16:59:26.136114671Z",
            "Uid": 0,
            "Gid": 0,
            "Mode": "0644"
        },
        "Overwrite": "False",
        "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
        "TransferTimestamp": "2022-01-07T16:59:45.747270957Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "FAILED",
        "FailureReason": "S3 Get Object Failed",
        "FailureCode": 40974
    }]
}

제한 사항

  • 개별 작업 보고서는 5MB를 초과할 수 없습니다. 많은 파일을 복사하는 경우 작업 보고서가 여러 보고서로 분할될 수 있습니다.

  • 작업 보고서를 생성할 경우 데이터 전송 성능에 영향을 미칠 수 있는 상황이 있습니다. 예를 들어 네트워크 연결 지연 시간이 길고 전송 중인 파일이 작거나 메타데이터 변경 사항만 복사하는 경우 이 문제가 발생할 수 있습니다.