View a markdown version of this page

훈련 및 테스트 데이터 세트 준비 - Amazon Textract

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

훈련 및 테스트 데이터 세트 준비

데이터 세트 훈련 및 테스트

훈련 데이터 세트는 어댑터 생성의 기반입니다. 어댑터를 훈련하려면 주석이 달린 훈련 데이터 세트를 제공해야 합니다. 이 훈련 데이터 세트는 사용자가 업로드한 문서 페이지, 쿼리 및 주석이 달린 쿼리 답변으로 구성됩니다. 모델은이 데이터 세트에서 학습하여 제공하는 문서 유형에 대한 성능을 개선합니다.

테스트 데이터 세트는 어댑터의 성능을 평가하는 데 사용됩니다. 테스트 데이터 세트는 모델이 이전에 본 적이 없는 원래 데이터 세트의 조각을 사용하여 생성됩니다. 이 프로세스는 새 데이터로 어댑터의 성능을 평가하여 정확한 측정 및 지표를 생성합니다.

모든 문서를 훈련 및 테스트 세트로 나누어야 합니다. 훈련 세트는 어댑터를 훈련하는 데 사용됩니다. 어댑터는 주석이 달린 문서에 포함된 패턴을 학습합니다. 테스트 세트는 어댑터 성능을 평가하는 데 사용됩니다. 20개 미만의 문서를 업로드하는 경우 훈련과 테스트 간에 균등하게 분할합니다. 문서를 20개 이상 업로드하는 경우 데이터의 70%를 훈련에 할당하고 30%를 테스트에 할당합니다. 에서 문서를 분할 AWS Management Console할 때 Amazon Textract가 자동으로 문서를 분할하도록 할 수 있습니다. 또는 문서를 훈련 및 테스트 세트로 수동으로 나눌 수 있습니다.

데이터 세트 구성 요소

데이터 세트에는 AWS Management Console다음 네 가지 구성 요소가 포함되어 있습니다.이 구성 요소는 직접 준비하거나를 사용하여 준비해야 합니다.

  • 이미지 - 이미지는 JPEG, PNG, 1페이지 PDF 또는 1페이지 TIFF일 수 있습니다. 여러 페이지 문서를 제출하는 경우 AWS Management Console 는 주석을 위해 각 페이지를 개별적으로 시각화합니다.

  • 주석 파일 - 주석 파일은 Amazon Textract Block 구조를 따르지만 QUERY 및 QUERY_RESULT 블록만 포함합니다.

  • 사전 레이블 지정 파일 - Amazon Textract 현재 API 응답의 블록 구조로, DetectDocumentText 또는 AnalyzeDocument 작업의 결과에서 가져옵니다. 이전에 Amazon Textract를 이미 호출하고 작업 결과를 저장한 경우 해당 결과에 대한 참조를 제공할 수 있습니다. Amazon Textract는 문서 페이지에 비동기 API에서 내보낸 여러 응답 파일이 있는 경우 여러 개의 사전 레이블 지정 파일을 허용합니다.

  • 매니페스트 파일 - 각 줄이 주석 파일, 사전 레이블 지정 파일 또는 이미지 또는 단일 페이지 PDF를 가리키는 JSONL 기반 파일입니다. 매니페스트 파일을 구조화할 때는이 매니페스트 파일 형식을 참조하세요.

매니페스트 파일에는 하나 이상의 JSON 줄이 포함되며 각 줄에는 단일 이미지에 대한 정보가 포함됩니다. 매니페스트 파일의 한 줄은 다음과 같습니다.


{
    "source-ref": "s3://textract-adapters-sample-bucket-129090f9e-d51c-4034-a732-48caa3b532e7/adapters/0000000000/assets/1003_3_1.png",
    "source-ref-version": "uPNKaY_2I8dxj9Kp2sO0zDUt4q3MAJen",
    "source-ref-metadata": {
        "origin-ref": "s3://textract-adapters-sample-bucket-129090f9e-d51c-4034-a732-48caa3b532e7/adapters/0000000000/original_assets/1003_3.tiff",
        "page-number": 1
    },
    "annotations-ref": "s3://textract-adapters-sample-bucket-129090f9e-d51c-4034-a732-48caa3b532e7/adapters/0000000000/annotations/1003_3_1.png.json",
    "annotations-ref-version": "nwj_MC40zsAae_idwsdEa0r4ZQaVthGs",
    "annotations-ref-metadata": {
        "prelabeling-refs": [{
            "prelabeling-ref": "s3://textract-adapters-sample-bucket-129090f9e-d51c-4034-a732-48caa3b532e7/adapters/0000000000/prelabels/fd958ee156b5b5de1ee6101dd05263120790836856774c871b877baa35e2f373/1"
            "prelabeling-ref-version": "uPNKaY_2I8dxj9Kp2sO0zDUt4q3MAJen"
        ]},
        "assignment": "TRAINING",
        "include": true,
    },
    "schema-version": "1.0"
}

매니페스트 파일에는 다음 정보가 포함됩니다.

  • source-ref: (필수) 이미지 또는 단일 페이지 파일의 Amazon S3 위치입니다. 형식은 "s3://BUCKET/OBJECT_PATH"입니다.

  • source-ref-version: (선택 사항) 이미지 또는 단일 페이지 파일의 Amazon S3 객체 버전입니다.

  • source-ref-metadata: (선택 사항) 단일 페이지 파일의이 이미지가 다중 페이지 문서의 일부여야 하는 경우 source-ref에 대한 메타데이터입니다. 이 정보는 여러 페이지 문서에서 어댑터를 평가하려는 경우에 유용합니다. 지정하지 않으면 각 source-ref를 독립 실행형 문서로 간주합니다.

  • origin-ref: (필수) 원본 다중 페이지 문서의 Amazon S3 위치입니다.

  • page-number: (필수) 원본 문서에 있는 source-ref의 페이지 번호입니다.

  • annotations-ref: (필수) 고객이 이미지에서 주석을 수행한 Amazon S3 위치입니다. 형식은 "s3://BUCKET/OBJECT_PATH"입니다.

  • annotations-ref-metadata: (필수) 주석 속성에 대한 메타데이터입니다. 매니페스트 행 항목의 할당 유형 및 학습에서 문서를 포함/제외할지 여부와 함께 사전 레이블 지정 참조를 보유합니다.

  • prelabeling-refs: (필수) source-ref 파일의 Amazon Textract 비동기 API 응답의 파일 목록입니다. 사전 레이블 지정 참조의 각 파일에는 최대 1,000개의 블록이 있는 블록 속성이 포함되어야 합니다.

  • prelabeling-ref(필수) Amazon Textract API를 사용하여 이미지에서 자동 주석의 Amazon S3 위치입니다.

  • prelabeling-ref-version(선택 사항) 사전 레이블 지정 파일의 Amazon S3 객체 버전입니다.

  • 할당: (필수) 이미지가 훈련 데이터 세트에 속하는 경우 "교육"을 지정합니다. 그렇지 않으면 "TESTING"을 사용합니다.

  • include: (필수) 훈련할 항목을 포함하려면 true를 지정합니다. 그렇지 않으면 false를 사용합니다.

  • schema-version: (선택 사항) 매니페스트 파일의 버전입니다. 유효한 값은 1.0입니다.

최적의 정확도 개선은 섹션을 참조하세요Amazon Textract 사용자 지정 쿼리 모범 사례.

쿼리 및 응답으로 문서에 주석 달기

문서에 주석을 달 때 사전 훈련된 쿼리 기능을 사용하여 문서에 자동 레이블을 지정한 다음 필요한 경우 레이블을 편집할 수 있습니다. 또는 각 문서 쿼리에 대한 응답에 수동으로 레이블을 지정할 수 있습니다.

문서에 수동으로 레이블을 지정할 때 Amazon Textract는 문서에서 원시 텍스트를 추출합니다. 원시 텍스트를 추출한 후 AWS Management Console 주석 인터페이스를 사용하여 문서에 대한 쿼리를 생성할 수 있습니다. 이러한 쿼리를 문서의 관련 답변에 연결하여 훈련을 위한 “실측 정보”를 설정합니다.

문서에 자동 레이블을 지정할 때 문서에 적절한 쿼리를 지정합니다. 문서에 쿼리 추가를 완료하면 Amazon Textract는 문서에서 적절한 요소를 추출하여 주석을 생성하려고 시도합니다. 그런 다음 이러한 주석의 정확성을 확인하여 잘못된 주석을 수정해야 합니다. 쿼리를 답변에 연결하면 문서에 중요한 정보가 무엇인지 모델에 알려줍니다.

쿼리를 생성할 때 문서에서 관련 데이터를 검색하기 위해 질문해야 하는 질문 유형을 고려합니다. 이 응답 구조에 대한 자세한 내용은 쿼리 응답 구조를 참조하세요. 쿼리 모범 사례에 대한 자세한 내용은 쿼리 모범 사례를 참조하세요.

문서의 대표 샘플에 대해 어댑터를 훈련해야 합니다. AWS Management Console 를 사용하여 문서에 주석을 달면 콘솔이 자동으로 이러한 파일을 준비합니다.