기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

성능 지표 보기

콘솔에서 그리고 DescribeModel 작업을 호출하여 성능 지표를 가져올 수 있습니다.

성능 지표 보기 (콘솔)

학습이 완료되면 콘솔에 성능 지표가 표시됩니다.

Amazon Lookout for Vision 콘솔은 테스트 중에 수행한 분류에 대한 다음과 같은 성능 지표를 보여줍니다.

모델이 분할 모델인 경우 콘솔에는 각 예외 항목 레이블에 대해 다음과 같은 성능 지표도 표시됩니다.

테스트 결과 개요 섹션에는 테스트 데이터 세트의 이미지에 대한 총 정답 및 오답 예측이 표시됩니다. 또한 테스트 데이터 세트의 개별 이미지에 대한 예측 및 실제 레이블 할당을 확인할 수 있습니다.

다음 절차에서는 프로젝트의 모델 목록 보기에서 성능 지표를 가져오는 방법을 보여 줍니다.

성능 지표 보기 (SDK)

DescribeModel 작업을 사용하여 모델에 대한 요약 성능 지표 (분류), 평가 매니페스트, 모델에 대한 평가 결과를 가져올 수 있습니다.

요약 성능 지표 가져오기

테스트 중에 모델에서 수행한 분류 예측에 대한 요약 성능 지표 (정밀도, 재현율 및F1 점수)는 DescribeModel를 호출하여 반환된 Performance 필드에 반환됩니다.

        "Performance": {
            "F1Score": 0.8,
            "Recall": 0.8,
            "Precision": 0.9
        },

분할 모델에서 반환한 예외 항목 레이블 성능 지표는 Performance 필드에 포함되지 않습니다. EvaluationResult 필드에서 가져올 수 있습니다. 자세한 내용은 평가 결과 검토 섹션을 참조하세요.

요약 성능 지표에 대한 자세한 내용은 1단계: 모델의 성능 평가을 참조하십시오. 예제 코드는 모델 보기 (SDK) 단원을 참조하세요.

평가 매니페스트 사용

평가 매니페스트는 모델을 테스트하는 데 사용된 개별 이미지에 대한 테스트 예측 지표를 제공합니다. 테스트 데이터세트의 각 이미지에 대한 JSON 라인에는 원본 테스트 (그라운드 트루스) 정보와 이미지에 대한 모델의 예측이 포함됩니다. Amazon Lookout for Vision은 평가 매니페스트를 Amazon S3 버킷에 저장합니다. DescribeModel 작업의 응답 내 EvaluationManifest 필드에서 위치를 가져올 수 있습니다.

"EvaluationManifest": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationManifest-my-sdk-project-1.json"
        }

파일 이름 형식은 EvaluationManifest-project name.json입니다. 예제 코드는 모델 보기 단원을 참조하세요.

다음 샘플 JSON 줄에서 class-name는 이미지 내용에 대한 기본 정보입니다. 이 예시에서는 이미지에 예외 항목이 포함되어 있습니다. 이 confidence 필드는 Amazon Lookout for Vision이 예측에 대해 갖고 있는 확신을 보여줍니다.

{
    "source-ref"*: "s3://customerbucket/path/to/image.jpg",
    "source-ref-metadata": {
        "creation-date": "2020-05-22T21:33:37.201882"
    },
   
    // Test dataset ground truth
    "anomaly-label": 1, 
    "anomaly-label-metadata": {
        "class-name": "anomaly",
        "type": "groundtruth/image-classification",
        "human-annotated": "yes",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "labeling-job/anomaly-detection"
    },
    // Anomaly label detected by Lookout for Vision
    "anomaly-label-detected": 1,
    "anomaly-label-detected-metadata": {
        "class-name": "anomaly",
        "confidence": 0.9,
        "type": "groundtruth/image-classification",
        "human-annotated": "no",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "training-job/anomaly-detection",
        "model-arn": "lookoutvision-some-model-arn",
        "project-name": "lookoutvision-some-project-name",
        "model-version": "lookoutvision-some-model-version"
    }
}

평가 결과 검토

평가 결과에는 전체 테스트 이미지 세트에 대한 다음과 같은 집계 성능 지표 (분류)가 있습니다.

평가 결과에는 모델 학습 및 테스트에 사용된 이미지 수도 포함됩니다.

모델이 분할 모델인 경우 평가 결과에는 테스트 데이터 세트에서 발견된 각 예외 항목 레이블에 대한 다음 지표도 포함됩니다.

Amazon Lookout for Vision은 평가 결과를 Amazon S3 버킷에 저장합니다. DescribeModel 작업에서 응답 내 EvaluationResult의 값을 확인하여 위치를 가져올 수 있습니다.

"EvaluationResult": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationResult-my-sdk-project-1.json"
        }

파일 이름 형식은 EvaluationResult-project name.json입니다. 예시는 모델 보기에서 확인하세요.

다음 스키마는 평가 결과를 보여줍니다.

    {
        "Version": 1,
        "EvaluationDetails":
        {
            "ModelArn": "string", // The Amazon Resource Name (ARN) of the model version.
            "EvaluationEndTimestamp": "string",   // The UTC date and time that evaluation finished.
            "NumberOfTrainingImages": int,        // The number of images that were successfully used for training.
            "NumberOfTestingImages": int          // The number of images that were successfully used for testing.
        },
        "AggregatedEvaluationResults":
        {
            "Metrics":
            {                       //Classification metrics.
                "ROCAUC": float,            // ROC area under the curve.
                "AveragePrecision": float,  // The average precision of the model.
                "Precision": float,         // The overall precision of the model.
                "Recall": float,            // The overall recall of the model.
                "F1Score": float,           // The overal F1 score for the model.
                
                "PixelAnomalyClassMetrics":     //Segmentation metrics.
                [
                    {
                        "Precision": float,       // The precision for the anomaly label.
                        "Recall": float,          // The recall for the anomaly label.
                        "F1Score": float,         // The F1 score for the anomaly label.
                        "AIOU" : float,           // The average Intersection Over Union for the anomaly label.
                        "ClassName": "string"   // The anomaly label.
                    }
                ]
            }
        }
    }