檢視效能指標 - Amazon Lookout for Vision
檢視效能指標 (主控台)檢視效能指標

支援終止通知：在 2025 年 10 月 31 日， AWS 將停止對 Amazon Lookout for Vision 的支援。2025 年 10 月 31 日之後，您將無法再存取 Lookout for Vision 主控台或 Lookout for Vision 資源。如需詳細資訊，請造訪此部落格文章。

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

檢視效能指標

您可以從控制台和調用DescribeModel操作來獲取性能指標。

檢視效能指標 (主控台)

訓練完成後，主控台會顯示效能指標。

Amazon 觀測視覺主控台會針對測試期間進行的分類顯示下列效能指標：

如果模型是區段模型，則主控台也會針對每個異常標籤顯示下列效能指標：

測試結果概觀部分會顯示測試資料集中影像的正確和不正確預測總數。您也可以查看測試資料集中個別映像的預測和實際標籤指派。

下列程序說明如何從專案的模型清單檢視中，取得效能指標。

檢視效能指標 (主控台)

  1. 打開亞馬遜 Lookout for Vision 控制台 https://console.aws.amazon.com/lookoutvision/.

  2. 選擇 Get started (開始使用)。

  3. 在左側導覽窗格中，選擇 Project。

  4. 在專案檢視中，選擇專案，內含您要檢視的模型版本。

  5. 在左側導覽窗格中，選擇專案名稱下的 Mo dels。

  6. 在模型清單檢視中，選擇您要檢視的模型版本。

  7. 在模型詳細資訊頁面上，檢視「效能測量結果」頁籤上的效能測量結果。

  8. 注意下列事項：

    1. 「模型效能指標」區段包含模型為測試影像所建立之分類預測的整體模型度量 (精確度、召回、F1 分數)。

    2. 如果模型是影像分割模型，則「每個標籤效能」區段會包含發現異常標籤的測試影像數量。您也會看到每個異常標籤的量度 (F1 分數、平均 IoU)。

    3. [測試結果概觀] 區段提供瞭望視覺用來評估模型的每個測試影像的結果。其包括以下內容：

      • 所有測試影像的正確（真正）和不正確（假陰性）分類預測（正常或異常）的總數。

      • 每個測試圖像的分類預測。如果您在影像下看到「校正」，則預測的分類會符合影像的實際分類。否則，模型沒有正確分類圖像。

      • 使用影像分割模型時，您會看到模型指派給影像的異常標籤，以及影像上符合異常標籤顏色的遮色片。

檢視效能指標

您可以使用此DescribeModel作業取得模型的摘要效能指標 (分類)、評估資訊清單，以及模型的評估結果。

取得摘要效能測量結果

模型在測試期間所做的分類預測摘要效能指標 (精確度取回、和F1 比分) 會在呼叫傳回的Performance欄位中傳回DescribeModel。

        "Performance": {
            "F1Score": 0.8,
            "Recall": 0.8,
            "Precision": 0.9
        },

Performance欄位不包含區段模型傳回的異常標籤效能指標。你可以從EvaluationResult現場得到他們。如需詳細資訊，請參閱複查評估結果。

如需摘要效能測量結果的資訊，請參閱步驟 1：評估模型的效能 如需範例程式碼，請參閱檢視模型 （SDK）。

使用評估資訊清單

評估資訊清單為用於測試模型的個別映像提供測試預測指標。對於測試數據集中的每個圖像，JSON 行包含原始測試（地面真相）信息和模型對圖像的預測。Amazon Lookout for Vision 將評估資訊清單存放在 Amazon S3 儲存貯體中。您可以從DescribeModel操作響應中的EvaluationManifest字段中獲取位置。

"EvaluationManifest": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationManifest-my-sdk-project-1.json"
        }

檔案名稱格式為EvaluationManifest-project name.json。如需範例程式碼，請參閱檢視模型。

在下面的示例 JSON 行中，class-name是圖像內容的基本真相。在此範例中，影像包含異常。該confidence字段顯示了亞馬遜 Lookout for Vision 在預測中的信心。


{
    "source-ref"*: "s3://customerbucket/path/to/image.jpg",
    "source-ref-metadata": {
        "creation-date": "2020-05-22T21:33:37.201882"
    },
   
    // Test dataset ground truth
    "anomaly-label": 1, 
    "anomaly-label-metadata": {
        "class-name": "anomaly",
        "type": "groundtruth/image-classification",
        "human-annotated": "yes",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "labeling-job/anomaly-detection"
    },
    // Anomaly label detected by Lookout for Vision
    "anomaly-label-detected": 1,
    "anomaly-label-detected-metadata": {
        "class-name": "anomaly",
        "confidence": 0.9,
        "type": "groundtruth/image-classification",
        "human-annotated": "no",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "training-job/anomaly-detection",
        "model-arn": "lookoutvision-some-model-arn",
        "project-name": "lookoutvision-some-project-name",
        "model-version": "lookoutvision-some-model-version"
    }
}

複查評估結果

評估結果具有整組測試影像的下列彙總效能指標 (分類)：

評估結果還包括用於訓練和測試模型的影像數量。

如果模型是區段模型，評估結果也會針對測試資料集中找到的每個異常標籤包含下列指標：

Amazon Lookout for Vision 將評估結果存放在 Amazon S3 儲存貯體中。您可以透過檢查來自作業的回應EvaluationResult中的值來DescribeModel取得位置。

"EvaluationResult": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationResult-my-sdk-project-1.json"
        }

檔案名稱格式為EvaluationResult-project name.json。如需範例，請參閱 檢視模型。

下列結構描述顯示評估結果。

    {
        "Version": 1,
        "EvaluationDetails":
        {
            "ModelArn": "string", // The Amazon Resource Name (ARN) of the model version.
            "EvaluationEndTimestamp": "string",   // The UTC date and time that evaluation finished.
            "NumberOfTrainingImages": int,        // The number of images that were successfully used for training.
            "NumberOfTestingImages": int          // The number of images that were successfully used for testing.
        },
        "AggregatedEvaluationResults":
        {
            "Metrics":
            {                       //Classification metrics.
                "ROCAUC": float,            // ROC area under the curve.
                "AveragePrecision": float,  // The average precision of the model.
                "Precision": float,         // The overall precision of the model.
                "Recall": float,            // The overall recall of the model.
                "F1Score": float,           // The overal F1 score for the model.
                
                "PixelAnomalyClassMetrics":     //Segmentation metrics.
                [
                    {
                        "Precision": float,       // The precision for the anomaly label.
                        "Recall": float,          // The recall for the anomaly label.
                        "F1Score": float,         // The F1 score for the anomaly label.
                        "AIOU" : float,           // The average Intersection Over Union for the anomaly label.
                        "ClassName": "string"   // The anomaly label.
                    }
                ]
            }
        }
    }