本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

自訂分類器指標

Amazon Comprehend 提供指標，協助您估計自訂分類器的效能。Amazon Comprehend 會使用來自分類器訓練任務的測試資料來計算指標。這些指標準確代表模型在訓練期間的效能，因此它們大約是相似資料的分類的模型效能。

使用 DescribeDocumentClassifier 等 API 操作來擷取自訂分類器的指標。

指標

Amazon Comprehend 支援下列指標：

若要檢視分類器的指標，請在 主控台中開啟分類器詳細資訊頁面。

準確性

準確度表示模型準確預測的測試資料標籤百分比。若要計算準確性，請將測試文件中準確預測的標籤數量除以測試文件中的標籤總數。

例如

準確度包含準確預測的數量除以整體測試樣本的數量 = 5/7 = 0.714 或 71.4%

精確度 （巨集精確度）

精確度是對 分類器結果在測試資料中的實用性的測量。其定義為準確分類的文件數量，除以類別的分類總數。高精確度表示分類器傳回的關聯性結果明顯高於不相關的結果。

Precision 指標也稱為巨集精確度。

下列範例顯示測試集的精確度結果。

因此，模型的精確度 （巨集精確度） 指標為：

Macro Precision = (0.75 + 0.80 + 0.90 + 0.50 + 0.40)/5 = 0.67

召回 （巨集召回）

這表示模型可以預測的文字中正確類別的百分比。此指標來自平均所有可用標籤的召回分數。Recall 是衡量測試資料分類器結果完成度的指標。

高度召回表示分類器傳回大部分的相關結果。

Recall 指標也稱為巨集召回。

下列範例顯示測試集的召回結果。

因此，模型的召回 （巨集召回） 指標為：

Macro Recall = (0.70 + 0.70 + 0.98 + 0.80 + 0.10)/5 = 0.656

F1 分數 （巨集 F1 分數）

F1 分數衍生自 Precision和 Recall值。它測量分類器的整體準確性。最高分數為 1，最低分數為 0。

Amazon Comprehend 會計算巨集 F1 分數。這是標籤 F1 分數的未加權平均值。使用下列測試集做為範例：

模型的 F1 分數 （巨集 F1 分數） 計算方式如下：

Macro F1 Score = (0.724 + 0.824 + 0.94 + 0.62 + 0.16)/5 = 0.6536

錘擊損失

錯誤預測的標籤部分。與標籤總數相比，也被視為標籤不正確的部分。接近零的分數較佳。

微型精確度

原始：

與精確度指標類似，但微型精確度是根據加在一起的所有精確度分數的整體分數。

微型召回

與回收指標類似，但微型回收是根據所有加在一起的回收分數的整體分數。

Micro F1 分數

Micro F1 分數是 Micro Precision 和 Micro Recall 指標的組合。

改善自訂分類器的效能

這些指標可讓您深入了解自訂分類器在分類任務期間的運作方式。如果指標很低，分類模型可能不適用於您的使用案例。您有多種選項可改善分類器效能：