本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
在 Amazon 基岩中進行模型評估的文本分類
文字分類用於將文字分類到預先定義的類別。使用文字分類的應用程式包括內容推薦、垃圾郵件偵測、語言識別和社交媒體上的趨勢分析。類別不平衡、不明確的資料、雜訊資料以及標籤中的偏差,是一些可能會導致文字分類錯誤的問題。
重要
對於文本分類,存在一個已知的系統問題,使 Cohere 模型無法成功完成毒性評估。
建議搭配文字分類任務類型使用下列內建資料集。
- 女性電子商務服裝評論
-
女性電子商務服裝評論是一個資料集,其中包含客戶撰寫的服裝評論。此資料集用於文字分類任務。
下表摘要列出計算的指標,以及建議的內建資料集。若要成功地指定可用的內建資料集,請使用 AWS CLI,或支援 AWS SDK使用內建資料集 (API) 資料行中的參數名稱。
任務類型 | 指標 | 內建資料集 (主控台) | 內建資料集 (API) | 計算指標 |
---|---|---|---|---|
文字分類 | 準確性 | 女性電子商務服裝評論 |
Builtin.WomensEcommerceClothingBoolQ |
準確度 (來自 classification_accuracy_score 的二進位準確度) |
強健性 | 女性電子商務服裝評論 |
Builtin.WomensEcommerceClothingBoolQ |
classification_accuracy_score 和 delta_classification_accuracy_score |
若要深入了解如何計算每個內建資料集的運算指標,請參閱 在 Amazon 基岩中查看模型評估工作報告和指標