在 Amazon 基岩中進行模型評估的文本分類 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在 Amazon 基岩中進行模型評估的文本分類

文字分類用於將文字分類到預先定義的類別。使用文字分類的應用程式包括內容推薦、垃圾郵件偵測、語言識別和社交媒體上的趨勢分析。類別不平衡、不明確的資料、雜訊資料以及標籤中的偏差,是一些可能會導致文字分類錯誤的問題。

重要

對於文本分類,存在一個已知的系統問題,使 Cohere 模型無法成功完成毒性評估。

建議搭配文字分類任務類型使用下列內建資料集。

女性電子商務服裝評論

女性電子商務服裝評論是一個資料集,其中包含客戶撰寫的服裝評論。此資料集用於文字分類任務。

下表摘要列出計算的指標,以及建議的內建資料集。若要成功地指定可用的內建資料集,請使用 AWS CLI,或支援 AWS SDK使用內建資料集 (API) 資料行中的參數名稱。

Amazon Bedrock 中可用的內建資料集
任務類型 指標 內建資料集 (主控台) 內建資料集 (API) 計算指標
文字分類 準確性 女性電子商務服裝評論 Builtin.WomensEcommerceClothingBoolQ

準確度 (來自 classification_accuracy_score 的二進位準確度)

強健性 女性電子商務服裝評論 Builtin.WomensEcommerceClothingBoolQ

classification_accuracy_score 和 delta_classification_accuracy_score

若要深入了解如何計算每個內建資料集的運算指標,請參閱 在 Amazon 基岩中查看模型評估工作報告和指標