本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 評估和比較 Amazon SageMaker JumpStart 文字分類模型
<a name="jumpstart-text-classification-evaluation"></a>

SageMaker AI JumpStart 提供多種文字分類模型，將文字分類為預先定義的類別。這些模型會處理情緒分析、主題分類和內容審核等任務。選擇正確的生產模型，需要使用金鑰指標進行仔細評估，包括準確性、F1-score 和馬修斯相關係數 (MCC)。

在本指南中，您可以：
+ 從 JumpStart 目錄部署多個文字分類模型 (DistilBERT 和 BERT)。
+ 跨平衡、偏斜和具有挑戰性資料集執行全面評估。
+ 解譯進階指標，包括馬修斯相關係數 (MCC) 和曲線下面積接收器操作特性分數。
+ 使用系統化比較架構做出資料驅動的模型選擇決策。
+ 使用自動擴展和 CloudWatch 監控來設定生產部署。

下載完整的評估架構：[JumpStart 模型評估套件](samples/sagemaker-text-classification-evaluation-2.zip)。**套件包含具有範例輸出的預先執行結果**，因此您可以在自行部署模型之前預覽評估程序和指標。

## 先決條件
<a name="w2aac37c15c11"></a>

開始前，請確定您有下列項目：
+ [AWS 具有 SageMaker AI 許可的帳戶](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-set-up.html)。
+ [SageMaker AI Amazon SageMaker Studio 存取](https://docs.aws.amazon.com/sagemaker/latest/dg/onboard-quick-start.html)。
+ 基本 Python 知識。
+ 了解文字分類概念。

時間和成本：總計 45 分鐘。成本會根據執行個體類型和使用持續時間而有所不同 - 如需目前費率，請參閱 [SageMaker AI 定價](https://aws.amazon.com/sagemaker/pricing/)。

本教學課程包含逐步清除指示，協助您移除所有資源並避免持續收費。

**Topics**
+ [先決條件](#w2aac37c15c11)
+ [設定您的評估環境](jumpstart-text-classification-setup.md)
+ [選取並部署文字分類模型](jumpstart-text-classification-deploy.md)
+ [評估和比較模型效能](jumpstart-text-classification-evaluate.md)
+ [解讀您的結果](jumpstart-text-classification-interpret.md)
+ [大規模部署您的模型](jumpstart-text-classification-scale.md)