Amazon 基岩中模型評估的文字摘要 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon 基岩中模型評估的文字摘要

文字摘要用於建立新聞摘要、法律文件、學術論文、內容預覽和內容策展等任務。用於訓練模型的文字的雙關語、一致性、偏見和流暢性，以及資訊遺失、準確性、相關性或上下文內容不相符，都可能影響回應的品質。

重要

對於文本摘要，存在一個已知的系統問題，使 Cohere 模型無法成功完成毒性評估。

下列內建資料集支援與工作摘要工作類型搭配使用。

Gigaword

千兆字數據集由新聞文章標題組成。此資料集用於文字摘要任務。

下表摘要列出計算的指標，以及建議的內建資料集。若要成功地指定可用的內建資料集，請使用 AWS CLI，或支援 AWS SDK使用內建資料集 (API) 資料行中的參數名稱。

可用於 Amazon Bedrock中的文字摘要的內建資料集
任務類型 指標 內建資料集 (主控台) 內建資料集 (API) 計算指標
文字摘要 準確性 Gigaword Builtin.Gigaword BERTScore
毒性 Gigaword Builtin.Gigaword 毒性
強健性 Gigaword Builtin.Gigaword

BERTScore和 deltaBERTScore

若要深入了解如何計算每個內建資料集的運算指標，請參閱 在 Amazon 基岩中查看模型評估工作報告和指標