翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Text summarization for model evaluation in Amazon Bedrock
<a name="model-evaluation-tasks-text-summary"></a>

テキスト要約は、ニュース、法的文書、学術論文、コンテンツプレビュー、コンテンツキュレーションの要約作成などのタスクに使用されます。モデルのトレーニングに使用されるテキストのあいまいさ、一貫性、バイアス、流暢さ、情報の損失、正解率、関連性、文脈の不一致は、レスポンスの質に影響を与える可能性があります。

**重要**  
テキスト要約の場合、Cohere モデルが毒性評価を正常に完了できないというシステム上の既知の問題があります。

タスク要約タスクタイプでは、以下の組み込みデータセットの使用がサポートされています。

**Gigaword**  
Gigaword データセットは、ニュース見出しで構成されています。このデータセットはテキスト要約タスクに使用されます。

次の表は、計算済みのメトリクスと推奨の組み込みデータセットをまとめたものです。AWS CLI または サポートされている AWS SDK を使用して利用可能な組み込みデータセットを正常に指定するには、*[組み込み データセット (API)]* 列のパラメータ名を使用します。


**Amazon Bedrock のテキスト要約に使用できる組み込みデータセット**  


- **テキスト要約**
  - **メトリクス:** 正解率  / **組み込みデータセット (コンソール):** [Gigaword](https://huggingface.co/datasets/gigaword?row=3) / **組み込みデータセット (API):** Builtin.Gigaword / **計算済みのメトリクス:** BERTScore
  - **メトリクス:** 有害性 / **組み込みデータセット (コンソール):** [Gigaword](https://huggingface.co/datasets/gigaword?row=3) / **組み込みデータセット (API):** Builtin.Gigaword / **計算済みのメトリクス:** 有害性 
  - **メトリクス:**  堅牢性  / **組み込みデータセット (コンソール):** [Gigaword](https://huggingface.co/datasets/gigaword?row=3) / **組み込みデータセット (API):** Builtin.Gigaword / **計算済みのメトリクス:** BERTScore および deltaBERTScore



各組み込みデータセットの計算済みのメトリクスの計算方法の詳細については、「[Review model evaluation job reports and metrics in Amazon Bedrock](model-evaluation-report.md)」を参照してください。