翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

アダプターの評価と改善

トレーニングプロセスを完了してアダプターを作成したら、アダプターがドキュメントから情報をどの程度抽出しているかを評価することが重要です。

パフォーマンスメトリクス

Amazon Textract コンソールには、アダプターのパフォーマンスの分析に役立つ 3 つのメトリクスが用意されています。

これらの測定値の値は 0～1 で、1 は完全な抽出です。

これらのメトリクスは、アダプターの抽出を、テストセットの「グラウンドトゥルース」の注釈と比較することにより、算出されます。F1、精度、再現率を分析することで、アダプターの改善が必要な箇所を特定できます。

たとえば、精度が低いということは、モデルの予測の多くが誤検出であるため、アダプターは無関係なデータを抽出しています。対照的に、リコール値が低いということは、モデルに関連するデータが欠落していることを意味します。これらのインサイトを使用して、トレーニングデータを絞り込み、アダプターを再トレーニングしてパフォーマンスを向上させることができます。

指定した新しいドキュメントとクエリでモデルをテストすることで、モデルのパフォーマンスを確認することもできます。コンソールの Try Adapter オプションを使用して、これらのドキュメントの予測を取得します。これにより、独自のテストクエリとドキュメントを使用してアダプターを評価し、アダプターの動作の実例を確認できます。

SDK または CLI を使用して GetAdapterVersion オペレーションを使用して、アダプターバージョンのメトリクスを取得することもできます。ListAdapterVersions API オペレーションを使用して、メトリクスを取得するアダプターのリストを取得します。DeleteAdapterVersion オペレーションで不要になったアダプターを削除します。

モデルの改善

アダプターのデプロイは反復的なプロセスです。これは、ターゲットの精度レベルに達するために数回再トレーニングする必要がある可能性が高いためです。アダプターを作成してトレーニングしたら、さまざまなメトリクスやクエリでアダプターのパフォーマンスをテストして評価します。

アダプターの精度が任意の領域で不足している場合は、それらのドキュメントの新しい例を追加して、それらのクエリに対するアダプターのパフォーマンスを向上させます。アダプターに、問題が発生するケースを反映したさまざまな例を追加で提供してみてください。アダプターに代表的なさまざまなドキュメントを提供することで、さまざまな実例を処理できます。

トレーニングセットに新しいドキュメントを追加したら、アダプターを再トレーニングします。次に、テストセットとクエリを再評価します。アダプターが必要なパフォーマンスレベルに達するまでこのプロセスを繰り返します。精度、再現率、F1 スコアは、連続するトレーニング反復よりも徐々に改善されるはずです。