Test Workbench のテスト結果の詳細

テスト結果には、テストセットの詳細、使用されたインテント、使用されたスロットが表示されます。また、全体的な結果、会話結果、インテント、スロット結果など、テストセット全体の入力の内訳も表示されます。

テスト結果には、次のようなすべてのテスト関連情報が含まれます。

[総合結果] タブ:

テストセットの入力内訳 — このチャートには、テストセット内の会話数と単一入力発話数の内訳が表示されます。

単一入力の内訳 — エンドツーエンドの会話と音声文字起こしを含む 2 つのグラフを表示します。合格した入力と不合格だった入力の数が各チャートに示されます。注: 音声文字起こしチャートはオーディオテストセットでのみ表示されます。

会話の内訳 — エンドツーエンドの会話と音声文字起こしを含む 2 つのグラフを表示します。合格した入力と不合格だった入力の数が各チャートに示されます。注: 音声文字起こしチャートはオーディオテストセットでのみ表示されます。

[会話の結果] タブ:

会話合格率 — 会話合格率テーブルを使用して、テストセット内の各会話でどのインテントとスロットが使用されているかを確認できます。どのインテントまたはスロットが不合格だったかを確認し、各インテントとスロットの合格率を確認することで、会話のどこで失敗したかを視覚化できます。

会話インテント不合格メトリクス — このメトリクスは、テストセットの中でパフォーマンスが最も悪かったインテントの上位 5 つを示します。このパネルには、ボットの会話ログまたは文字起こしに基づいて、成功または失敗したインテントの割合または数のグラフが表示されます。インテントが成功しても、会話全体が成功したわけではありません。これらのインテントは、どのインテントが前または後に来たかにかかわらず、インテントの値にのみ適用されます。

会話スロット不合格メトリクス — このメトリクスは、テストセットの中でパフォーマンスが最も悪かったスロットの上位 5 つを示します。インテント内の各スロットの成功率を示しました。棒グラフには、インテント内の各スロットの音声文字起こしとエンドツーエンドの会話の両方が表示されます。

[インテントとスロットの結果] タブ:

インテント認識メトリクス — 正常に認識されたインテントの数を示す表が表示されます。音声文字起こしとエンドツーエンドの会話の合格率を表示します。

スロット解決メトリクス — インテントとスロットを別々に表示し、会話または単一入力で使用された各インテントの各スロットの成功率と失敗率を表示します。音声文字起こしとエンドツーエンドの会話の合格率を表示します。

[詳細結果] タブ:

詳細結果 — ユーザーとエージェントの発話、各スロットの予想される出力と想定される文字起こしを含む詳細な表を会話ログに表示します。このレポートは [ダウンロード] ボタンを選択してダウンロードできます。

次の表に、結果不合格エラーメッセージとシナリオを示します。