Test Workbench 中的測試結果詳細資訊 - Amazon Lex

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Test Workbench 中的測試結果詳細資訊

測試結果會顯示測試集詳細資訊、使用的意圖和使用的槽。它也提供整體測試集輸入明細,包括整體結果、對話結果、意圖和槽結果。

測試結果包含所有測試相關資訊,例如:

  • 測試詳細資訊中繼資料

  • 整體結果

  • 對話結果

  • 意圖和槽結果

  • 詳細結果

整體結果索引標籤:

使用 Test Workbench 測試結果中的測試集 unput 明細圖表。

測試集輸入明細 – 此圖表顯示測試集中對話數和單一輸入表達式的明細。

使用 Test Workbench 的測試結果中的單一輸入明細圖表。

單一輸入明細 – 顯示包含end-to-end對話和語音轉錄的兩個圖表。每個圖表上都會指出傳遞和失敗的輸入數目。注意:只有音訊測試集才會顯示語音轉錄圖表。

使用 Test Workbench 的測試結果中的對話明細圖表。

對話細分 – 顯示包含end-to-end對話和語音轉錄的兩個圖表。每個圖表上都會指出傳遞和失敗的輸入數目。注意:只有音訊測試集才會顯示語音轉錄圖表。

對話結果索引標籤:

使用 Test Workbench 的測試結果中的對話傳遞率圖表。

對話傳遞率 – 對話傳遞率表用於查看測試集中每個對話中所使用的意圖和位置。您可以透過檢閱哪些意圖或槽失敗,以及每個意圖和槽的傳遞百分比,來視覺化對話失敗的位置。

使用測試工作台在測試結果中的對話意圖失敗指標圖表。

對話意圖失敗指標 – 此指標顯示測試集中前 5 個表現最差的意圖。此面板顯示根據機器人的對話日誌或轉錄,意圖成功或失敗的百分比或數量圖表。成功的意圖並不表示整個對話都成功。這些指標僅適用於意圖的值,無論哪個意圖在之前或之後。

使用測試工作台在測試結果中的對話槽失敗指標圖表。

對話槽失敗指標 – 此指標顯示測試集中效能最差的前 5 個槽。指出意圖中每個槽的成功率。長條圖顯示意圖中每個槽的語音轉錄和end-to-end對話。

意圖和槽結果索引標籤:

使用測試工作台在測試結果中意圖辨識指標圖表。

意圖辨識指標 – 顯示成功辨識意圖數量的資料表。顯示語音轉錄和end-to-end對話的傳遞率。

使用 Test Workbench 的測試結果中的槽解析度指標圖表。

槽解析度指標 – 分別顯示意圖和槽,以及每個槽在對話或單一輸入中使用的每個意圖的成功和失敗率。顯示語音轉錄和end-to-end對話的傳遞率。

詳細結果索引標籤:

使用測試工作台取得測試結果的詳細結果。

詳細結果 – 在對話日誌上顯示詳細資料表,其中包含使用者和客服人員的表達用語,以及每個槽的預期輸出和預期轉錄。您可以選取下載按鈕來下載此報告。

下表列出具有案例的結果失敗錯誤訊息。

案例 錯誤訊息 動作
意圖不相符 預期的 BookFlight 意圖,但它是 BookHotel 意圖。

在對話中略過其他轉彎

槽引出不相符 要引發但其為 cabinType 的預期 departureDate 槽。 在對話中略過其他轉彎
槽值不相符 預期和實際槽值不相符。 在對話中繼續其他輪換
Back-to-back客服人員提示 預期機器人會在此輪換中傳回客服人員提示,但未收到。 在對話中略過其他轉彎
轉錄不相符 預期的轉錄不符合實際轉錄。 在對話中繼續其他輪換
未引發選用插槽 預期在下一輪引出 cabinType 槽,但在此之前實現了目前的意圖。 在對話中略過其他轉彎
無法辨識插槽 此時無法辨識預期的 departureDate 槽。 在對話中略過其他轉彎
額外的back-to-back客服人員提示 預期使用者輪換,但它是客服人員提示 在對話中略過其他轉彎