本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Test Workbench 中的測試結果詳細資訊
測試結果會顯示測試集詳細資訊、使用的意圖和使用的槽。它也提供整體測試集輸入明細,包括整體結果、對話結果、意圖和槽結果。
測試結果包含所有測試相關資訊,例如:
-
測試詳細資訊中繼資料
-
整體結果
-
對話結果
-
意圖和槽結果
-
詳細結果
整體結果索引標籤:

測試集輸入明細 – 此圖表顯示測試集中對話數和單一輸入表達式的明細。

單一輸入明細 – 顯示包含end-to-end對話和語音轉錄的兩個圖表。每個圖表上都會指出傳遞和失敗的輸入數目。注意:只有音訊測試集才會顯示語音轉錄圖表。

對話細分 – 顯示包含end-to-end對話和語音轉錄的兩個圖表。每個圖表上都會指出傳遞和失敗的輸入數目。注意:只有音訊測試集才會顯示語音轉錄圖表。
對話結果索引標籤:

對話傳遞率 – 對話傳遞率表用於查看測試集中每個對話中所使用的意圖和位置。您可以透過檢閱哪些意圖或槽失敗,以及每個意圖和槽的傳遞百分比,來視覺化對話失敗的位置。

對話意圖失敗指標 – 此指標顯示測試集中前 5 個表現最差的意圖。此面板顯示根據機器人的對話日誌或轉錄,意圖成功或失敗的百分比或數量圖表。成功的意圖並不表示整個對話都成功。這些指標僅適用於意圖的值,無論哪個意圖在之前或之後。

對話槽失敗指標 – 此指標顯示測試集中效能最差的前 5 個槽。指出意圖中每個槽的成功率。長條圖顯示意圖中每個槽的語音轉錄和end-to-end對話。
意圖和槽結果索引標籤:

意圖辨識指標 – 顯示成功辨識意圖數量的資料表。顯示語音轉錄和end-to-end對話的傳遞率。

槽解析度指標 – 分別顯示意圖和槽,以及每個槽在對話或單一輸入中使用的每個意圖的成功和失敗率。顯示語音轉錄和end-to-end對話的傳遞率。
詳細結果索引標籤:

詳細結果 – 在對話日誌上顯示詳細資料表,其中包含使用者和客服人員的表達用語,以及每個槽的預期輸出和預期轉錄。您可以選取下載按鈕來下載此報告。
下表列出具有案例的結果失敗錯誤訊息。
案例 | 錯誤訊息 | 動作 |
---|---|---|
意圖不相符 | 預期的 BookFlight 意圖,但它是 BookHotel 意圖。 | 在對話中略過其他轉彎 |
槽引出不相符 | 要引發但其為 cabinType 的預期 departureDate 槽。 | 在對話中略過其他轉彎 |
槽值不相符 | 預期和實際槽值不相符。 | 在對話中繼續其他輪換 |
Back-to-back客服人員提示 | 預期機器人會在此輪換中傳回客服人員提示,但未收到。 | 在對話中略過其他轉彎 |
轉錄不相符 | 預期的轉錄不符合實際轉錄。 | 在對話中繼續其他輪換 |
未引發選用插槽 | 預期在下一輪引出 cabinType 槽,但在此之前實現了目前的意圖。 | 在對話中略過其他轉彎 |
無法辨識插槽 | 此時無法辨識預期的 departureDate 槽。 | 在對話中略過其他轉彎 |
額外的back-to-back客服人員提示 | 預期使用者輪換,但它是客服人員提示 | 在對話中略過其他轉彎 |