View a markdown version of this page

在 AWS Device Farm 中分析測試結果 - AWS Device Farm

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在 AWS Device Farm 中分析測試結果

使用 AWS Device Farm,您可以選擇兩種執行模式:標準和自訂模式。標準模式旨在提供精細報告,以取代您可能產生的任何測試報告。報告包含每個測試分別呈現的測試成品,例如影片和日誌。當您選擇標準模式時,Device Farm 不保證測試執行序列符合您的本機執行順序。由於它涉及每個測試的後製處理,標準模式通常需要比本機執行更長的時間才能執行。

相反地,自訂模式會產生您在本機為任何架構建立的相同報告。它還提供每個任務的選用詳細 Test Insights 報告,並在使用 Appium TestNG、檢測和 XCUITest 等特定架構時執行。由於它不涉及分隔個別測試成品,因此此模式會在測試排序和執行時間維持與本機執行的同位。Test Insights 的產生會在測試完成後以非同步方式進行。

新測試專案不建議使用標準模式。我們建議您改為將自訂模式與 Test Insights 搭配使用,因為它具有彈性,並且可以複寫標準模式為支援的架構提供的報告。Test Insights 可協助您了解任務和執行層級的測試套件效能。

Test Insights 包含下列資訊:

  • 每個任務和每次執行的通過、失敗、略過和錯誤測試計數

  • 每個測試的詳細測試輸出,包括時間戳記和堆疊追蹤,如適用

  • 每個任務的中位數測試執行時間,以及每個執行的中位數和平均任務執行持續時間

無論您選擇何種模式,Device Farm 都會收集您可以在測試執行完成後下載的成品。其中包括裝置和測試日誌、測試規格輸出、網路 TCP 傾印和螢幕擷取畫面。此資訊可協助您分析應用程式在真實裝置上的行為、識別問題或錯誤,以及診斷問題。