View a markdown version of this page

Menganalisis hasil pengujian di AWS Device Farm - Device Farm AWS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menganalisis hasil pengujian di AWS Device Farm

Dengan AWS Device Farm, Anda dapat memilih dari dua mode eksekusi: mode standar dan mode kustom. Mode standar dirancang untuk memberikan pelaporan terperinci sebagai pengganti laporan pengujian apa pun yang mungkin Anda hasilkan. Laporan berisi artefak pengujian, seperti video dan log, disajikan secara terpisah untuk setiap pengujian. Ketika Anda memilih mode standar, Device Farm tidak menjamin bahwa urutan eksekusi pengujian cocok dengan urutan eksekusi lokal Anda. Karena melibatkan pasca-pemrosesan untuk setiap pengujian, mode standar biasanya membutuhkan waktu lebih lama untuk dieksekusi dibandingkan dengan eksekusi lokal Anda.

Sebaliknya, mode kustom menghasilkan laporan yang sama yang Anda buat secara lokal untuk kerangka kerja apa pun. Ini juga menyediakan laporan Test Insights terperinci opsional untuk setiap pekerjaan dan dijalankan saat menggunakan kerangka kerja tertentu seperti Appium TestNG, Instrumentation, dan XCUITest. Karena tidak melibatkan pemisahan artefak uji individu, mode ini mempertahankan paritas dengan eksekusi lokal dalam pengurutan pengujian dan waktu eksekusi. Pembuatan Test Insights terjadi secara asinkron setelah pengujian selesai.

Mode standar tidak disarankan untuk proyek uji baru. Sebaiknya gunakan mode kustom dengan Test Insights sebagai gantinya karena fleksibel dan dapat mereplikasi laporan yang disediakan mode standar untuk kerangka kerja yang didukung. Test Insights membantu Anda memahami kinerja rangkaian pengujian baik pada tingkat pekerjaan maupun proses.

Wawasan Tes mencakup informasi berikut:

  • Jumlah pengujian yang lulus, gagal, dilewati, dan kesalahan untuk setiap pekerjaan dan untuk setiap proses

  • Output uji terperinci dengan cap waktu dan jejak tumpukan untuk setiap pengujian, jika berlaku

  • Waktu eksekusi pengujian median untuk setiap pekerjaan, dan durasi eksekusi pekerjaan median dan rata-rata untuk setiap proses

Terlepas dari mode yang Anda pilih, Device Farm mengumpulkan artefak yang dapat Anda unduh setelah uji coba selesai. Ini termasuk log perangkat dan pengujian, output spesifikasi pengujian, dump TCP jaringan, dan tangkapan layar. Informasi ini dapat membantu Anda menganalisis perilaku aplikasi Anda di perangkat nyata, mengidentifikasi masalah atau bug, dan mendiagnosis masalah.