기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
AWS Device Farm에서 테스트 결과 분석
AWS Device Farm을 사용하면 표준 모드와 사용자 지정 모드의 두 가지 실행 모드 중에서 선택할 수 있습니다. 표준 모드는 생성할 수 있는 모든 테스트 보고서를 대체하여 세분화된 보고를 제공하도록 설계되었습니다. 보고서에는 각 테스트에 대해 별도로 제공되는 비디오 및 로그와 같은 테스트 아티팩트가 포함되어 있습니다. 표준 모드를 선택하면 Device Farm은 테스트 실행 시퀀스가 로컬 실행 순서와 일치한다고 보장하지 않습니다. 각 테스트에 대한 사후 처리가 포함되므로 표준 모드는 일반적으로 로컬 실행에 비해 실행하는 데 더 오래 걸립니다.
반면 사용자 지정 모드는 모든 프레임워크에 대해 로컬에서 생성하는 것과 동일한 보고서를 생성합니다. 또한 Appium TestNG, 계측 및 XCUITest와 같은 일부 프레임워크를 사용할 때 실행되는 각 작업에 대한 선택적 세부 Test Insights 보고서를 제공합니다. XCUITest 개별 테스트 아티팩트를 분리하지 않으므로이 모드는 테스트 시퀀싱 및 실행 시간에서 로컬 실행과의 패리티를 유지합니다. Test Insights 생성은 테스트가 완료된 후 비동기적으로 수행됩니다.
새 테스트 프로젝트에는 표준 모드가 권장되지 않습니다. 대신 Test Insights와 함께 사용자 지정 모드를 사용하는 것이 좋습니다.이 모드는 유연하며 표준 모드가 지원되는 프레임워크에 제공하는 보고서를 복제할 수 있기 때문입니다. Test Insights는 작업 및 실행 수준 모두에서 테스트 제품군 성능을 이해하는 데 도움이 됩니다.
Test Insights에는 다음 정보가 포함됩니다.
-
각 작업 및 각 실행에 대해 통과, 실패, 건너뛰기 및 오류가 발생한 테스트 수
-
해당하는 경우 각 테스트에 대한 타임스탬프 및 스택 추적이 포함된 세부 테스트 출력
-
각 작업의 테스트 실행 시간 중앙값과 각 실행의 작업 실행 기간 중앙값 및 평균
선택한 모드에 관계없이 Device Farm은 테스트 실행이 완료된 후 다운로드할 수 있는 아티팩트를 수집합니다. 여기에는 디바이스 및 테스트 로그, 테스트 사양 출력, 네트워크 TCP 덤프 및 스크린샷이 포함됩니다. 이 정보는 실제 디바이스에서 앱이 어떻게 작동하는지 분석하고, 문제 또는 버그를 식별하고, 문제를 진단하는 데 도움이 될 수 있습니다.
