As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Analise os IDT resultados e registros dos testes
Esta seção descreve o formato no qual IDT gera registros do console e relatórios de teste.
Formato de mensagem do console
AWS IoT Device Tester usa um formato padrão para imprimir mensagens no console quando ele inicia uma suíte de testes. O trecho a seguir mostra um exemplo de uma mensagem de console gerada por. IDT
[INFO] [2000-01-02 03:04:05]: Using suite: MyTestSuite_1.0.0 executionId=9a52f362-1227-11eb-86c9-8c8590419f30
A maioria das mensagens detalhadas do console consiste nos seguintes campos:
time
-
Um carimbo de data/hora ISO 8601 completo para o evento registrado.
level
-
O nível da mensagem para o evento registrado. Normalmente, o nível da mensagem registrada é um
info
,warn
ouerror
. IDTemite umapanic
mensagemfatal
ou se encontrar um evento esperado que faça com que ela saia mais cedo. msg
-
A mensagem registrada.
executionId
-
Uma sequência de caracteres de identificação exclusiva para o IDT processo atual. Esse ID é usado para diferenciar entre IDT execuções individuais.
As mensagens do console geradas a partir de uma suíte de testes fornecem informações adicionais sobre o dispositivo em teste e a suíte de testes, o grupo de testes e os casos de teste IDT executados. O trecho a seguir mostra um exemplo de uma mensagem de console gerada de um pacote de teste.
[INFO] [2000-01-02 03:04:05]: Hello world! suiteId=MyTestSuitegroupId=myTestGroup testCaseId=myTestCase deviceId=my-deviceexecutionId=9a52f362-1227-11eb-86c9-8c8590419f30
A parte específica do pacote de teste da mensagem do console contém os seguintes campos:
suiteId
-
O nome do pacote de teste em execução no momento.
groupId
-
O ID do grupo de teste em execução no momento.
testCaseId
-
O ID do caso de teste em execução no momento.
deviceId
-
Um ID do dispositivo em teste que o caso de teste atual está usando.
O resumo do teste contém informações sobre o pacote de teste, os resultados de cada grupo executado e os locais dos registros e arquivos de logs gerados. O exemplo a seguir mostra uma mensagem de resume do teste.
========== Test Summary ========== Execution Time: 5m00s Tests Completed: 4 Tests Passed: 3 Tests Failed: 1 Tests Skipped: 0 ---------------------------------- Test Groups: GroupA: PASSED GroupB: FAILED ---------------------------------- Failed Tests: Group Name: GroupB Test Name: TestB1 Reason: Something bad happened ---------------------------------- Path to AWS IoT Device Tester Report: /path/to/awsiotdevicetester_report.xml Path to Test Execution Logs: /path/to/logs Path to Aggregated JUnit Report: /path/to/MyTestSuite_Report.xml
AWS IoT Device Tester esquema de relatório
awsiotdevicetester_report.xml
é um relatório assinado que contém as seguintes informações:
-
A IDT versão.
-
A versão do pacote de teste.
-
A assinatura do relatório e a chave usada para assinar o relatório.
-
O dispositivo SKU e o nome do pool de dispositivos especificados no
device.json
arquivo. -
A versão do produto e os recursos do dispositivo que foram testados.
-
O resumo agregado dos resultados de teste. Estas informações são as mesmas contidas no arquivo
.suite-name
_report.xml
<apnreport> <awsiotdevicetesterversion>
idt-version
</awsiotdevicetesterversion> <testsuiteversion>test-suite-version
</testsuiteversion> <signature>signature
</signature> <keyname>keyname
</keyname> <session> <testsession>execution-id
</testsession> <starttime>start-time
</starttime> <endtime>end-time
</endtime> </session> <awsproduct> <name>product-name
</name> <version>product-version
</version> <features> <feature name="<feature-name>
" value="supported | not-supported | <feature-value>
" type="optional | required
"/> </features> </awsproduct> <device> <sku>device-sku
</sku> <name>device-name
</name> <features> <feature name="<feature-name>
" value="<feature-value>
"/> </features> <executionMethod>ssh | uart | docker
</executionMethod> </device> <devenvironment> <os name="<os-name>
"/> </devenvironment> <report><suite-name-report-contents>
</report> </apnreport>
O arquivo awsiotdevicetester_report.xml
contém uma tag <awsproduct>
com informações sobre o produto que está sendo testado e os recursos do produto que foram validados após a execução de um pacote de testes.
recursos usados na tag <awsproduct>
name
-
O nome do produto testado.
version
-
A versão do produto testado.
features
-
Os recursos validados. Os recursos marcados como
required
são necessários para que o pacote de teste valide o dispositivo. O trecho a seguir mostra como essas informações aparecem no arquivoawsiotdevicetester_report.xml
.<feature name="ssh" value="supported" type="required"></feature>
Os recursos marcados como não
optional
são necessários para validação. Os seguintes trechos mostram recursos opcionais.<feature name="hsi" value="supported" type="optional"></feature> <feature name="mqtt" value="not-supported" type="optional"></feature>
Esquema do relatório do pacote de teste
O
relatório está em JUnitXMLformatosuite-name
_Result.xml
<testsuites name="
<suite-name>
results" time="<run-duration>
" tests="<number-of-test>
" failures="<number-of-tests>
" skipped="<number-of-tests>
" errors="<number-of-tests>
" disabled="0"> <testsuite name="<test-group-id>
" package="" tests="<number-of-tests>
" failures="<number-of-tests>
" skipped="<number-of-tests>
" errors="<number-of-tests>
" disabled="0"> <!--success--> <testcase classname="<classname>
" name="<name>
" time="<run-duration>
"/> <!--failure--> <testcase classname="<classname>
" name="<name>
" time="<run-duration>
"> <failure type="<failure-type>
">reason
</failure> </testcase> <!--skipped--> <testcase classname="<classname>
" name="<name>
" time="<run-duration>
"> <skipped>reason
</skipped> </testcase> <!--error--> <testcase classname="<classname>
" name="<name>
" time="<run-duration>
"> <error>reason
</error> </testcase> </testsuite> </testsuites>
A seção de relatório tanto em awsiotdevicetester_report.xml
como em
lista os testes que foram executados e os resultados.suite-name
_report.xml
A primeira XML tag <testsuites>
contém o resumo da execução do teste. Por exemplo:
<testsuites name="MyTestSuite results" time="2299" tests="28" failures="0" errors="0" disabled="0">
recursos usados na tag <testsuites>
name
-
O nome do conjunto de testes.
time
-
O tempo, em segundos, necessário para executar o pacote de teste.
tests
-
O número de testes executados.
failures
-
O número de testes que foram executados, mas não foram aprovados.
errors
-
O número de testes que não IDT puderam ser executados.
disabled
-
Esse recurso não é usado e pode ser ignorado.
No caso de falhas ou erros no teste, você pode identificar o teste que falhou revisando as <testsuites>
XML tags. As <testsuite>
XML tags dentro da <testsuites>
tag mostram o resumo dos resultados do teste para um grupo de teste. Por exemplo:
<testsuite name="combination" package="" tests="1" failures="0" time="161" disabled="0" errors="0" skipped="0">
O formato é semelhante à tag <testsuites>
, mas com um recurso skipped
que não é usado e pode ser ignorado. Dentro de cada <testsuite>
XML tag, há <testcase>
tags para cada teste executado para um grupo de teste. Por exemplo:
<testcase classname="Security Test" name="IP Change Tests" attempts="1"></testcase>
recursos usados na tag <testcase>
name
-
O nome do teste.
attempts
-
O número de vezes que o caso de teste IDT foi executado.
Quando um teste falha ou ocorre um erro, as tags <failure>
ou <error>
são adicionadas à tag <testcase>
com informações para a solução de problemas. Por exemplo:
<testcase classname="mcu.Full_MQTT" name="MQTT_TestCase" attempts="1"> <failure type="Failure">Reason for the test failure</failure> <error>Reason for the test execution error</error> </testcase>