Analise os IDT resultados e registros dos testes - Gratuito RTOS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Analise os IDT resultados e registros dos testes

Esta seção descreve o formato no qual IDT gera registros do console e relatórios de teste.

Formato de mensagem do console

AWS IoT Device Tester usa um formato padrão para imprimir mensagens no console quando ele inicia uma suíte de testes. O trecho a seguir mostra um exemplo de uma mensagem de console gerada por. IDT

[INFO] [2000-01-02 03:04:05]: Using suite: MyTestSuite_1.0.0 executionId=9a52f362-1227-11eb-86c9-8c8590419f30

A maioria das mensagens detalhadas do console consiste nos seguintes campos:

time

Um carimbo de data/hora ISO 8601 completo para o evento registrado.

level

O nível da mensagem para o evento registrado. Normalmente, o nível da mensagem registrada é um info, warn ou error. IDTemite uma panic mensagem fatal ou se encontrar um evento esperado que faça com que ela saia mais cedo.

msg

A mensagem registrada.

executionId

Uma sequência de caracteres de identificação exclusiva para o IDT processo atual. Esse ID é usado para diferenciar entre IDT execuções individuais.

As mensagens do console geradas a partir de uma suíte de testes fornecem informações adicionais sobre o dispositivo em teste e a suíte de testes, o grupo de testes e os casos de teste IDT executados. O trecho a seguir mostra um exemplo de uma mensagem de console gerada de um pacote de teste.

[INFO] [2000-01-02 03:04:05]: Hello world! suiteId=MyTestSuitegroupId=myTestGroup testCaseId=myTestCase deviceId=my-deviceexecutionId=9a52f362-1227-11eb-86c9-8c8590419f30

A parte específica do pacote de teste da mensagem do console contém os seguintes campos:

suiteId

O nome do pacote de teste em execução no momento.

groupId

O ID do grupo de teste em execução no momento.

testCaseId

O ID do caso de teste em execução no momento.

deviceId

Um ID do dispositivo em teste que o caso de teste atual está usando.

O resumo do teste contém informações sobre o pacote de teste, os resultados de cada grupo executado e os locais dos registros e arquivos de logs gerados. O exemplo a seguir mostra uma mensagem de resume do teste.

========== Test Summary ========== Execution Time: 5m00s Tests Completed: 4 Tests Passed: 3 Tests Failed: 1 Tests Skipped: 0 ---------------------------------- Test Groups: GroupA: PASSED GroupB: FAILED ---------------------------------- Failed Tests: Group Name: GroupB Test Name: TestB1 Reason: Something bad happened ---------------------------------- Path to AWS IoT Device Tester Report: /path/to/awsiotdevicetester_report.xml Path to Test Execution Logs: /path/to/logs Path to Aggregated JUnit Report: /path/to/MyTestSuite_Report.xml

AWS IoT Device Tester esquema de relatório

awsiotdevicetester_report.xml é um relatório assinado que contém as seguintes informações:

  • A IDT versão.

  • A versão do pacote de teste.

  • A assinatura do relatório e a chave usada para assinar o relatório.

  • O dispositivo SKU e o nome do pool de dispositivos especificados no device.json arquivo.

  • A versão do produto e os recursos do dispositivo que foram testados.

  • O resumo agregado dos resultados de teste. Estas informações são as mesmas contidas no arquivo suite-name_report.xml.

<apnreport> <awsiotdevicetesterversion>idt-version</awsiotdevicetesterversion> <testsuiteversion>test-suite-version</testsuiteversion> <signature>signature</signature> <keyname>keyname</keyname> <session> <testsession>execution-id</testsession> <starttime>start-time</starttime> <endtime>end-time</endtime> </session> <awsproduct> <name>product-name</name> <version>product-version</version> <features> <feature name="<feature-name>" value="supported | not-supported | <feature-value>" type="optional | required"/> </features> </awsproduct> <device> <sku>device-sku</sku> <name>device-name</name> <features> <feature name="<feature-name>" value="<feature-value>"/> </features> <executionMethod>ssh | uart | docker</executionMethod> </device> <devenvironment> <os name="<os-name>"/> </devenvironment> <report> <suite-name-report-contents> </report> </apnreport>

O arquivo awsiotdevicetester_report.xml contém uma tag <awsproduct> com informações sobre o produto que está sendo testado e os recursos do produto que foram validados após a execução de um pacote de testes.

recursos usados na tag <awsproduct>

name

O nome do produto testado.

version

A versão do produto testado.

features

Os recursos validados. Os recursos marcados como required são necessários para que o pacote de teste valide o dispositivo. O trecho a seguir mostra como essas informações aparecem no arquivo awsiotdevicetester_report.xml.

<feature name="ssh" value="supported" type="required"></feature>

Os recursos marcados como não optional são necessários para validação. Os seguintes trechos mostram recursos opcionais.

<feature name="hsi" value="supported" type="optional"></feature> <feature name="mqtt" value="not-supported" type="optional"></feature>

Esquema do relatório do pacote de teste

O suite-name_Result.xml relatório está em JUnitXMLformato. Você pode integrá-lo em plataformas de integração e implantação como Jenkins, Bamboo e assim por diante. O relatório contém um resumo agregado dos resultados de teste.

<testsuites name="<suite-name> results" time="<run-duration>" tests="<number-of-test>" failures="<number-of-tests>" skipped="<number-of-tests>" errors="<number-of-tests>" disabled="0"> <testsuite name="<test-group-id>" package="" tests="<number-of-tests>" failures="<number-of-tests>" skipped="<number-of-tests>" errors="<number-of-tests>" disabled="0"> <!--success--> <testcase classname="<classname>" name="<name>" time="<run-duration>"/> <!--failure--> <testcase classname="<classname>" name="<name>" time="<run-duration>"> <failure type="<failure-type>"> reason </failure> </testcase> <!--skipped--> <testcase classname="<classname>" name="<name>" time="<run-duration>"> <skipped> reason </skipped> </testcase> <!--error--> <testcase classname="<classname>" name="<name>" time="<run-duration>"> <error> reason </error> </testcase> </testsuite> </testsuites>

A seção de relatório tanto em awsiotdevicetester_report.xml como em suite-name_report.xml lista os testes que foram executados e os resultados.

A primeira XML tag <testsuites> contém o resumo da execução do teste. Por exemplo:

<testsuites name="MyTestSuite results" time="2299" tests="28" failures="0" errors="0" disabled="0">

recursos usados na tag <testsuites>

name

O nome do conjunto de testes.

time

O tempo, em segundos, necessário para executar o pacote de teste.

tests

O número de testes executados.

failures

O número de testes que foram executados, mas não foram aprovados.

errors

O número de testes que não IDT puderam ser executados.

disabled

Esse recurso não é usado e pode ser ignorado.

No caso de falhas ou erros no teste, você pode identificar o teste que falhou revisando as <testsuites> XML tags. As <testsuite> XML tags dentro da <testsuites> tag mostram o resumo dos resultados do teste para um grupo de teste. Por exemplo:

<testsuite name="combination" package="" tests="1" failures="0" time="161" disabled="0" errors="0" skipped="0">

O formato é semelhante à tag <testsuites>, mas com um recurso skipped que não é usado e pode ser ignorado. Dentro de cada <testsuite> XML tag, há <testcase> tags para cada teste executado para um grupo de teste. Por exemplo:

<testcase classname="Security Test" name="IP Change Tests" attempts="1"></testcase>

recursos usados na tag <testcase>

name

O nome do teste.

attempts

O número de vezes que o caso de teste IDT foi executado.

Quando um teste falha ou ocorre um erro, as tags <failure> ou <error> são adicionadas à tag <testcase> com informações para a solução de problemas. Por exemplo:

<testcase classname="mcu.Full_MQTT" name="MQTT_TestCase" attempts="1"> <failure type="Failure">Reason for the test failure</failure> <error>Reason for the test execution error</error> </testcase>