Verstehen von Ergebnissen und Protokollen - Kostenlos RTOS
Anzeigen der Ergebnisse

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verstehen von Ergebnissen und Protokollen

In diesem Abschnitt wird beschrieben, wie Sie IDT-Ergebnisberichte und -Protokolle anzeigen und interpretieren können.

Anzeigen der Ergebnisse

Während der Ausführung schreibt IDT Fehler in die Konsole, Protokolldateien und Testberichte. Nachdem IDT die Qualifikations-Testsuite abgeschlossen hat, schreibt es eine Zusammenfassung der Testläufe in die Konsole und erstellt zwei Testberichte. Diese Berichte befinden sich in devicetester-extract-location/results/execution-id/. Beide Berichte erfassen die Ergebnisse von der Ausführung der Qualifikations-Testsuite.

Dies awsiotdevicetester_report.xml ist der Qualifizierungstestbericht, den Sie einreichenAWS, um Ihr Gerät im AWS Partnergerätekatalog aufzulisten. Die Bericht enthält die folgenden Elemente:

  • Die IDT-Version für FreeRTOS.

  • Die getestete FreeRTOS-Version.

  • Die Funktionen von FreeRTOS, die vom Gerät unterstützt werden, basieren auf den bestandenen Tests.

  • SKU und Gerätename, die in der device.json-Datei angegeben wurden.

  • Die Funktionen des Geräts, das in der device.json-Datei angegeben wurde.

  • Die aggregierte Zusammenfassung der Ergebnisse der Testfälle.

  • Eine Aufschlüsselung der Testfallergebnisse nach Bibliotheken, die basierend auf den Geräteeigenschaften getestet wurden.

FRQ_Report.xml ist ein Bericht im Standard JUnit XML-Format. Sie können ihn in CI/CD-Plattformen wie Jenkins, Bamboo usw. integrieren. Die Bericht enthält die folgenden Elemente:

  • Eine aggregierte Zusammenfassung der Ergebnisse der Testfälle.

  • Eine Aufschlüsselung der Testfallergebnisse nach Bibliotheken, die basierend auf den Geräteeigenschaften getestet wurden.

Interpretation von IDT für FreeRTOS-Ergebnisse

Der Berichtsabschnitt in awsiotdevicetester_report.xml oder FRQ_Report.xml listet die Ergebnisse der durchgeführten Tests auf.

Im ersten XML-Tag <testsuites> ist die Gesamtzusammenfassung der Testausführung enthalten. Beispiel:

<testsuites name="FRQ results" time="5633" tests="184" failures="0" errors="0" disabled="0">

Im <testsuites> Tag verwendete Attribute

name

Name der Testsuite

time

Zeit (in Sekunden), die zur Ausführung der Qualifikations-Suite erforderlich war

tests

Anzahl der ausgeführten Testfälle

failures

Anzahl der ausgeführten Testfälle, die den Test nicht bestanden haben

errors

Die Anzahl der Testfälle, die IDT for FreeRTOS nicht ausführen konnte.

disabled

Dieses Attribut wird nicht verwendet und kann ignoriert werden.

Wenn es keine Testfallausfälle oder Fehler gibt, erfüllt Ihr Gerät die technischen Voraussetzungen für die Ausführung von FreeRTOS und kann mit Diensten zusammenarbeiten. AWS IoT Wenn Sie Ihr Gerät im AWS Partnergerätekatalog auflisten möchten, können Sie diesen Bericht als Qualifikationsnachweis verwenden.

Falls bei Testfällen Fehler auftreten, können Sie den fehlgeschlagenen Testfall identifizieren, indem Sie die XML-Tags von <testsuites> überprüfen. Die XML-Tags von <testsuite> im <testsuites>-Tag zeigen die Ergebniszusammenfassung des Testfalls für eine Testgruppe.

<testsuite name="FreeRTOSVersion" package="" tests="1" failures="0" time="2" disabled="0" errors="0" skipped="0">

Das Format ähnelt dem <testsuites>-Tag, weist aber ein zusätzliches Attribut mit dem Namen skipped auf, das nicht verwendet wird und ignoriert werden kann. Innerhalb der einzelnen XML-Tags von <testsuite> befinden sich <testcase>-Tags für alle Testfälle, die für eine Testgruppe ausgeführt wurden. Beispiel:

<testcase classname="FRQ FreeRTOSVersion" name="FreeRTOSVersion" attempts="1"></testcase>

Im <awsproduct> Tag verwendete Attribute

name

Der Name des getesteten Produkts.

version

Die Version des getesteten Produkts.

features

Die validierten Funktionen Als required gekennzeichnete Funktionen sind für die Einreichung Ihres Boards für die Qualifizierung erforderlich. Der folgende Codeausschnitt zeigt, wie dies in der awsiotdevicetester_report.xml Datei erscheint.

<feature name="core-freertos" value="not-supported" type="required"></feature>

Als optional gekennzeichnete Funktionen sind für die Qualifizierung nicht erforderlich. Die folgenden Codeausschnitte zeigen optionale Funktionen.

<feature name="ota-dataplane-mqtt" value="not-supported" type="optional"></feature>
<feature name="ota-dataplane-http" value="not-supported" type="optional"></feature>

Wenn es keine Testfehler oder Fehler für die erforderlichen Funktionen gibt, erfüllt Ihr Gerät die technischen Voraussetzungen für die Ausführung von FreeRTOS und kann mit Diensten zusammenarbeiten. AWS IoT Wenn Sie Ihr Gerät im AWSPartnergerätekatalog auflisten möchten, können Sie diesen Bericht als Qualifikationsnachweis verwenden.

Falls bei Tests Fehler auftreten, können Sie den fehlgeschlagenen Test identifizieren, indem Sie die XML-Tags von <testsuites> überprüfen. Die XML-Tags von <testsuite> im <testsuites>-Tag zeigen die Ergebniszusammenfassung eines Tests für eine Testgruppe. Beispiel:

<testsuite name="FreeRTOSVersion" package="" tests="1" failures="1" time="2" disabled="0" errors="0" skipped="0">

Das Format ähnelt dem <testsuites> Tag, hat jedoch ein skipped Attribut, das nicht verwendet wird und ignoriert werden kann. Innerhalb der einzelnen <testsuite>-XML-Tags befinden sich <testcase>-Tags für alle ausgeführten Tests einer Testgruppe. Beispiel:

<testcase classname="FreeRTOSVersion" name="FreeRTOSVersion"></testcase>

Im <testcase> Tag verwendete Attribute

name

Name des Testfalls

attempts

Die Häufigkeit, mit der IDT for FreeRTOS den Testfall ausgeführt hat.

Wenn ein Testfall fehlschlägt oder ein Fehler auftritt, werden <failure>- oder <error>-Tags hinzugefügt, um das <testcase>-Tag mit Informationen für die Fehlerbehebung zu versehen. Beispiel:

<testcase classname="FRQ FreeRTOSVersion" name="FreeRTOSVersion"> 
    <failure type="Failure">Reason for the test case failure</failure> 
    <error>Reason for the test case execution error</error> 
</testcase>

Weitere Informationen finden Sie unter Fehlerbehebung.

Anzeigen von -Protokollen

Logs, die IDT for FreeRTOS aus der Testausführung generiert, finden Sie in. devicetester-extract-location/results/execution-id/logs Es werden zwei Protokollgruppen generiert:

  • test_manager.log

    Enthält von IDT für FreeRTOS generierte Protokolle (z. B. protokollbezogene Konfiguration und Berichtsgenerierung).

  • test_group_id/test_case_id/test_case_id.log

    Die Protokolldatei für einen Testfall, einschließlich der Ausgabe des zu testenden Geräts. Die Protokolldatei wird nach der Testgruppe und dem ausgeführten Testfall benannt.