了解結果和日誌 - 免費 RTOS
檢視結果

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

了解結果和日誌

本節說明如何檢視和解譯 IDT 結果報告與日誌。

檢視結果

執行期間，IDT 會將錯誤寫入主控台、日誌檔和測試報告。IDT 完成資格測試套件後，即會將測試執行摘要寫入主控台，並產生兩份測試報告。您可以在 devicetester-extract-location/results/execution-id/ 中找到這些報告。這兩份報告都會從資格測試套件執行擷取結果。

這awsiotdevicetester_report.xml是您提交的資格測試報告，以AWS便在AWS合作夥伴裝置目錄中列出您的裝置。該報告包含下列元素：

  • FreeRTOS 版本的 IDT。

  • 已測試的 FreeRTOS 版本。

  • 裝置根據通過的測試所支援的 FreeRTOS 功能。

  • device.json 檔案中指定的 SKU 和裝置名稱。

  • device.json 檔案中所指定裝置的功能。

  • 測試案例結果的彙總摘要。

  • 根據裝置功能進行測試的程式庫測試案例結果明細。

FRQ_Report.xml 報告採用標準的 JUnit XML 格式。您可以將它整合到 CI/CD 平台，例如 Jenkins、Bamboo 等等。該報告包含下列元素：

  • 測試案例結果的彙總摘要。

  • 根據裝置功能進行測試的程式庫測試案例結果明細。

解譯 IDT 以取得 FreeRTOS 搜尋結果

awsiotdevicetester_report.xml 或 FRQ_Report.xml 中的報告部分會列出所執行測試的結果。

第一個 XML 標籤 <testsuites> 包含測試執行的整體摘要。例如：

<testsuites name="FRQ results" time="5633" tests="184" failures="0" errors="0" disabled="0">

<testsuites>標籤中使用的屬性

name

測試套件的名稱。

time

執行資格套件所花費的時間 (以秒為單位)。

tests

所執行的測試案例數目。

failures

已執行但未通過的測試案例數目。

errors

FreeRTOS 的 IDT 無法執行的測試案例數目。

disabled

此屬性未使用，可忽略。

如果沒有測試用例故障或錯誤，則您的設備符合運行 FreeRTOS 的技術要求，並且可以與服務互操作。AWS IoT如果您選擇在AWS合作夥伴裝置目錄中列出您的裝置，您可以使用此報告作為資格證據。

在測試案例失敗或發生錯誤的情況下，您可以透過檢閱 <testsuites> XML 標籤來識別失敗的測試案例。<testsuites> 標籤內的 <testsuite> XML 標籤會顯示測試群組的測試案例結果摘要。

<testsuite name="FreeRTOSVersion" package="" tests="1" failures="0" time="2" disabled="0" errors="0" skipped="0">

該格式與 <testsuites> 標籤相似，但具有不使用且可忽略的 skipped 屬性。在每個 <testsuite> XML 標籤內，系統為測試群組執行的每個測試案例都有 <testcase> 標籤。例如：

<testcase classname="FRQ FreeRTOSVersion" name="FreeRTOSVersion" attempts="1"></testcase>

<awsproduct>標籤中使用的屬性

name

受測產品名稱。

version

受測產品版本。

features

驗證的功能。標記為 required 的功能為提交主機板獲得資格時所需。以下程式碼片段會說明此項目在awsiotdevicetester_report.xml檔案中的顯示方法，

<feature name="core-freertos" value="not-supported" type="required"></feature>

標記為 optional 的功能不需要進行資格測試。以下程式碼片段顯示選用功能。

<feature name="ota-dataplane-mqtt" value="not-supported" type="optional"></feature>
<feature name="ota-dataplane-http" value="not-supported" type="optional"></feature>

如果所需功能沒有測試失敗或錯誤，則您的裝置符合執行 FreeRTOS 的技術需求，並且可以與服務互通。AWS IoT如果您想在AWS合作夥伴裝置目錄中列出您的裝置，可以使用此報告作為資格證據。

如果測試發生失敗或錯誤，您可以檢閱 <testsuites> XML 標籤來識別失敗的測試。<testsuites> 標籤內的 <testsuite> XML 標籤會顯示測試群組的測試結果摘要。例如：

<testsuite name="FreeRTOSVersion" package="" tests="1" failures="1" time="2" disabled="0" errors="0" skipped="0">

格式與<testsuites>標籤類似，但具有未使用且可以忽略的skipped屬性。在每個 <testsuite> XML 標籤內，測試群組每個執行的測試都有 <testcase> 標籤。例如：

<testcase classname="FreeRTOSVersion" name="FreeRTOSVersion"></testcase>

<testcase>標籤中使用的屬性

name

測試案例的名稱。

attempts

FreeRTOS 的 IDT 執行測試案例的次數。

當測試案例失敗或發生錯誤時，系統就會將 <failure> 或 <error> 標籤新增至 <testcase> 標籤，其中附有相關資訊以利故障診斷。例如：

<testcase classname="FRQ FreeRTOSVersion" name="FreeRTOSVersion"> 
    <failure type="Failure">Reason for the test case failure</failure> 
    <error>Reason for the test case execution error</error> 
</testcase>

如需詳細資訊，請參閱疑難排解。

檢視 日誌

您可以在中找到 FreeRTOS 的 IDT 從測試執行產生的記錄檔。devicetester-extract-location/results/execution-id/logs該工具會產生兩組日誌：

  • test_manager.log

    包含從 FreeRTOS 的 IDT 產生的記錄檔 (例如，與記錄相關的組態設定和報告產生)。

  • test_group_id/test_case_id/test_case_id.log

    測試案例的日誌檔案，包括來自測試中裝置的輸出。日誌檔案會根據執行的測試群組和測試案例命名。