在模擬中評估 AWS DeepRacer 模型

在 AWS DeepRacer 主控台評估訓練過的模型

1. 開啟 AWS 主 DeepRacer 控台，網址為 https://console.aws.amazon.com/deepracer。

2. 從主導覽窗格中，選擇 Models (模型)，然後從 Models (模型) 清單選擇您剛培訓的模型，以開啟模型的詳細資訊頁面。

3. 選取「評估」頁標。

4. 在評估詳細資訊中，選擇開始評估。

   

   您可以在您的培訓任務狀態變更為 Completed (已完成)，或是若培訓任務尚未完成，但模型的狀態已變更為 Ready (準備就緒) 時開始進行評估。

   當培訓任務完成時，模型即準備就緒。如果培訓尚未完成，如果其已培訓至失敗點，模型也可能會處於 Ready (準備就緒) 狀態。

5. 在「評估模型」頁面的「競賽類型」下，輸入評估名稱，然後選擇您選擇訓練模型的賽車類型。

   針對評估，您可以選擇與培訓中所使用的競賽類型不同的競賽類型。例如，您可以為 head-to-bot 比賽訓練模型，然後對其進行時間試驗進行評估。一般而言，如果培訓競賽類型與評估競賽類型不同，模型必須要能夠理想地一般化。首次駕駛時，建議您針對評估和培訓使用相同的競賽類型。

6. 在「評估模型」頁面的「評估準則」下，選擇您要執行的試驗數，然後選擇要評估模型的軌跡。

   

   一般而言，您會想要選擇和您在訓練模型中所用賽道相同或類似的賽道。您可以選擇任何一條賽道來評估模型，但是與訓練所用賽道最類似的賽道預期可取得最佳效能。

   如要查看您的模型是否能理想地一般化，請選擇與培訓中所使用的評估賽道不同的評估賽道。

7. 在 Evaluate model (評估模型) 頁面上，於 Virtual Race Submission (虛擬競賽提交) 下方，針對您的第一個模型，關閉 Submit model after evaluation (評估後提交模型) 選項。稍後，如果您想參加賽車活動，請保持開啟此選項。

   

8. 在 Evaluate model (評估模型) 頁面上，選擇 Start evaluation (開始評估) 來開始建立和初始化評估任務。

   此初始化程序約需 3 分鐘才能完成。

9. 隨著評估的進行，每次試驗後，評估結果（包括試用時間和跟踪完成率）都會顯示在評估詳細信息下。在 Simulation video stream (模擬影片串流) 視窗中，您可以觀看代理程式在指定賽道上執行的狀況。

   您可以在評估任務完成前停止評估任務。若要停止評估工作，請選擇評估卡右上角的 [停止評估]，然後確認停止評估。

10. 評估任務完成後，請在 Evaluation results (評估結果) 下方檢查所有競賽的績效指標。隨附的模擬影片串流無法繼續使用。

    您可以在評估選取器中找到模型評估的歷史記錄。若要檢視特定評估的詳細資訊，請從評估選取器清單中選取評估，然後從評估選取器卡的右上角選擇「載入評估」。

    

    對於這項特定的評估工作，受過訓練的模型會以顯著的非正常時間懲罰完成試驗。作為第一次運行，這並不罕見。可能的原因包括培訓並未收斂且培訓需要更多時間、動作空間需要擴大以讓代理程式有更多空間進行反應，或是獎勵函數需要進行更新，以處理不同的環境。

    您可以透過複製先前培訓的模型、修改獎勵函數、調整超參數，然後逐一查看程序，直到總獎勵收斂且績效指標改善為止，來改善模型。如需如何改善培訓的詳細資訊，請參閱訓練和評估AWS DeepRacer 模型。