在模拟中评估您的 AWS DeepRacer 模型

在 AWS DeepRacer 控制台中评估训练后的模型

1. 从 https://console.aws.amazon.com/deepracer 打开 AWS DeepRacer 控制台。

2. 在主导航窗格中，选择 Models (模型)，然后从 Models (模型) 列表中选择刚才训练的模型以打开模型详细信息页面。

3. 选择评估选项卡。

4. 在 评估详细信息 中，选择 开始评估。

   

   如果训练作业未完成，您可以在训练作业状态更改为 Completed (已完成) 或模型的状态更改为 Ready (就绪) 后开始评估。

   训练作业完成后，模型便已就绪。如果训练未完成，并且训练最终为失败状态，模型也可能处于 Ready (就绪) 状态。

5. 在 评估模型 页面的 赛事类型 下，输入您的评估的名称，然后选择您选择用于训练模型的赛车类型。

   为了进行评估，您可以选择与训练中使用的赛事类型不同的赛事类型。例如，您可为对战赛训练一个模型，然后将其用于评估计时赛。一般来说，如果训练用赛事类型与评估用赛事类型不同，模型必须很好地推广运用。第一次运行时，您应该使用相同的赛事类型进行评估和训练。

6. 在 评估模型 页面上的 评估条件 下，选择运行的预赛项数，然后选择要在其上评估模型的赛道。

   

   通常情况下，您希望选择与在训练模型时所用赛道相同或相似的赛道。虽然您可以选择任何跑道来评估您的模型，但您只能期望在与训练所用赛道最相似的赛道上获得最佳成绩。

   要查看您的模型能否很好地推广运用，请选择与训练中使用的赛道不同的评估赛道。

7. 在 Evaluate model (评估模型) 页面的Virtual Race Submission (模拟赛提交)下，对于您的第一个模型，关闭 Submit model after evaluation (评估后提交模型) 选项。稍后，如果您想参加赛车活动，请将此选项保持开启状态。

   

8. 在 Evaluate model (评估模型) 页面上，选择 Start evaluation (开始评估) 以开始创建和初始化评估作业。

   此初始化过程需要大约 3 分钟才能完成。

9. 随着评估的进展，每次计时赛的 评估详细信息 选项下会显示评估结果（包括计时赛时间和赛道完成率）。在 Simulation video stream (模拟视频流) 窗口中，您可以查看代理在所选赛道上的表现。

   您可以在评估作业完成之前停止评估作业。要停止评估作业，请选择评估卡右上角的停止评估，然后确认停止评估。

10. 评估作业完成后，在 Evaluation results (评估结果) 下检查所有计时赛的绩效指标。随附的模拟视频流不再可用。

    评估选择器中提供了模型评估的历史记录。要查看特定评估的详细信息，请从评估选择器列表中选择评估，然后从评估选择器卡的右上角选择加载评估。

    

    对于这项特定的评估工作，经过训练的模型以显著的偏离赛道时间惩罚完成试验。作为第一次运行，这并不罕见。可能的原因包括训练没有融合，训练需要更长时间，需要扩大操作空间以便为代理提供更多的反应空间，或者需要更新奖励函数以处理不同的环境。

    在这种情况下，您可以通过克隆之前训练的模型、更改奖励函数、调整超参数，然后重复该过程，直到总奖励融合并且改进了性能指标，以此来改进模型。有关如何改进训练的更多信息，请参阅训练和评估AWS DeepRacer 模型。