AWS DeepRacer가 지원하는 레이스 유형 및 이를 가능하게 하는 센서 이해

AWS DeepRacer 콘솔에서 AWS DeepRacer 에이전트를 구성하려면

1. AWS DeepRacer 콘솔에 로그인합니다.

2. 기본 탐색 창에서 Garage(차고)를 선택합니다.

3. Garage(차고)를 처음 사용하는 경우 WELCOME TO THE GARAGE(차고에 오신 것을 환영합니다.) 대화 상자가 표시됩니다. > 또는 <를 선택하여 AWS DeepRacer 차량에 지원되는 다양한 센서에 대한 소개를 살펴보거나 X를 선택하여 대화 상자를 닫습니다. 이 소개 정보는 Garage(차고) 도움말 창에서 찾을 수 있습니다.

4. Garage(차고) 페이지에서 Build new vehicle(새 차량 빌드)를 선택합니다.

5. Mod your own vehicle(차량 수정) 페이지의 Mod specifications(사양 수정) 아래에서 하나 이상의 센서를 선택하여 원하는 레이스 유형에 맞는 최상의 조합을 훈련해 봅니다.

   AWS DeepRacer 차량 타임 트라이얼을 훈련하려면 Camera(카메라)를 선택합니다. 장애물 회피 또는 헤드-투-봇 레이스의 경우 다른 센서 유형을 사용하는 것이 좋습니다. 스테레오 카메라를 선택하려면 단안 카메라를 추가로 구입해야 합니다. AWS DeepRacer는 스테레오 카메라를 두 대의 단안 카메라로 만듭니다. 한 대의 차량에 하나의 단안 카메라 또는 하나의 중안 스테레오 카메라를 구성할 수 있습니다. 두 경우 모두, 훈련된 모델이 장애물 회피 또는 헤드-투-봇 레이스의 사각 지대를 감지하고 회피할 수 있도록 하려면 에이전트에 LiDAR 센서를 추가할 수 있습니다.

6. Garage(차고) 페이지의 Neural network topologies(신경망 토폴로지) 아래에서 지원되는 네트워크 토폴로지를 선택합니다.

   일반적으로 더 깊은 신경망(계층이 더 많음)은 급한 커브와 방향 회전이 많은 보다 복잡한 트랙을 주행하거나, 정지 장애물을 회피하는 레이스를 하거나, 다른 이동 차량과 경쟁하는 데 더 적합합니다. 그러나 더 깊은 신경망은 훈련 비용이 많이 들고 모델이 수렴하는 데 더 오래 걸립니다. 반면에 얕은 네트워크(계층이 더 적음)는 비용이 적게 들고 훈련하는 데 걸리는 시간이 더 짧습니다. 훈련된 모델은 장애물이 없는 트랙에서 경쟁자 없는 타임 트라이얼과 같은 보다 단순한 트랙 조건이나 주행 요구 사항을 처리할 수 있습니다.

   특히 AWS DeepRacer는 3계층 CNN 또는 5계층 CNN을 지원합니다.

7. Garage(차고) 페이지에서 다음을 선택하여 에이전트의 행동 공간 설정으로 이동합니다.

8. Action space(행동 공간) 페이지에서 첫 번째 훈련의 기본 설정을 그대로 둡니다. 후속 훈련에서는 조향 각도, 최고 속도 및 세분화에 대해 다양한 설정을 실험합니다. 그리고 다음(Next)을 선택합니다.

9. Color your vehicle to stand out in the crowd(눈에 띄는 차량 색상 지정) 페이지에서 Name your DeepRacer(DeePracer 이름 지정)에 이름을 입력한 다음 Vehicle color(차량 색상) 목록에서 에이전트의 색상을 선택합니다. 그런 다음 제출을 선택합니다.

10. Garage(차고) 페이지에서 새 에이전트의 설정을 검토합니다. 추가로 수정하려면 Mod vehicle(차량 수정)을 선택하고 이전 단계를4단계부터 반복합니다.

1. 보다 규칙적인 형태와 보다 완만한 커브 간단한 트랙으로 모델 훈련을 시작합니다. 기본 보상 함수를 사용합니다. 그리고 30분 동안 모델을 훈련합니다. 훈련 작업이 완료된 후 동일한 트랙에서 모델을 평가하여 에이전트가 랩을 마칠 수 있는지 확인합니다.

2. 보상 함수 매개 변수를 참조하십시오. 다른 인센티브로 훈련을 계속하여 에이전트가 더 빨리 진행하도록 보상합니다. 다음 모델의 훈련 시간을 1~2시간으로 연장합니다. 첫 번째 훈련과 두 번째 훈련 사이의 보상 그래프를 비교합니다. 보상 그래프가 개선되지 않을 때까지 실험을 계속합니다.

3. 행동 공간에 대해 자세히 알아보십시오. 최고 속도(예를 들어, 1m/s)를 높여 모델을 3번째로 훈련합니다. 행동 공간을 수정하려면 수정할 기회가 생겼을 때 Garage(차고)에서 새 에이전트를 빌드해야 합니다. 에이전트의 최고 속도를 업데이트할 때 알아야 할 점은 최고 속도가 높을수록 에이전트가 평가 중인 트랙을 더 빨리 완료할 수 있고 AWS DeepRacer 차량이 물리적 트랙에서 랩을 더 빨리 마칠 수 있다는 것입니다. 그러나 최고 속도가 높을수록 훈련이 수렴하는 데 걸리는 시간이 길어지는 경우가 많습니다. 에이전트가 커브에서 오버슈트하여 트랙을 벗어날 가능성이 높기 때문입니다. 세분성을 줄여 에이전트가 가속 또는 감속할 여지를 늘리고 다른 방법으로 보상 함수를 조정하여 훈련이 더 빨리 수렴되도록 할 수 있습니다. 훈련이 수렴된 후 3번째 모델을 평가하여 랩 타임이 향상되는지 확인합니다. 더 이상 개선이 없을 때까지 계속 탐색하십시오.

4. 더 복잡한 트랙을 선택하여 1단계부터 3단계까지 반복합니다. 모델을 훈련하는 데 사용한 트랙과 다른 트랙에서 모델을 평가하여 모델이 다른 가상 트랙으로 얼마나 잘 일반화하는지 확인합니다실제 환경으로 일반화.

5. (선택 사항) 하이퍼파라미터 값을 여러 개 사용하여 훈련 프로세스를 개선하고 1단계부터 3단계까지 반복합니다.

6. (선택 사항) AWS DeepRacer 로그를 확인하고 분석합니다. 로그를 분석하는 데 사용할 수 있는 샘플 코드는 https://github.com/aws-samples/aws-deepracer-workshops/tree/master/log-analysis를 참조하십시오.

1. 기존 에이전트를 사용자 정의하거나 새 에이전트를 빌드하여 새 센서 및 행동 공간에서 기본 에이전트 또는 실험을 사용합니다. 최고 속도는 0.8m/s 이하로 제한하고 속도 세분성은 1 또는 2 레벨로 제한해야 합니다.

   고정 위치에 2개의 객체를 배치하여 약 3시간 동안 모델 훈련을 시작합니다. 예제 보상 함수를 사용하여 레이싱할 트랙이나 해당 트랙과 유사한 트랙에서 모델을 훈련합니다. AWS DeepRacer Smile Speedway(중급) 트랙은 단순한 트랙이므로 서밋 레이스 준비에 적합합니다. 동일한 수의 장애물이 있는 동일한 트랙에서 모델을 평가합니다. 총 예상 보상이 어떻게 수렴되는지 주시합니다(수렴할 경우).

2. 보상 함수 매개 변수를 참조하십시오. 보상 함수의 변형을 실험합니다. 장애물을 4개로 늘립니다. 에이전트를 훈련하여 동일한 훈련 시간에 훈련이 수렴되는지 확인합니다. 수렴하지 않으면 보상 함수를 다시 조정하거나 최고 속도를 낮추거나 장애물 수를 줄인 다음 에이전트를 다시 훈련합니다. 더 이상 의미 있는 개선이 없을 때까지 실험을 반복합니다.

3. 이제 무작위 위치에서 장애물을 회피하는 훈련으로 전환합니다. AWS DeepRacer 콘솔의 차고에서 사용할 수 있는 추가 센서를 사용하여 에이전트를 구성해야 합니다. 스테레오 카메라를 사용할 수 있습니다. 또는 LiDAR 장치를 단안 카메라 또는 스테레오 카메라와 결합할 수 있지만 훈련 시간이 길어질 수 있습니다. 훈련을 더 빨리 수렴할 수 있도록 비교적 낮은 최고 속도(예를 들어, 2m/s)로 행동 공간을 설정합니다. 네트워크 아키텍처의 경우 장애물 회피에 충분한 것으로 밝혀진 얕은 신경망을 사용합니다.

4. 단순한 트랙에 장애물 4개를 무작위로 배치하여 4시간 동안 새 에이전트를 훈련합니다. 그런 다음 동일한 트랙에서 모델을 평가하여 무작위로 배치된 장애물이 있는 랩을 완주할 수 있는지 확인합니다. 완주하지 못하는 경우 보상 함수를 조정하고 다른 센서를 사용해 보고 훈련 시간을 늘릴 수 있습니다. 또 한 가지 팁으로, 기존 모델을 복제하여 훈련을 계속하여 이전에 학습한 경험을 활용할 수 있습니다.

5. (선택 사항) 행동 공간에 더 높은 최고 속도를 선택하거나 트랙을 따라 무작위로 더 많은 장애물을 배치합니다. 다양한 센서 조합으로 실험하고 보상 함수 및 하이퍼파라미터 값을 조정합니다. 5계층 CNN 네트워크 토폴로지를 사용하여 실험합니다. 그런 다음 모델을 재훈련하여 훈련 수렴에 어떤 영향을 미치는지 확인합니다.

1. AWS DeepRacer 콘솔의 차고에서 스테레오 카메라와 LiDAR 유닛으로 구성된 새로운 교육 에이전트를 빌드하십시오. 로봇 차량에 대해서만 스테레오 카메라를 사용하여 상대적으로 우수한 모델을 훈련할 수 있습니다. LiDAR는 에이전트가 차선을 변경할 때 사각 지대를 줄입니다. 최고 속도를 너무 높게 설정하지 마십시오. 처음에는 1m/s로 시작하는 것이 좋습니다.

2. 헤드-투-봇 레이싱을 위해 훈련하려면 두 대의 봇 차량으로 시작하십시오. 봇의 이동 속도를 에이전트의 최고 속도보다 낮게 설정합니다(예를 들어, 에이전트의 최고 속도가 1m/s인 경우 0.5m/s). 차선 변경 옵션을 비활성화한 다음 방금 생성한 훈련 에이전트를 선택합니다. 보상 함수 예제 중 하나를 사용하거나 최소한으로 필요한 수정을 한 다음 3시간 동안 훈련합니다. 레이싱할 트랙이나 해당 트랙과 유사한 트랙을 사용합니다. AWS DeepRacer Smile Speedway(중급) 트랙은 단순한 트랙이므로 서밋 레이스 준비에 적합합니다. 훈련이 완료되면 동일한 트랙에서 훈련된 모델을 평가합니다.

3. 좀 더 어려운 작업을 위해 두 번째 헤드-투-봇 레이스 모델에 훈련된 모델을 복제합니다. 더 많은 로봇 차량으로 실험을 진행하거나 차선 변경 옵션을 활성화합니다. 2초보다 긴 무작위 간격으로 느린 차선 변경 작업을 시작합니다. 사용자 지정 보상 함수를 실험해 볼 수도 있습니다. 일반적으로 사용자 지정 보상 함수 로직은 다른 차량을 추월하는 것과 차선을 유지하는 것 사이의 균형을 고려하지 않으면 장애물 회피 로직과 비슷할 수 있습니다. 이전 모델이 얼마나 우수한지에 따라 3~6시간을 더 훈련해야 할 수도 있습니다. 모델을 평가하고 모델이 어떤 성능을 보이는지 확인합니다.