Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Entrenamiento y evaluación de modelos de AWS DeepRacer con la consola AWS DeepRacer

Para entrenar un modelo de aprendizaje por refuerzo, puede utilizar la consola de AWS DeepRacer. En la consola, cree un trabajo de entrenamiento, elija un marco compatible y un algoritmo disponible, añada una función de recompensa y configure los ajustes de entrenamiento. También puede ver el procedimiento de entrenamiento en un simulador. Puede encontrar las instrucciones paso a paso en Entrene su primer modelo de AWS DeepRacer .

En esta sección le explicamos cómo entrenar y evaluar un modelo de AWS DeepRacer. También se muestra cómo crear y mejorar una función de recompensa, cómo un espacio de acción afecta al rendimiento del modelo y cómo afectan los hiperparámetros al rendimiento del entrenamiento. Asimismo, puede aprender a clonar un modelo de entrenamiento para ampliar una sesión de entrenamiento, cómo utilizar el simulador para evaluar el rendimiento del entrenamiento y cómo abordar algunos de los retos que plantea el paso de la simulación a la vida real.

Creación de su función de recompensa

Una función de recompensa aporta una valoración inmediata (como puntuación de recompensa o penalización) cuando su vehículo de AWS DeepRacer se desplaza de una posición en la pista a una nueva posición. El objetivo de la función es fomentar que el vehículo se mueva por la pista para llegar rápidamente a un destino sin sufrir accidentes ni cometer infracciones. Si el movimiento que realiza el vehículo es deseable, se obtiene una puntuación más alta por la acción o el estado de destino. Si, por el contrario, el movimiento no está permitido o es innecesario, la puntuación obtenida es más baja. Al entrenar un modelo de AWS DeepRacer, la función de recompensa es la única parte específica de la aplicación.

Por lo general, la función de recompensa se diseña para que sirva como plan de incentivos. Según la estrategia de incentivos que se diseñe, el comportamiento del vehículo será diferente. Para que el vehículo vaya más rápido, la función debe recompensar que el vehículo siga la pista. Por otra parte, la función tiene que sancionar al vehículo cuando este tarda demasiado en finalizar una vuelta o se sale de la pista. Para evitar un patrón de conducción en zigzag, la función puede premiar que el vehículo se mueva con menos vaivenes cuando está en las rectas de la pista. La función de recompensa puede puntuar positivamente que el vehículo cumpla determinados hitos, medidos por waypoints. Esto puede compensar las esperas o conducir en la dirección equivocada. También es probable que cambie la función de recompensa para tener en cuenta las condiciones de la pista. Sin embargo, cuanta más información específica del entorno tenga en cuenta la función, más probable será que el modelo esté excesivamente especializado y sea menos general. Para que la aplicación de su modelo sea más general, puede explorar el espacio de acción.

Si un plan de incentivos no se sopesa con cuidado, es posible que se obtengan consecuencias inesperadas no deseadas. Esto se debe a que la valoración inmediata es una condición necesaria pero no suficiente para el aprendizaje por refuerzo. En sí misma, una recompensa individual inmediata no puede determinar si el movimiento es deseable o no. En una posición determinada, un movimiento puede obtener una puntuación alta, mientras que el movimiento siguiente puede salirse de la pista y obtener una mala puntuación. En tal caso, el vehículo debe evitar el movimiento de alta puntuación en dicha posición. Solo cuando todos los movimientos posteriores realizados a partir de una determinada posición obtengan una puntuación de promedio alto, deberá considerarse deseable el movimiento a la siguiente posición. Las valoraciones futuras se descuentan a una velocidad que permite incluir solo un pequeño número de movimientos o posiciones en el cálculo promedio de recompensa.

Una buena práctica para crear una función de recompensa consiste en comenzar con una función sencilla que cubra situaciones básicas. Puede mejorar la función para que incluya más acciones. Veamos ahora algunas funciones de recompensa sencillas.

Ejemplos de funciones de recompensa sencillas

Podemos comenzar a crear la función de recompensa abordando primero la situación más básica. Se trata de conducir en una pista recta, desde principio a fin, sin salirse de la vía. En este caso, la lógica de la función de recompensa depende solo de on_track y progress. Como ensayo, puede comenzar con la lógica siguiente:

def reward_function(params):
    if not params["all_wheels_on_track"]:
        reward = -1
    else if params["progress"] == 1 :
        reward = 10
    return reward

Con esta lógica, se penaliza al agente cuando este se sale de la pista y se le premia cuando llega a la línea de meta. Es una lógica razonable para lograr el objetivo marcado. Sin embargo, el agente deambula libremente entre el punto de inicio y la línea de meta, y esto incluye la posibilidad de circular marcha atrás en la pista. Con ello vemos que el entrenamiento no solo puede tardar mucho tiempo en completarse sino que, además, el modelo entrenado tendría una conducción menos eficiente cuando se implementase en el vehículo real.

En la práctica, el aprendizaje del agente es más efectivo si puede hacerlo paso a paso a lo largo del entrenamiento. Esto implica que una función de recompensa debe dar recompensas menores paso a paso a lo largo de la pista. Para que el agente circule en la pista recta, podemos mejorar la función de recompensa del siguiente modo:

def reward_function(params):
    if not params["all_wheels_on_track"]:
        reward = -1
    else:
        reward = params["progress"]
    return reward

Con esta función, el agente consigue mayor recompensa cuando más se acerca a la línea de meta. Esto debería reducir o eliminar los ensayos improductivos de conducir marcha atrás. En general, queremos que la función de recompensa distribuya la recompensa de forma más uniforme en el espacio de acción. Crear una función de recompensa que sea efectiva puede suponer un verdadero desafío. Debe comenzar por una función de recompensa que sea sencilla y luego irla mejorando progresivamente. A través de la experimentación sistemática, la función puede ir adquiriendo mayor solidez y eficacia.

Mejora para su función de recompensa

Tras haber entrenado con éxito su modelo de AWS DeepRacer para la pista recta simple, el vehículo de AWS DeepRacer (virtual o físico) puede conducir por sí solo sin salirse de la pista. Si deja que el vehículo circule en una pista en bucle, no se mantendrá en la pista. La función de recompensa ha pasado por alto las acciones para hacer giros para seguir la pista.

Para que el vehículo pueda ejecutar estas acciones, tendrá que mejorar la función de recompensa. La función tiene que recompensar al agente cuanto este toma una curva que está permitida y penalizarlo si toma una curva no permitida. Después ya estará listo para comenzar otra ronda de entrenamiento. Para aprovechar el entrenamiento anterior, puede comenzar el nuevo entrenamiento clonando el modelo entrenado anteriormente y, de esta forma, transmitir los conocimientos aprendidos con anterioridad. Puede seguir este patrón para añadir gradualmente más características a la función de recompensa con el fin de entrenar a su vehículo de AWS DeepRacer para que conduzca en entornos cada vez más complejos.

Para obtener más funciones de recompensa avanzadas, consulte los siguientes ejemplos:

Exploración del espacio de acción para entrenar un modelo sólido

Por regla general, entrene el modelo para que sea lo más sólido posible para que pueda aplicarlo a tantos entornos como pueda. Por modelo sólido se entiende un modelo que se puede aplicar a una amplia gama de formas y condiciones de pista. En términos generales, un modelo sólido no es "inteligente" porque su función de recompensa no tiene la capacidad para contener conocimientos explícitos sobre el entorno. De lo contrario, el modelo probablemente solo se pueda aplicar a un entorno similar al del entrenamiento.

incorporar explícitamente información específica del entorno a la función de recompensa equivale a ingeniería de funciones. La ingeniería de funciones ayuda a reducir el tiempo de entrenamiento y puede resultar útil en soluciones que se crean específicamente para un entorno determinado. Sin embargo, para entrenar un modelo que se pueda aplicar en general, debe abstenerse de intentar introducir una gran cantidad de ingeniería de funciones.

Por ejemplo, cuando entrene un modelo en una pista circular, no puede esperar obtener un modelo entrenado que se pueda aplicar a cualquier pista que no sea circular si tiene tales propiedades geométricas incorporadas explícitamente en la función de recompensa.

¿Qué puede hacer para entrenar un modelo que sea lo más sólido posible y que al mismo tiempo tenga una función de recompensa que sea también lo más sencilla posible? Una solución es explorar el espacio de acción que abarca las acciones que puede ejecutar su agente. Otra solución consiste en experimentar con hiperparámetros del algoritmo de entrenamiento subyacente. A menudo, usará ambas soluciones. Aquí, nos concentramos en cómo explorar el espacio de acción para entrenar un modelo sólido de su vehículo de AWS DeepRacer.

Al entrenar un modelo de AWS DeepRacer, una acción (a) es una combinación de velocidad (t metros por segundo) y ángulo de dirección (s en grados). El espacio de acción del agente define los intervalos de velocidad y el ángulo de dirección el agente puede tomar. Para un espacio de acción discreto con un número m de velocidades (v1, .., vn) y un número n de ángulos de dirección (s1, .., sm), existen m*n posibles acciones en el espacio de acción:

a1:           (v1, s1)
...
an:           (v1, sn)

...
a(i-1)*n+j:   (vi, sj)
...

a(m-1)*n+1:   (vm, s1)
...
am*n:         (vm, sn)

Los valores reales de (vi, sj) dependen de los intervalos de vmax y |smax|, y no se distribuyen de manera uniforme.

Cada vez que empiece a entrenar o iterar su modelo de AWS DeepRacer, comience primero por especificar n, m, vmax y |smax| o acepte para usar sus valores predeterminados. En función de su elección, el servicio de AWS DeepRacer genera las acciones disponibles que su agente puede elegir durante el entrenamiento. Las acciones generadas no se distribuyen de manera uniforme por el espacio de acción.

En general, cuanto mayor sea el número de acciones y los intervalos de acción, su agente tendrá más espacio u opciones para reaccionar a más condiciones de pista diferentes, como una pista con curvas y ángulos de giro o direcciones irregulares. Cuantas más acciones tenga el agente a su disposición, más fácilmente podrá gestionar las variaciones de pista. Como resultado, puede esperar que el modelo entrenado se aplique de forma más amplia, incluso cuando se utiliza una sencilla función de recompensa.

Por ejemplo, su agente puede aprender rápidamente a circular por pistas rectas mediante un espacio de acción general con un número pequeño de velocidades y ángulos de dirección. En una pista con curvas, este espacio de acción general probablemente hará que el agente se exceda y se salga de la pista al girar. Esto se debe a que no hay suficientes opciones a su disposición para ajustar su velocidad o dirección. Aumente el número de velocidades o el número de ángulos de dirección o ambos. El agente debe ser más capaz de maniobrar en las curvas y mantenerse en la pista. Del mismo modo, si su agente se desplaza en zigzag, puede intentar aumentar el número de intervalos de dirección para reducir los giros drásticos en cualquier paso determinado.

Cuando el espacio de acción es demasiado grande, el rendimiento del entrenamiento puede verse afectado, ya que tarda más tiempo en explorar el espacio de acción. Asegúrese de equilibrar los beneficios de la capacidad de aplicación general de un modelo con los requisitos de rendimiento del entrenamiento. Esta optimización requiere una experimentación sistemática.

Ajuste sistemático de hiperparámetros

Una forma de mejorar el rendimiento de su modelo es poner en práctica un proceso de entrenamiento mejor o más efectivo. Por ejemplo, para obtener un modelo sólido, el entrenamiento tiene que proporcionar a su agente un muestreo distribuido de forma más o menos uniforme en el espacio de acción del agente. Para ello se necesita una combinación de exploración y explotación adecuada. Entre las variables que afectan a esta combinación figuran la cantidad de datos de entrenamiento usados (number of episodes between each training y batch size), la rapidez de aprendizaje del agente (learning rate), la parte de exploración (entropy). Para que el entrenamiento sea práctico, puede interesarle acelerar el proceso de aprendizaje. Las variables que afectan a este proceso son learning rate, batch size, number of epochs y discount factor.

Las variables que afectan al proceso de entrenamiento se conocen como hiperparámetros de entrenamiento. Estos atributos de algoritmo no son propiedades del modelo subyacente. Desgraciadamente, los hiperparámetros son empíricos. Sus valores óptimos no se conocen para todos los efectos prácticos y requieren una experimentación sistemática para realizar deducciones.

Antes de analizar los hiperparámetros que se pueden ajustar para precisar el rendimiento del entrenamiento de su modelo de AWS DeepRacer, vamos a definir la siguiente terminología.

Examen de progreso del trabajo de entrenamiento de AWS DeepRacer

Después de iniciar el trabajo de entrenamiento, puede examinar las métricas de entrenamiento de recompensas y lo que se ha completado la pista por episodio para determinar el rendimiento del trabajo de entrenamiento del modelo. En la consola de AWS DeepRacer, las métricas se muestran en el Gráfico de recompensas, tal y como se muestra en la siguiente ilustración.

Puede optar por ver la recompensa ganada por episodio, la recompensa media por iteración, el progreso por episodio, el progreso medio por iteración o cualquier combinación de ellos. Para ello, cambie los conmutadores Reward (Episode, Average) [Recompensa (Episodio, media)] o Progress (Episode, Average) [Progreso (Episodio, media)] en la parte inferior del Reward graph (Gráfico de recompensa). La recompensa y el progreso por episodio se muestran como gráficos de dispersión en colores diferentes. La recompensa media y la finalización de pista se muestran mediante gráficos de líneas y comienzan después de la primera iteración.

El rango de recompensas se muestra en el lado izquierdo del gráfico y el rango de progreso (0-100) está en el lado derecho. Para leer el valor exacto de una métrica de entrenamiento, mueva el ratón cerca del punto de datos en el gráfico.

Los gráficos se actualizan automáticamente cada 10 segundos mientras el entrenamiento está en curso. Puede elegir el botón de actualización para actualizar manualmente la visualización de métricas.

Un trabajo de entrenamiento es bueno si la recompensa media y la finalización de pista muestran tendencias que convergen. En concreto, es probable que el modelo haya convergido si el progreso por episodio alcanza continuamente el 100 % y las recompensas se estabilizan De lo contrario, clone el modelo y vuelva a entrenarlo.

Clonación de un modelo entrenado para comenzar un nuevo paso de entrenamiento

Si clona un modelo entrenado previamente para que sea el punto de partida de una nueva ronda de entrenamiento, puede mejorar la eficacia del entrenamiento. Para ello, modifique los hiperparámetros para utilizar el conocimiento ya aprendido.

En esta sección, aprenderá a clonar un modelo entrenado usando la consola de AWS DeepRacer.

Al igual que con el entrenamiento de un modelo de aprendizaje automático sólido en general, es importante que lleve a cabo una experimentación sistemática para obtener la mejor solución.

Evaluación de modelos de AWS DeepRacer en simulaciones

Evaluar un modelo consiste en probar el rendimiento de un modelo entrenado. En AWS DeepRacer, la métrica de rendimiento estándar es el tiempo medio que se tarda en acabar tres vueltas consecutivas. Con esta métrica, de los dos modelos, uno es mejor que el otro si puede hacer que el agente vaya más rápido en la misma pista.

En general, la evaluación de un modelo incluye las siguientes tareas:

Pruebe un modelo de AWS DeepRacer con un vehículo de AWS DeepRacer que circule por una pista física. Consulte Opere su vehículo AWS DeepRacer .

Optimización del entrenamiento de modelos de AWS DeepRacer para entornos reales

Muchos factores influyen en el rendimiento real de un modelo entrenado, como la elección del espacio de acción, la función de recompensa, los hiperparámetros utilizados en el entrenamiento y la calibración del vehículo así como las condiciones de la pista en tiempo real. Además, la simulación es solo una aproximación (a menudo general) del mundo real. Todo esto hace que sea un verdadero desafío entrenar un modelo en simulación, aplicarlo en el mundo real y conseguir un buen rendimiento.

Entrenar un modelo para que tenga un rendimiento sólido en el mundo real a menudo requiere numerosas iteraciones de exploración de la función de recompensa, los espacios de acción, los hiperparámetros y la evaluación en simulación, y luego realizar pruebas en un entorno real. En el último paso tiene lugar la denominada transferencia de simulación a mundo real (sim2real) y puede ser difícil.

Para abordar los desafíos que plantea el sim2real, tenga en cuenta las siguientes consideraciones: