Ejemplo de flujo de trabajo de RL con Amazon SageMaker RL

Formule el problema de RL: primero, formule el problema empresarial como un problema de RL. Por ejemplo, el escalado automático permite que los servicios aumenten o reduzcan dinámicamente la capacidad en función de las condiciones que se definen. Actualmente es preciso configurar alarmas, políticas de escalado, umbrales y otros pasos manuales. Para solucionar esto con RL, definimos los componentes del proceso de decisión de Markov:

1. Objetivo: escalar la capacidad de la instancia para que coincida con el perfil de carga deseado.

2. Entorno: un entorno personalizado que incluye el perfil de carga. Genera una carga simulada con variaciones diarias y semanales y picos ocasionales. El sistema simulado tiene un retardo entre el momento en que se solicitan nuevos recursos y el momento en que estos pasan a estar disponibles para atender solicitudes.

3. Estado: la carga actual, el número de trabajos con error y el número de máquinas activas.

4. Acción: eliminar, añadir o mantener el mismo número de instancias.

5. Recompensa: una recompensa positiva por las transacciones realizadas correctamente y una penalización elevada por las transacciones con error que superen un umbral específico.

Definir el entorno de RL: el entorno de RL puede ser el mundo real en el que interactúa el agente de RL o una simulación del mundo real. Puede conectar entornos de código abierto y personalizados desarrollados con interfaces de gimnasio y entornos de simulación comerciales como MATLAB Simulink.

Definir ajustes preestablecidos: los ajustes preestablecidos configuran los trabajos de entrenamiento de RL y definen los hiperparámetros de los algoritmos de RL.

Escribir el código de entrenamiento: escriba el código de entrenamiento como un script de Python y páselo a un trabajo de SageMaker entrenamiento. En el código de entrenamiento, importe los archivos de entorno y los archivos de ajustes preestablecidos y, a continuación, defina la función main().

Entrene el modelo de RL: utilice el SageMaker RLEstimator de Amazon SageMaker Python SDK para iniciar un trabajo de formación de RL. Si utiliza el modo local, el trabajo de entrenamiento se ejecuta en la instancia del bloc de notas. Cuando lo utilice SageMaker para formación, puede seleccionar GPU o varias CPU instancias. Guarde el resultado del trabajo de formación en un directorio local si entrena en modo local, o en Amazon S3 si utiliza la SageMaker formación.

RLEstimator requiere la siguiente información como parámetros.

1. El directorio de origen donde se cargan el entorno, los ajustes preestablecidos y el código de entrenamiento.

2. La ruta al script de entrenamiento.

3. El conjunto de herramientas de RL y el marco de aprendizaje profundo que desea utilizar. Esto se resuelve automáticamente en la ECR ruta de Amazon del contenedor RL.

4. Los parámetros de entrenamiento, como el recuento de instancias, el nombre del trabajo y la ruta de S3 para la salida.

5. Las definiciones de métricas que desea capturar en sus registros. También se pueden visualizar en SageMaker cuadernos CloudWatch y dentro de ellos.

Visualice las métricas y los resultados de la formación: una vez finalizado un trabajo de formación que utiliza un modelo de RL, podrá ver las métricas que definió en los trabajos de formación en,. CloudWatch También puede trazar las métricas en un bloc de notas mediante la biblioteca de SDK análisis de Amazon SageMaker Python. La visualización de métricas ayuda a comprender cómo mejora con el paso del tiempo el rendimiento del modelo medido por la recompensa.

Evaluar el modelo: los datos comprobados de los modelos entrenados previamente se pueden transferir para su evaluación e inferencia en el canal de puntos de control. En modo local, utilice el directorio local. En el modo de SageMaker entrenamiento, primero debes subir los datos a S3.

Implemente modelos RL: por último, implemente el modelo entrenado en un punto final alojado en SageMaker contenedores o en un dispositivo perimetral mediante AWS IoT Greengrass el uso de.