Exemplo de fluxo de trabalho de RL usando Amazon SageMaker RL

Formular o problema de RL—Primeiro, formule o problema empresarial em um problema de RL. Por exemplo, a escalabilidade automática permite serviços para aumentar ou diminuir a capacidade dinamicamente, dependendo das condições que você define. Atualmente, isso requer a configuração de alarmes, políticas de escalabilidade e limites, além de outras etapas manuais. Para resolver isso com a RL, definimos os componentes do Processo de decisão de Markov:

1. Objetivo—Escalar a capacidade da instância para que ela corresponda ao perfil de carga desejado.

2. Ambiente—Um ambiente personalizado que inclui o perfil de carga. Ele gera uma carga simulada com variações diárias e semanais e picos ocasionais. O sistema simulado tem um atraso entre quando novos recursos são solicitados e quando eles se tornam disponíveis para atender a solicitações.

3. Estado—A carga atual, o número de trabalhos com falha e o número de máquinas ativas.

4. Ação—Remover, adicionar ou manter o mesmo número de instâncias.

5. Prêmio—Um prêmio positivo por transações bem-sucedidas e uma penalidade alta por transações com falha além de um limite especificado.

Definir o ambiente de RL—O ambiente de RL pode ser o mundo real em que o agente de RL interage ou uma simulação do mundo real. Você pode conectar ambientes de código aberto e personalizados desenvolvidos usando interfaces do Gym e ambientes de simulação comercial, como o MATLAB Simulink.

Definir as predefinições—As predefinições configuram as trabalhos de treinamento de RL e definem os hiperparâmetros para os algoritmos de RL.

Escreva o código de treinamento — Escreva o código de treinamento como um script Python e passe o script para SageMaker um trabalho de treinamento. No seu código de treinamento, importe os arquivos de ambiente e os arquivos predefinidos e defina a função main().

Treine o modelo de RL — use o SageMaker RLEstimator no Amazon SageMaker Python SDK para iniciar um trabalho de treinamento de RL. Se você estiver usando o modo local, o trabalho de treinamento será executado na instância de bloco de anotações. Ao usar SageMaker para treinamento, você pode selecionar GPU nossas CPU instâncias. Armazene a saída do trabalho de treinamento em um diretório local, se você treinar no modo local, ou no Amazon S3, se usar SageMaker treinamento.

O RLEstimator requer as seguintes informações como parâmetros.

1. O diretório de origem no qual o ambiente, as predefinições e o código de treinamento são carregados.

2. O caminho para o script de treinamento.

3. O kit de ferramentas de RL e a estrutura de deep learning que você deseja usar. Isso é resolvido automaticamente para o ECR caminho da Amazon para o contêiner RL.

4. Os parâmetros de treinamento, como a contagem de instâncias, o nome do trabalho e o caminho do S3 para a saída.

5. Definições de métricas que você deseja capturar nos seus logs. Eles também podem ser visualizados em CloudWatch e em SageMaker cadernos.

Visualize as métricas e os resultados do treinamento — após a conclusão de um trabalho de treinamento que usa um modelo de RL, você pode visualizar as métricas definidas nos trabalhos de treinamento em,. CloudWatch Você também pode traçar as métricas em um notebook usando a biblioteca de SDK análise Amazon SageMaker Python. A visualização de métricas ajuda você a entender como o desempenho do modelo medido pelo prêmio melhora com o tempo.

Avaliar o modelo—Dados verificados de modelos treinados anteriormente podem ser transmitidos para avaliação e inferência no canal de ponto de verificação. No modo local, use o diretório local. No modo de SageMaker treinamento, você precisa primeiro carregar os dados no S3.

Implante modelos de RL — Por fim, implante o modelo treinado em um endpoint hospedado em SageMaker contêineres ou em um dispositivo de borda usando. AWS IoT Greengrass