Esempio di flusso di lavoro RL con Amazon SageMaker RL

Formulare il problema RL: in primo luogo, formulare il problema aziendale sotto forma di problema RL. Ad esempio, la scalabilità automatica consente ai servizi di aumentare o diminuire dinamicamente la capacità in base alle condizioni definite dall'utente. Attualmente, è necessaria l'impostazione di allarmi, policy di dimensionamento, soglie e altre fasi manuali. Per risolvere questo RL, vengono definiti i componenti di Markov Decision Process:

1. Obiettivo: ridimensionare la capacità dell'istanza in modo che corrisponda al profilo di carico desiderato.

2. Ambiente: un ambiente personalizzato che include il profilo di carico. Genera un carico simulata con le variazioni giornaliere e settimanali e i picchi occasionali. Il sistema simulato presenta un ritardo tra la richiesta di nuove risorse e la loro effettiva disponibilità per elaborare richieste.

3. Stato: il carico corrente, il numero di processi non riusciti e il numero di dispositivi attivi.

4. Azione: rimuovere, aggiungere o mantenere lo stesso numero di istanze.

5. Ricompensa: una ricompensa positiva per le transazioni riuscite e una penalità elevata per le transazioni non riuscite oltre una soglia specifica.

Definizione dell'ambiente RL: l'ambiente RL può essere il mondo reale in cui l'agente RL interagisce o una simulazione del mondo reale. Puoi connettere ambienti open source e personalizzati sviluppati utilizzando interfacce Gym e ambienti di simulazione commerciali come MATLAB Simulink.

Definizione del set di impostazioni: i set di impostazioni configurano i processi di addestramento dell'RL e definiscono gli iperparametri per gli algoritmi dell'RL.

Scrivi il codice di addestramento: scrivi il codice di addestramento come script Python e passa lo script a SageMaker un processo di formazione. Nel codice di addestramento, importare i file di ambiente e i file dei set di impostazioni, quindi definire la funzione main().

Addestra il modello RL: usa Amazon SageMaker SDK Python per iniziare un processo di formazione RL. SageMaker RLEstimator Se si utilizza la modalità locale, il processo di addestramento viene eseguito sull'istanza del notebook. Quando lo usi SageMaker per la formazione, puoi selezionare GPU le nostre istanze. CPU Archivia l'output del processo di formazione in una directory locale se ti alleni in modalità locale o su Amazon S3 se utilizzi SageMaker la formazione.

RLEstimator richiede le seguenti informazioni come parametri.

1. La directory di origine in cui vengono caricati l'ambiente, le preimpostazioni e il codice di addestramento.

2. Il percorso allo script di addestramento.

3. Il kit di strumenti RL e il framework di deep learning da utilizzare. Questo si risolve automaticamente nel ECR percorso Amazon per il contenitore RL.

4. I parametri di addestramento, ad esempio il conteggio istanze, il nome processo e il percorso S3 per l'output.

5. Le definizioni dei parametri che si desidera acquisire nei log. Questi possono essere visualizzati anche all'interno CloudWatch e all'interno dei notebook. SageMaker

Visualizza le metriche e i risultati della formazione: una volta completato un processo di formazione che utilizza un modello RL, puoi visualizzare le metriche definite nei lavori di formazione in,. CloudWatch Puoi anche tracciare le metriche in un notebook utilizzando la libreria di analisi Amazon SageMaker SDK Python. La visualizzazione dei parametri consente di comprendere in che modo le prestazioni del modello misurate in base alla ricompensa migliorano nel tempo.

Valuta il modello: i dati su cui è stato eseguito il checkpoint provenienti dai modelli precedentemente addestrati possono essere trasmessi per la valutazione e l'inferenza nel canale di checkpoint. In modalità locale, utilizzare la directory locale. In modalità SageMaker allenamento, devi prima caricare i dati su S3.

Implementa modelli RL: infine, implementa il modello addestrato su un endpoint ospitato su SageMaker contenitori o su un dispositivo edge utilizzando. AWS IoT Greengrass