Amazon SageMaker AI RL を使用したサンプル RL ワークフロー

RL の問題の策定 - 最初に、ビジネスの問題から RL の問題を策定します。たとえば、Auto Scaling を使用することで、定義した条件に応じて、サービスで動的に容量を増減できます。現在、これを行うには、アラーム、スケーリングポリシー、しきい値を設定する必要があるとともに、その他の手動のステップが必要です。これを RL で解決するために、マルコフ決定プロセスのコンポーネントを定義します。

1. 目的 - インスタンスの容量をスケーリングして、希望するロードプロファイルと一致するようにします。

2. 環境 - ロードプロファイルを含むカスタム環境。日単位および週単位のバリエーションと、たまに生じる負荷の急増でシミュレートされた負荷を生成します。シミュレートされたシステムでは、新しいリソースがリクエストされてから、リクエストに応えてリソースが使用できるようになるまでの間に時間差があります。

3. 状態 - 現在のロード、失敗したジョブの数、アクティブなマシンの数。

4. アクション - 同じ数のインスタンスの削除、追加、または維持。

5. 報酬 - 成功したトランザクションに対する正の報酬と、指定したしきい値を超えて失敗したトランザクションに対する大きなペナルティ。

RL 環境の定義 - RL 環境は、RL エージェントが相互作用する実際の環境または実際の環境のシミュレーションとなります。Gym インターフェイスと、MATLAB や Simulink などの商用シミュレーションを使用して開発されたオープンソースとカスタム環境を接続できます。

プリセットの定義 - プリセットは、RL トレーニングジョブを設定し、RL アルゴリズムのハイパーパラメータを定義します。

トレーニングコードを記述する - トレーニングコードを Python スクリプトとして記述し、そのスクリプトを SageMaker AI トレーニングジョブに渡します。トレーニングコードでは、環境ファイルとプリセットファイルをインポートし、main() 関数を定義します。

RL モデルのトレーニング — Amazon SageMaker Python SDK RLEstimatorの SageMaker AI を使用して RL トレーニングジョブを開始します。 Amazon SageMaker ローカルモードを使用している場合は、ノートブックインスタンスでトレーニングジョブが実行されます。トレーニングに SageMaker AI を使用する場合は、GPU または CPU インスタンスを選択できます。ローカルモードでトレーニングする場合はローカルディレクトリに、SageMaker AI トレーニングを使用する場合は Amazon S3 に、トレーニングジョブからの出力を保存します。

RLEstimator では、パラメータとして次の情報が必要です。

1. 環境、プリセット、およびトレーニングコードがアップロードされるソースディレクトリ。

2. トレーニングスクリプトへのパス。

3. 使用する RL ツールキットとディープラーニングフレームワーク。これは、自動的に RL コンテナの Amazon ECR パスに解決されます。

4. 出力用のトレーニングパラメータ (インスタンス数など)、ジョブ名、および S3 パス。

5. ログでキャプチャするメトリクス定義。これらは CloudWatch および SageMaker AI ノートブックでも視覚化できます。

トレーニングメトリクスと出力の可視化 - RL モデルを使用するトレーニングジョブが完了すると、定義したメトリクスが CloudWatch のトレーニングジョブで表示されます。また、Amazon SageMaker Python SDK 分析ライブラリを使用することで、ノートブックのメトリクスをプロットできます。メトリクスの可視化は、報酬で測定されたモデルのパフォーマンスが継続して向上する仕組みの理解を助けます。

モデルの評価 - 以前トレーニングしたモデルのチェックポイントデータをチェックポイントチャネルで評価および推論用に渡すことができます。ローカルモードで、ローカルディレクトリを使用します。SageMaker AI トレーニングモードでは、まずデータを S3 にアップロードする必要があります。

RL モデルのデプロイ - 最後に、SageMaker AI コンテナでホストされているエンドポイントまたは を使用してエッジデバイスにトレーニング済みモデルをデプロイします AWS IoT Greengrass。