Contoh Alur Kerja RL Menggunakan Amazon RL SageMaker

Merumuskan masalah RL —Pertama, rumuskan masalah bisnis menjadi masalah RL. Misalnya, penskalaan otomatis memungkinkan layanan meningkatkan atau mengurangi kapasitas secara dinamis tergantung pada kondisi yang Anda tentukan. Saat ini, ini memerlukan pengaturan alarm, kebijakan penskalaan, ambang batas, dan langkah manual lainnya. Untuk mengatasi ini dengan RL, kami mendefinisikan komponen Proses Keputusan Markov:

1. Objective —Scale kapasitas instance sehingga cocok dengan profil beban yang diinginkan.

2. Lingkungan —Lingkungan khusus yang mencakup profil beban. Ini menghasilkan beban simulasi dengan variasi harian dan mingguan dan lonjakan sesekali. Sistem simulasi memiliki penundaan antara ketika sumber daya baru diminta dan ketika mereka tersedia untuk melayani permintaan.

3. Status —Beban saat ini, jumlah pekerjaan yang gagal, dan jumlah mesin aktif.

4. Tindakan —Hapus, tambahkan, atau simpan jumlah instance yang sama.

5. Hadiah — Hadiah positif untuk transaksi yang berhasil dan penalti tinggi untuk transaksi yang gagal di luar ambang batas yang ditentukan.

Tentukan lingkungan RL —Lingkungan RL dapat menjadi dunia nyata di mana agen RL berinteraksi atau simulasi dunia nyata. Anda dapat menghubungkan open source dan lingkungan kustom yang dikembangkan menggunakan antarmuka Gym dan lingkungan simulasi komersial seperti MATLAB dan Simulink.

Tentukan preset —Preset mengkonfigurasi pekerjaan pelatihan RL dan menentukan hyperparameters untuk algoritma RL.

Tulis kode pelatihan —Tulis kode pelatihan sebagai skrip Python dan teruskan skrip ke SageMaker pekerjaan pelatihan. Dalam kode pelatihan Anda, impor file lingkungan dan file preset, lalu tentukan main() fungsinya.

Latih Model RL —Gunakan SageMaker RLEstimator di Amazon SageMaker Python SDK untuk memulai pekerjaan pelatihan RL. Jika Anda menggunakan mode lokal, pekerjaan pelatihan berjalan pada instance notebook. Ketika Anda menggunakan SageMaker untuk pelatihan, Anda dapat memilih GPU atau CPU contoh. Simpan output dari pekerjaan pelatihan di direktori lokal jika Anda berlatih dalam mode lokal, atau di Amazon S3 jika Anda menggunakan SageMaker pelatihan.

RLEstimatorMembutuhkan informasi berikut sebagai parameter.

1. Direktori sumber tempat lingkungan, preset, dan kode pelatihan diunggah.

2. Jalan menuju skrip pelatihan.

3. Toolkit RL dan kerangka pembelajaran mendalam yang ingin Anda gunakan. Ini secara otomatis menyelesaikan ECR jalur Amazon untuk wadah RL.

4. Parameter pelatihan, seperti jumlah instance, nama pekerjaan, dan jalur S3 untuk output.

5. Definisi metrik yang ingin Anda tangkap di log Anda. Ini juga dapat divisualisasikan di dalam CloudWatch dan di SageMaker notebook.

Visualisasikan metrik dan output pelatihan —Setelah pekerjaan pelatihan yang menggunakan model RL selesai, Anda dapat melihat metrik yang Anda tentukan dalam pekerjaan pelatihan di,. CloudWatch Anda juga dapat memplot metrik di buku catatan dengan menggunakan pustaka analitik Amazon SageMaker SDK Python. Memvisualisasikan metrik membantu Anda memahami bagaimana kinerja model yang diukur dengan hadiah meningkat dari waktu ke waktu.

Mengevaluasi model —Data yang diperiksa dari model yang dilatih sebelumnya dapat diteruskan untuk evaluasi dan inferensi di saluran pos pemeriksaan. Dalam mode lokal, gunakan direktori lokal. Dalam mode SageMaker pelatihan, Anda perlu mengunggah data ke S3 terlebih dahulu.

Terapkan model RL —Terakhir, terapkan model terlatih pada titik akhir yang dihosting di SageMaker kontainer atau pada perangkat tepi dengan menggunakan. AWS IoT Greengrass