Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Melatih dan mengevaluasi DeepRacer model AWS menggunakan DeepRacer konsol AWS

Untuk melatih model pembelajaran penguatan, Anda dapat menggunakan DeepRacer konsol AWS. Di konsol tersebut, buat tugas pelatihan, pilih kerangka kerja yang didukung dan algoritme yang tersedia, tambahkan fungsi penghargaan, dan konfigurasikan pengaturan pelatihan. Anda juga dapat menonton pelatihan yang berlangsung di simulator. Anda dapat menemukan step-by-step instruksi diLatih DeepRacer model AWS pertama Anda .

Bagian ini menjelaskan cara melatih dan mengevaluasi DeepRacer model AWS. Bagian ini juga menunjukkan cara membuat dan meningkatkan fungsi penghargaan, bagaimana ruang tindakan memengaruhi performa model, dan bagaimana hyperparameter memengaruhi performa pelatihan. Anda juga dapat mempelajari cara mengkloning model pelatihan untuk memperpanjang sesi pelatihan, cara menggunakan simulator untuk mengevaluasi performa pelatihan, dan cara menangani beberapa simulasi untuk tantangan dunia nyata.

Buat fungsi hadiah Anda

Fungsi hadiah menjelaskan umpan balik langsung (sebagai skor hadiah atau penalti) ketika DeepRacer kendaraan AWS Anda bergerak dari satu posisi di trek ke posisi baru. Fungsi tersebut bertujuan untuk mendorong kendaraan bergerak di sepanjang lintasan untuk mencapai tujuan dengan cepat tanpa kecelakaan atau pelanggaran. Langkah yang diinginkan menghasilkan skor yang lebih tinggi untuk tindakan atau keadaan targetnya. Sebuah langkah ilegal atau boros mendapatkan skor yang lebih rendah. Saat melatih DeepRacer model AWS, fungsi hadiah adalah satu-satunya bagian khusus aplikasi.

Secara umum, Anda merancang fungsi penghargaan untuk bertindak seperti rencana insentif. Strategi insentif yang berbeda dapat mengakibatkan perilaku kendaraan yang berbeda. Untuk membuat kendaraan melaju lebih cepat, fungsi tersebut harus memberikan penghargaan bagi kendaraan untuk mengikuti lintasan. Fungsi tersebut harus mengeluarkan penalti ketika kendaraan terlalu lama menyelesaikan putaran atau keluar dari lintasan. Untuk menghindari pola mengemudi zig-zag, Fungsi tersebut bisa memberi penghargaan pada kendaraan untuk mengarahkan lebih sedikit pada bagian lintasan yang lebih lurus. Fungsi penghargaan mungkin memberikan skor positif ketika kendaraan melewati tonggak tertentu, yang diukur dengan waypoints. Hal ini bisa meringankan waktu tunda atau mengemudi ke arah yang salah. Kemungkinan juga Anda akan mengubah fungsi penghargaan untuk memperhitungkan kondisi lintasan. Namun, semakin banyak fungsi penghargaan Anda mempertimbangkan informasi spesifik lingkungan, semakin besar kemungkinan model terlatih Anda terlalu pas dan kurang umum. Untuk membuat model lebih dapat diterapkan secara umum, Anda dapat menjelajahi ruang tindakan.

Jika rencana insentif tidak dipertimbangkan dengan hati-hati, itu dapat menyebabkan konsekuensi yang tidak diinginkan dari efek sebaliknya. Hal ini dimungkinkan karena umpan balik adalah syarat yang diperlukan tetapi tidak cukup untuk pembelajaran penguatan. Penghargaan langsung individu dengan sendirinya juga tidak dapat menentukan apakah langkah itu diinginkan. Pada posisi tertentu, sebuah gerakan bisa mendapatkan penghargaan yang tinggi. Langkah selanjutnya bisa keluar lintasan dan mendapatkan skor rendah. Dalam kasus seperti itu, kendaraan harus menghindari pergerakan skor tinggi pada posisi tersebut. Hanya ketika semua pergerakan yang akan datang dari posisi tertentu menghasilkan skor tinggi rata-rata, perpindahan ke posisi berikutnya dianggap diinginkan. Umpan balik yang akan datang didiskon pada tingkat yang memungkinkan hanya sejumlah pergerakan kecil atau posisi di masa depan untuk dimasukkan dalam perhitungan hadiah rata-rata.

Praktik yang bagus untuk membuat fungsi penghargaan adalah mulai dengan yang sederhana serta mencakup skenario dasar. Anda dapat meningkatkan fungsi untuk menangani lebih banyak tindakan. Sekarang mari kita lihat beberapa fungsi penghargaan sederhana.

Contoh fungsi hadiah sederhana

Kita bisa mulai membangun fungsi penghargaan dengan terlebih dahulu mempertimbangkan situasi yang paling mendasar. Situasi mengemudi di lintasan lurus dari awal hingga akhir tanpa keluar lintasan. Dalam skenario ini, logika fungsi hadiah hanya bergantung pada on_track dan progress. Sebagai percobaan, Anda bisa mulai dengan logika berikut:

def reward_function(params):
    if not params["all_wheels_on_track"]:
        reward = -1
    else if params["progress"] == 1 :
        reward = 10
    return reward

Logika ini menghukum agen ketika keluar lintasan. Logika ini memberi penghargaan kepada agen saat melaju ke garis finis. Logika ini masuk akal untuk mencapai tujuan yang dinyatakan. Namun, agen berkeliaran dengan bebas antara titik awal dan garis akhir, termasuk mengemudi mundur di lintasan. Pelatihan tidak hanya membutuhkan waktu lama untuk diselesaikan, tetapi juga model yang terlatih akan menyebabkan mengemudi yang kurang efisien saat di-deploy ke kendaraan dunia nyata.

Dalam praktiknya, seorang agen belajar lebih efektif jika dapat melakukannya bit-by-bit selama pelatihan. Ini menyiratkan bahwa fungsi penghargaan harus memberikan penghargaan yang lebih kecil selangkah demi selangkah di sepanjang lintasan. Agar agen dapat mengemudi di lintasan lurus, kami dapat meningkatkan fungsi penghargaan sebagai berikut:

def reward_function(params):
    if not params["all_wheels_on_track"]:
        reward = -1
    else:
        reward = params["progress"]
    return reward

Dengan fungsi ini, agen mendapatkan lebih banyak penghargaan jika semakin dekat dengan garis finis. Agen harus mengurangi atau menghilangkan uji coba mengemudi mundur yang tidak produktif. Secara umum, kami ingin fungsi penghargaan mendistribusikan penghargaan secara lebih merata di ruang tindakan. Menciptakan fungsi penghargaan yang efektif bisa menjadi tugas yang menantang. Anda harus memulai dengan yang sederhana dan secara bertahap meningkatkan atau meningkatkan fungsinya. Dengan eksperimen yang sistematis, fungsi tersebut dapat menjadi lebih tangguh dan efisien.

Tingkatkan fungsi hadiah Anda

Setelah Anda berhasil melatih DeepRacer model AWS Anda untuk jalur lurus sederhana, DeepRacer kendaraan AWS (virtual atau fisik) dapat mengemudi sendiri tanpa keluar jalur. Jika Anda membiarkan kendaraan berjalan di lintasan melingkar, kendaraan tidak akan tetap di lintasan. Fungsi penghargaan telah mengabaikan tindakan untuk berbelok mengikuti lintasan.

Untuk membuat kendaraan Anda menangani tindakan tersebut, Anda harus meningkatkan fungsi penghargaan. Fungsi tersebut harus memberikan penghargaan ketika agen melakukan belokan yang diperbolehkan dan menghasilkan penalti jika agen melakukan belokan yang ilegal. Lalu, Anda siap untuk memulai putaran pelatihan lainnya. Untuk memanfaatkan pelatihan sebelumnya, Anda dapat memulai pelatihan baru dengan mengkloning model yang telah dilatih sebelumnya, meneruskan pengetahuan yang telah dipelajari sebelumnya. Anda dapat mengikuti pola ini untuk secara bertahap menambahkan lebih banyak fitur ke fungsi reward untuk melatih DeepRacer kendaraan AWS Anda untuk mengemudi di lingkungan yang semakin kompleks.

Untuk fungsi penghargaan lanjutan, lihat contoh berikut:

Jelajahi ruang aksi untuk melatih model yang tangguh

Sebagai aturan umum, latih model Anda agar setangguh mungkin agar Anda dapat menerapkannya ke sebanyak mungkin lingkungan. Model tangguh adalah model yang dapat diterapkan pada berbagai bentuk dan kondisi lintasan. Secara umum, model yang tangguh tidak "pintar" karena fungsi penghargaannya tidak memiliki kemampuan untuk memuat pengetahuan spesifik lingkungan yang eksplisit. Jika tidak, model Anda kemungkinan hanya dapat diterapkan pada lingkungan yang serupa dengan lingkungan terlatih.

Memasukkan informasi spesifik lingkungan secara eksplisit ke dalam fungsi penghargaan sama dengan rekayasa fitur. Rekayasa fitur membantu mengurangi waktu pelatihan dan dapat berguna dalam solusi yang dibuat khusus untuk lingkungan tertentu. Untuk melatih model penerapan umum, Anda harus menahan untuk mencoba banyak rekayasa fitur.

Misalnya, saat melatih model pada lintasan melingkar, Anda tidak dapat berharap mendapatkan model terlatih yang berlaku untuk lintasan non-lingkaran mana pun jika Anda memiliki properti geometris yang secara eksplisit dimasukkan ke dalam fungsi penghargaan.

Bagaimana Anda melatih model setangguh mungkin selagi menjaga fungsi penghargaan sesederhana mungkin? Salah satu caranya adalah dengan menjelajahi ruang tindakan yang mencakup tindakan yang dapat dilakukan agen Anda. Cara yang lain adalah untuk bereksperimen dengan hyperparameter dari algoritme pelatihan yang mendasarinya. Sering kali, Anda melakukan keduanya. Di sini, kami fokus pada cara menjelajahi ruang aksi untuk melatih model yang kuat untuk DeepRacer kendaraan AWS Anda.

Dalam melatih DeepRacer model AWS, aksi (a) adalah kombinasi kecepatan (tmeter per detik) dan sudut kemudi (sdalam derajat). Ruang tindakan agen menentukan rentang kecepatan dan sudut kemudi yang dapat diambil agen. Untuk ruang aksi diskrit m jumlah kecepatan, (v1, .., vn) dan n jumlah sudut kemudi, (s1, .., sm), ada m*n tindakan yang mungkin dalam ruang aksi:

a1:           (v1, s1)
...
an:           (v1, sn)

...
a(i-1)*n+j:   (vi, sj)
...

a(m-1)*n+1:   (vm, s1)
...
am*n:         (vm, sn)

Nilai sebenarnya dari (vi, sj) bergantung pada rentang vmax dan |smax| dan tidak terdistribusi secara merata.

Setiap kali Anda memulai pelatihan atau iterasi DeepRacer model AWS Anda, Anda harus terlebih dahulu menentukann,m, vmax dan |smax| atau setuju untuk menggunakan nilai default mereka. Berdasarkan pilihan Anda, DeepRacer layanan AWS menghasilkan tindakan yang tersedia yang dapat dipilih agen Anda dalam pelatihan. Tindakan yang dihasilkan tidak terdistribusi secara merata di ruang tindakan.

Secara umum, jumlah tindakan yang lebih besar dan rentang tindakan yang lebih besar memberi agen Anda lebih banyak ruang atau opsi untuk bereaksi terhadap kondisi lintasan yang lebih bervariasi, seperti lintasan melengkung dengan sudut atau arah belok yang tidak beraturan. Semakin banyak opsi yang tersedia bagi agen, semakin mudah ia menangani variasi lintasan. Hasilnya, Anda dapat berharap bahwa model yang dilatih akan lebih dapat diterapkan secara luas, bahkan saat menggunakan fungsi penghargaan sederhana .

Misalnya, agen Anda dapat belajar dengan cepat untuk menangani lintasan garis lurus menggunakan ruang tindakan tidak halus dengan sejumlah kecepatan dan sudut kemudi yang kecil. Pada lintasan melengkung, ruang tindakan tidak halus ini cenderung menyebabkan agen melampaui batas dan keluar lintasan saat berbelok. Hal ini terjadi karena tidak ada cukup pilihan yang tersedia untuk menyesuaikan kecepatan atau kemudinya. Meningkatkan jumlah kecepatan atau jumlah sudut kemudi atau keduanya, agen harus mampu bermanuver lebih di tikungan selagi tetap berada di lintasan. Demikian pula, jika agen Anda bergerak dengan cara zig-zag, Anda dapat mencoba meningkatkan jumlah rentang kemudi untuk mengurangi belokan drastis pada setiap langkah tertentu.

Ketika ruang tindakan terlalu besar, performa pelatihan mungkin terganggu, karena perlu waktu lebih lama untuk menjelajahi ruang tindakan. Pastikan untuk menyeimbangkan manfaat penerapan umum model terhadap persyaratan performa pelatihannya. Optimalisasi ini melibatkan eksperimen sistematis.

Secara sistematis menyetel hyperparameter

Salah satu cara untuk meningkatkan performa model Anda adalah dengan memberlakukan proses pelatihan yang lebih baik atau lebih efektif. Misalnya, untuk mendapatkan model yang tangguh, pelatihan harus menyediakan sampel yang didistribusikan secara merata kepada agen Anda di ruang tindakan agen. Hal ini membutuhkan perpaduan yang cukup antara eksplorasi dan eksploitasi. Variabel yang mempengaruhi hal ini termasuk jumlah data pelatihan yang digunakan (number of episodes between each training dan batch size), seberapa cepat agen dapat belajar (learning rate), porsi dari eksplorasi (entropy). Anda mungkin ingin mempercepat proses pembelajaran agar pelatihan menjadi praktis. Variabel yang mempengaruhi hal ini antara lain learning rate, batch size, number of epochs dan discount factor.

Variabel yang mempengaruhi proses pelatihan dikenal sebagai hyperparameter dari pelatihan. Atribut algoritme ini bukan properti dari model yang mendasarinya. Sayangnya, hyperparameter bersifat empiris. Nilai optimalnya tidak diketahui untuk semua tujuan praktis dan memerlukan eksperimen sistematis untuk diturunkan.

Sebelum membahas hyperparameter yang dapat disesuaikan untuk menyesuaikan kinerja pelatihan DeepRacer model AWS Anda, mari kita tentukan terminologi berikut.

Memeriksa kemajuan pekerjaan DeepRacer pelatihan AWS

Setelah memulai tugas pelatihan, Anda dapat memeriksa metrik penghargaan pelatihan dan melacak penyelesaian per episode untuk memastikan performa tugas pelatihan model Anda. Pada DeepRacer konsol AWS, metrik ditampilkan dalam grafik Reward, seperti yang ditunjukkan pada ilustrasi berikut.

Anda dapat memilih untuk melihat penghargaan yang diperoleh per episode, penghargaan rata-rata per iterasi, kemajuan per episode, kemajuan rata-rata per iterasi atau kombinasi dari semuanya. Untuk melakukannya, alihkan sakelar Penghargaan (Episode, Rata-rata) atau Kemajuan (Episode, Rata-rata) di bagian bawah Grafik penghargaan. Penghargaan dan kemajuan per episode ditampilkan sebagai plot yang tersebar dalam berbagai warna. Penghargaan rata-rata dan penyelesaian lintasan ditampilkan oleh garis plot dan dimulai setelah iterasi pertama.

Rentang penghargaan ditampilkan di sisi kiri grafik dan rentang kemajuan (0-100) ada di sisi kanan. Untuk membaca nilai yang tepat dari metrik pelatihan, gerakkan mouse ke dekat titik data pada grafik.

Grafik diperbarui secara otomatis setiap 10 detik saat pelatihan sedang berlangsung. Anda dapat memilih tombol refresh untuk memperbarui tampilan metrik secara manual.

Tugas pelatihan bagus jika penghargaan rata-rata dan penyelesaian lintasan menunjukkan tren untuk bertemu. Secara khusus, model tersebut kemungkinan telah menyatu jika kemajuan per episode terus menerus mencapai 100% dan tingkat penghargaannya keluar. Jika tidak, kloning model dan latih kembali.

Kloning model terlatih untuk memulai pass pelatihan baru

Jika Anda mengkloning model yang dilatih sebelumnya sebagai titik awal dari putaran baru pelatihan, Anda dapat meningkatkan efisiensi pelatihan. Untuk melakukan ini, ubah hyperparameter untuk memanfaatkan pengetahuan yang sudah dipelajari.

Di bagian ini, Anda mempelajari cara mengkloning model terlatih menggunakan DeepRacer konsol AWS.

Seperti halnya melatih model machine learning yang tangguh secara umum, penting bagi Anda untuk melakukan eksperimen sistematis untuk menghasilkan solusi terbaik.

Mengevaluasi DeepRacer model AWS dalam simulasi

Tujuan mengevaluasi model adalah untuk menguji performa model terlatih. Di AWSDeepRacer, metrik kinerja standar adalah waktu rata-rata menyelesaikan tiga putaran berturut-turut. Dengan menggunakan metrik ini, untuk dua model apa pun, satu model lebih baik daripada yang lain jika dapat membuat agen bergerak lebih cepat di jalur yang sama.

Secara umum, mengevaluasi model melibatkan tugas-tugas berikut:

Uji DeepRacer model AWS dengan DeepRacer kendaraan AWS yang mengemudi di trek fisik, lihatOperasikan DeepRacer kendaraan AWS Anda .

Optimalkan DeepRacer model AWS pelatihan untuk lingkungan nyata

Banyak faktor yang mempengaruhi performa dunia nyata dari model yang dilatih, termasuk pilihan ruang tindakan, fungsi penghargaan, hyperparameter yang digunakan dalam pelatihan, dan kalibrasi kendaraan serta kondisi lintasan di dunia nyata . Selain itu, simulasi hanya merupakan perkiraan (sering tidak akurat) dari dunia nyata. Pelatihan ini menjadikannya tantangan untuk melatih model dalam simulasi, menerapkannya ke dunia nyata, dan mencapai performa yang memuaskan.

Melatih model untuk memberikan performa dunia nyata yang solid sering kali membutuhkan banyak iterasi untuk mengeksplorasi fungsi penghargaan, ruang tindakan, hyperparameter, dan evaluasi dalam simulasi dan Pengujian di lingkungan nyata. Langkah terakhir melibatkan apa yang disebut transfer simulation-to-realdunia (sim2real) dan bisa terasa berat.

Untuk membantu mengatasi tantangan sim2real, perhatikan pertimbangan berikut: