Mengukur ketidakpastian dalam sistem pembelajaran mendalam - AWS Bimbingan Preskriptif
Pengantar

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengukur ketidakpastian dalam sistem pembelajaran mendalam

Josiah Davis, Jason Zhu, dan Jeremy Oldfather, Amazon Web Services (AWS)

Samual MacDonald dan Maciej Trzaskowski, Max Kelsen

Agustus 2020(Riwayat dokumen)

Menyampaikan solusi pembelajaran mesin (ML) untuk produksi sangatlah sulit. Tidak mudah untuk mengetahui harus mulai dari mana, alat dan teknik mana yang akan digunakan, dan apakah Anda melakukannya dengan benar. Profesional ML menggunakan teknik yang berbeda berdasarkan pengalaman masing-masing, atau mereka menggunakan alat yang ditentukan yang dikembangkan dalam perusahaan mereka. Dalam kedua kasus tersebut, memutuskan apa yang harus dilakukan, menerapkan solusi, dan mempertahankannya memerlukan investasi yang signifikan dalam waktu dan sumber daya. Meskipun teknik ML yang ada membantu mempercepat bagian proses, mengintegrasikan teknik-teknik ini untuk memberikan solusi yang kuat membutuhkan kerja selama berbulan-bulan. Panduan ini adalah bagian pertama dari rangkaian konten yang berfokus pada pembelajaran mesin dan memberikan contoh bagaimana Anda dapat memulai dengan cepat. Tujuan dari seri ini adalah untuk membantu Anda menstandarisasi pendekatan ML Anda, membuat keputusan desain, dan memberikan solusi ML Anda secara efisien. Kami akan menerbitkan panduan mL tambahan dalam beberapa bulan mendatang, jadi silakan periksaAWSPedoman Preskriptifsitus web untuk pembaruan.

Panduan ini mengeksplorasi teknik terkini untuk mengukur dan mengelola ketidakpastian dalam sistem pembelajaran mendalam, untuk meningkatkan pemodelan prediktif dalam solusi ML. Konten ini diperuntukkan bagi para ilmuwan data, teknisi data, insinyur perangkat lunak, dan pemimpin ilmu data yang ingin memberikan solusi ML berkualitas tinggi dan siap produksi secara efisien dan sesuai skala. Informasi ini relevan untuk ilmuwan data terlepas dari lingkungan cloud mereka atau Amazon Web Services (AWS) layanan yang mereka gunakan atau berencana untuk digunakan.

Panduan ini mengasumsikan keakraban dengan konsep pengantar dalam probabilitas dan pembelajaran mendalam. Untuk saran tentang membangun kompetensi machine learning di organisasi Anda, lihatDeep learningdi situs Coursera, atau sumber daya diMachine Learning: Ilmuwan Datahalaman diAWSSitus web Pelatihan dan Sertifikasi.

Pengantar

Jika keberhasilan dalam ilmu data didefinisikan oleh kinerja prediktif model kami, pembelajaran mendalam tentu saja merupakan pemain yang kuat. Hal ini terutama berlaku untuk solusi yang menggunakan pola non-linear, dimensi tinggi dari dataset yang sangat besar. Namun, jika kesuksesan juga didefinisikan oleh kemampuan untuk bernalar dengan ketidakpastian dan mendeteksi kegagalan dalam produksi, kemanjuran pembelajaran mendalam menjadi dipertanyakan. Bagaimana cara terbaik kita mengukur ketidakpastian? Bagaimana kita menggunakan ketidakpastian ini untuk mengelola risiko? Apa patologi ketidakpastian yang menantang keandalan, dan karena itu keamanan, produk kami? Dan bagaimana kita bisa mengatasi tantangan seperti itu?

Panduan ini:

  • Memperkenalkan motivasi untuk mengukur ketidakpastian dalam sistem pembelajaran mendalam

  • Menjelaskan konsep-konsep penting dalam probabilitas yang berhubungan dengan pembelajaran mendalam

  • Menunjukkan arus state-of-the-art teknik untuk mengukur ketidakpastian dalam sistem pembelajaran mendalam, menyoroti manfaat dan keterbatasan terkait

  • Telusuri teknik ini dalam pengaturan transfer learning pemrosesan bahasa alami (NLP)

  • Memberikan studi kasus yang terinspirasi oleh proyek yang dilakukan dalam pengaturan serupa

Seperti yang dibahas dalam panduan ini, ketika mengukur ketidakpastian dalam pembelajaran mendalam, aturan praktis yang baik adalah menggunakan penskalaan suhu dengan ansambel yang dalam.

  • Penskalaan suhu adalah alat yang ideal untuk menafsirkan perkiraan ketidakpastian ketika data dapat dipertimbangkan dalam distribusi (Guo dkk 2017).

  • Deep ensemble menyediakan state-of-the-art perkiraan ketidakpastian kapan data keluar dari distribusi (Ovadia dkk 2019).

Jika jejak memori model hosting menjadi perhatian, Anda dapat menggunakan putus sekolah Monte Carlo (MC) sebagai pengganti ansambel yang dalam. Dalam kasus transfer learning, pertimbangkan untuk menggunakan MC dropout atau deep ensemble dengan MC dropout.