Meluncurkan Instance DLAMI dengan Neuron AWS - AWS Deep Learning AMIs
Verifikasi Instance AndaMengidentifikasi Perangkat AWS InferensiaLihat Penggunaan Sumber DayaMenggunakan Neuron Monitor (neuron-monitor)Meningkatkan Perangkat Lunak Neuron

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Meluncurkan Instance DLAMI dengan Neuron AWS

DLAMI terbaru siap digunakan AWS dengan Inferentia dan dilengkapi dengan AWS paket Neuron API. Untuk meluncurkan instans DLAMI, lihat Meluncurkan dan Mengonfigurasi DLAMI. Setelah Anda memiliki DLAMI, gunakan langkah-langkah di sini untuk memastikan bahwa chip Inferentia AWS dan sumber daya Neuron AWS Anda aktif.

Verifikasi Instance Anda

Sebelum menggunakan instance Anda, verifikasi bahwa itu diatur dan dikonfigurasi dengan benar dengan Neuron.

Mengidentifikasi Perangkat AWS Inferensia

Untuk mengidentifikasi jumlah perangkat Inferentia pada instans Anda, gunakan perintah berikut: 

neuron-ls

Jika instans Anda memiliki perangkat Inferentia yang terpasang padanya, output Anda akan terlihat mirip dengan yang berikut ini: 

+--------+--------+--------+-----------+--------------+
| NEURON | NEURON | NEURON | CONNECTED |     PCI      |
| DEVICE | CORES  | MEMORY |  DEVICES  |     BDF      |
+--------+--------+--------+-----------+--------------+
| 0      | 4      | 8 GB   | 1         | 0000:00:1c.0 |
| 1      | 4      | 8 GB   | 2, 0      | 0000:00:1d.0 |
| 2      | 4      | 8 GB   | 3, 1      | 0000:00:1e.0 |
| 3      | 4      | 8 GB   | 2         | 0000:00:1f.0 |
+--------+--------+--------+-----------+--------------+

Output yang disediakan diambil dari instance INF1.6xLarge dan menyertakan kolom berikut:

  • PERANGKAT NEURON: ID logis yang ditetapkan ke NeuronDevice. ID ini digunakan saat mengonfigurasi beberapa runtime untuk menggunakan yang berbeda. NeuronDevices

  • NEURON CORES: Jumlah NeuronCores hadir di NeuronDevice.

  • MEMORI NEURON: Jumlah memori DRAM di. NeuronDevice

  • PERANGKAT YANG TERHUBUNG: Lainnya NeuronDevices terhubung ke NeuronDevice.

  • PCI BDF: ID Fungsi Perangkat Bus PCI (BDF) dari file. NeuronDevice

Lihat Penggunaan Sumber Daya

Lihat informasi yang berguna tentang NeuronCore dan pemanfaatan vCPU, penggunaan memori, model yang dimuat, dan aplikasi Neuron dengan perintah. neuron-top neuron-topPeluncuran tanpa argumen akan menampilkan data untuk semua aplikasi pembelajaran mesin yang memanfaatkan NeuronCores. 

neuron-top

Ketika aplikasi menggunakan empat NeuronCores, output akan terlihat mirip dengan gambar berikut:

Output dari neuron-top perintah, dengan informasi untuk salah satu dari empat yang NeuronCores disorot.

Untuk informasi lebih lanjut tentang sumber daya untuk memantau dan mengoptimalkan aplikasi inferensi berbasis Neuron, lihat Alat Neuron.

Menggunakan Neuron Monitor (neuron-monitor)

Neuron Monitor mengumpulkan metrik dari runtime Neuron yang berjalan di sistem dan mengalirkan data yang dikumpulkan ke stdout dalam format JSON. Metrik ini diatur ke dalam grup metrik yang Anda konfigurasikan dengan menyediakan file konfigurasi. Untuk informasi lebih lanjut tentang Monitor Neuron, lihat Panduan Pengguna untuk Monitor Neuron.

Meningkatkan Perangkat Lunak Neuron

Untuk informasi tentang cara memperbarui perangkat lunak Neuron SDK dalam DLAMI, lihat AWS Panduan Pengaturan Neuron.

Langkah Selanjutnya

Menggunakan DLAMI dengan Neuron AWS