Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

CloudWatch solusi: beban kerja GPU NVIDIA di Amazon EC2

Solusi ini membantu Anda mengonfigurasi pengumpulan metrik out-of-the-box menggunakan CloudWatch agen untuk beban kerja GPU NVIDIA yang berjalan pada instans EC2. Selain itu, ini membantu Anda mengatur CloudWatch dasbor yang telah dikonfigurasi sebelumnya. Untuk informasi umum tentang semua solusi CloudWatch pengamatan, lihatCloudWatch solusi pengamatan.

Persyaratan

Solusi ini relevan untuk kondisi berikut:

Manfaat

Solusi ini memberikan pemantauan NVIDIA, memberikan wawasan berharga untuk kasus penggunaan berikut:

Di bawah ini adalah keuntungan utama dari solusi ini:

Gambar berikut adalah contoh dasbor untuk solusi ini.

Biaya

Solusi ini membuat dan menggunakan sumber daya di akun Anda. Anda dikenai biaya untuk penggunaan standar, termasuk yang berikut:

Untuk informasi selengkapnya tentang CloudWatch harga, lihat CloudWatch Harga Amazon.

Kalkulator harga dapat membantu Anda memperkirakan perkiraan biaya bulanan untuk menggunakan solusi ini.

CloudWatch konfigurasi agen untuk solusi ini

CloudWatch Agen adalah perangkat lunak yang berjalan terus menerus dan mandiri di server Anda dan di lingkungan kontainer. Ini mengumpulkan metrik, log, dan jejak dari infrastruktur dan aplikasi Anda dan mengirimkannya ke CloudWatch dan X-Ray.

Untuk informasi lebih lanjut tentang CloudWatch agen, lihatKumpulkan metrik, log, dan jejak menggunakan CloudWatch agen.

Konfigurasi agen dalam solusi ini mengumpulkan serangkaian metrik untuk membantu Anda mulai memantau dan mengamati GPU NVIDIA Anda. CloudWatch Agen dapat dikonfigurasi untuk mengumpulkan lebih banyak metrik GPU NVIDIA daripada tampilan dasbor secara default. Untuk daftar semua metrik GPU NVIDIA yang dapat Anda kumpulkan, lihatKumpulkan metrik GPU NVIDIA.

Konfigurasi agen untuk solusi ini

Metrik yang dikumpulkan oleh agen ditentukan dalam konfigurasi agen. Solusi ini menyediakan konfigurasi agen untuk mengumpulkan metrik yang direkomendasikan dengan dimensi yang sesuai untuk dasbor solusi.

Gunakan konfigurasi CloudWatch agen berikut pada instans EC2 dengan GPU NVIDIA. Konfigurasi akan disimpan sebagai parameter di Penyimpanan Parameter SSM, seperti yang dijelaskan nanti. Langkah 2: Simpan file konfigurasi CloudWatch agen yang direkomendasikan di Penyimpanan Parameter Manajer Sistem

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

Menyebarkan agen untuk solusi Anda

Ada beberapa pendekatan untuk menginstal CloudWatch agen, tergantung pada kasus penggunaan. Kami merekomendasikan menggunakan Manajer Sistem untuk solusi ini. Ini memberikan pengalaman konsol dan membuatnya lebih mudah untuk mengelola armada server terkelola dalam satu AWS akun. Petunjuk di bagian ini menggunakan Manajer Sistem dan ditujukan untuk saat Anda tidak menjalankan CloudWatch agen dengan konfigurasi yang ada. Anda dapat memeriksa apakah CloudWatch agen sedang berjalan dengan mengikuti langkah-langkah diVerifikasi bahwa CloudWatch agen sedang berjalan.

Jika Anda sudah menjalankan CloudWatch agen di host EC2 tempat beban kerja digunakan dan mengelola konfigurasi agen, Anda dapat melewati petunjuk di bagian ini dan mengikuti mekanisme penerapan yang ada untuk memperbarui konfigurasi. Pastikan untuk menggabungkan konfigurasi agen GPU NVIDIA dengan konfigurasi agen yang ada, lalu terapkan konfigurasi gabungan. Jika Anda menggunakan Manajer Sistem untuk menyimpan dan mengelola konfigurasi untuk CloudWatch agen, Anda dapat menggabungkan konfigurasi ke nilai parameter yang ada. Untuk informasi selengkapnya, lihat Mengel CloudWatch ola file konfigurasi agen.

Proses penerapan meliputi langkah-langkah berikut:

Langkah 1: Pastikan instans EC2 target memiliki izin IAM yang diperlukan

Anda harus memberikan izin bagi Manajer Sistem untuk menginstal dan mengkonfigurasi CloudWatch agen. Anda juga harus memberikan izin kepada CloudWatch agen untuk menerbitkan telemetri dari instans EC2 Anda ke. CloudWatch Pastikan peran IAM yang dilampirkan ke instans memiliki kebijakan CloudWatchAgentServerPolicy dan AmazonSSMManagedInstanceCore IAM yang terlampir.

Langkah 2: Simpan file konfigurasi CloudWatch agen yang direkomendasikan di Penyimpanan Parameter Manajer Sistem

Parameter Store menyederhanakan penginst CloudWatch alan agen pada instans EC2 dengan menyimpan dan mengelola parameter konfigurasi dengan aman, menghilangkan kebutuhan akan nilai hardcode. Ini memastikan proses penerapan yang lebih aman dan fleksibel, memungkinkan manajemen terpusat dan pembaruan konfigurasi yang lebih mudah di beberapa instans.

Gunakan langkah-langkah berikut untuk menyimpan file konfigurasi CloudWatch agen yang direkomendasikan sebagai parameter di Penyimpanan Parameter.

Langkah 3: Instal CloudWatch agen dan terapkan konfigurasi menggunakan CloudFormation templat

Anda dapat menggunakan AWS CloudFormation untuk menginstal agen dan mengonfigurasinya untuk menggunakan konfigurasi CloudWatch agen yang Anda buat pada langkah sebelumnya.

Jika Anda ingin mengedit file template terlebih dahulu untuk menyesuaikannya, pilih opsi Ungg ah file template di bawah Create Stack Wizard untuk mengunggah template yang diedit. Untuk informasi selengkapnya, lihat Membuat tumpukan di CloudFormation konsol.

Langkah 4: Verifikasi pengaturan agen dikonfigurasi dengan benar

Anda dapat memverifikasi apakah CloudWatch agen diinstal dengan mengikuti langkah-langkah diVerifikasi bahwa CloudWatch agen sedang berjalan. Jika CloudWatch agen tidak diinstal dan berjalan, pastikan Anda telah mengatur semuanya dengan benar.

Jika semuanya diatur dengan benar, maka Anda akan melihat metrik GPU NVIDIA sedang dipublikasikan CloudWatch. Anda dapat memeriksa CloudWatch konsol untuk memverifikasi bahwa mereka sedang dipublikasikan.

Buat dasbor solusi NVIDIA GPU

Dasbor yang disediakan oleh solusi ini menyajikan metrik GPU NVIDIA dengan menggabungkan dan menyajikan metrik di semua instance. Dasbor menunjukkan rincian kontributor teratas (10 teratas per widget metrik) untuk setiap metrik. Ini membantu Anda mengidentifikasi outlier atau instance dengan cepat yang secara signifikan berkontribusi pada metrik yang diamati.

Untuk membuat dasbor, Anda dapat menggunakan opsi berikut:

Dengan menggunakan CloudWatch konsol untuk membuat dasbor, Anda dapat melihat pratinjau dasbor sebelum benar-benar membuat dan dikenakan biaya.

Jika Anda ingin mengedit file template untuk menyesuaikannya untuk tujuan apa pun, Anda dapat menggunakan opsi Ungg ah file template di bawah Create Stack Wizard untuk mengunggah template yang diedit. Untuk informasi selengkapnya, lihat Membuat tumpukan di CloudFormation konsol. Anda dapat menggunakan tautan ini untuk mengunduh template: https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json.

Memulai dengan dasbor GPU NVIDIA

Berikut adalah beberapa tugas yang dapat Anda coba dengan dasbor GPU NVIDIA baru. Tugas-tugas ini memungkinkan Anda untuk memvalidasi bahwa dasbor berfungsi dengan benar dan memberi Anda beberapa pengalaman langsung menggunakannya untuk memantau GPU NVIDIA Anda. Saat Anda mencobanya, Anda akan terbiasa menavigasi dasbor dan menafsirkan metrik yang divisualisasikan.

Tinjau pemanfaatan GPU

Dari bagian Pem anfaatan, temukan widget Pemanfaatan GPU dan Pem anfaatan Memori. Ini menunjukkan persentase waktu GPU secara aktif digunakan untuk perhitungan dan persentase memori global yang dibaca atau ditulis, masing-masing. Pemanfaatan yang tinggi dapat menunjukkan potensi hambatan kinerja atau kebutuhan akan sumber daya GPU tambahan.

Analisis penggunaan memori GPU

Di bagian Memori, temukan widget Total Memory, Used Memory, dan Free Memory. Ini memberikan wawasan tentang kapasitas memori keseluruhan GPU dan berapa banyak memori yang saat ini dikonsumsi atau tersedia. Tekanan memori dapat menyebabkan masalah kinerja atau kesalahan kehabisan memori, jadi penting untuk memantau metrik ini dan memastikan memori yang cukup tersedia untuk beban kerja Anda.

Pantau suhu dan daya tarik

Di bagian Temperature/ Power, temukan widget Suhu GPU dan Power Draw. Metrik ini penting untuk memastikan bahwa GPU Anda beroperasi dalam batas termal dan daya yang aman.

Identifikasi kinerja encoder

Di bagian Encoder, temukan widget Encoder Session Count, Average FPS, dan Rata-rata Latensi. Metrik ini relevan jika Anda menjalankan beban kerja pengkodean video pada GPU Anda. Pantau metrik ini untuk memastikan bahwa encoder Anda berkinerja optimal dan mengidentifikasi potensi hambatan atau masalah kinerja.

Periksa status tautan PCIe

Di bagian PCIe, temukan widget PCIe Link Generation dan PCIe Link Width. Metrik ini memberikan informasi tentang tautan PCIe yang menghubungkan GPU ke sistem host. Pastikan tautan beroperasi pada generasi dan lebar yang diharapkan untuk menghindari potensi keterbatasan kinerja karena kemacetan PCIe.

Tinjau jam GPU

Di bagian Jam, temukan widget Jam Grafis, Jam SM, Jam Mem ori, dan Jam Video. Metrik ini menunjukkan frekuensi operasi saat ini dari berbagai komponen GPU. Memantau jam ini dapat membantu mengidentifikasi masalah potensial dengan penskalaan jam GPU atau pelambatan frekuensi, yang dapat memengaruhi kinerja.