Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

CloudWatch solusi: NVIDIA GPU beban kerja di Amazon EC2

Solusi ini membantu Anda mengonfigurasi pengumpulan out-of-the-box metrik menggunakan CloudWatch agen untuk NVIDIA GPU beban kerja yang berjalan pada EC2 instance. Selain itu, ini membantu Anda mengatur CloudWatch dasbor yang telah dikonfigurasi sebelumnya. Untuk informasi umum tentang semua solusi CloudWatch observabilitas, lihatCloudWatch solusi observabilitas.

Persyaratan

Solusi ini relevan untuk kondisi berikut:

Manfaat

Solusi ini memberikan NVIDIA pemantauan, memberikan wawasan berharga untuk kasus penggunaan berikut:

Di bawah ini adalah keuntungan utama dari solusi ini:

Gambar berikut adalah contoh dasbor untuk solusi ini.

Biaya

Solusi ini membuat dan menggunakan sumber daya di akun Anda. Anda dikenakan biaya untuk penggunaan standar, termasuk yang berikut:

Untuk informasi selengkapnya tentang CloudWatch harga, lihat CloudWatch Harga Amazon.

Kalkulator harga dapat membantu Anda memperkirakan perkiraan biaya bulanan untuk menggunakan solusi ini.

CloudWatch konfigurasi agen untuk solusi ini

CloudWatch Agen adalah perangkat lunak yang berjalan terus menerus dan otonom di server Anda dan di lingkungan kontainer. Ini mengumpulkan metrik, log, dan jejak dari infrastruktur dan aplikasi Anda dan mengirimkannya ke dan CloudWatch X-Ray.

Untuk informasi lebih lanjut tentang CloudWatch agen, lihatKumpulkan metrik, log, dan jejak dengan agen CloudWatch .

Konfigurasi agen dalam solusi ini mengumpulkan satu set metrik untuk membantu Anda mulai memantau dan mengamati Anda. NVIDIA GPU CloudWatch Agen dapat dikonfigurasi untuk mengumpulkan lebih banyak NVIDIA GPU metrik daripada tampilan dasbor secara default. Untuk daftar semua NVIDIA GPU metrik yang dapat Anda kumpulkan, lihatKumpulkan NVIDIA GPU metrik.

Konfigurasi agen untuk solusi ini

Metrik yang dikumpulkan oleh agen ditentukan dalam konfigurasi agen. Solusi ini menyediakan konfigurasi agen untuk mengumpulkan metrik yang direkomendasikan dengan dimensi yang sesuai untuk dasbor solusi.

Gunakan konfigurasi CloudWatch agen berikut pada EC2 instance dengan NVIDIAGPUs. Konfigurasi akan disimpan sebagai parameter di SSM Parameter Store, seperti yang dijelaskan nantiLangkah 2: Simpan file konfigurasi CloudWatch agen yang direkomendasikan di Systems Manager Parameter Store.

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

Menyebarkan agen untuk solusi Anda

Ada beberapa pendekatan untuk menginstal CloudWatch agen, tergantung pada kasus penggunaan. Sebaiknya gunakan Systems Manager untuk solusi ini. Ini memberikan pengalaman konsol dan membuatnya lebih mudah untuk mengelola armada server yang dikelola dalam satu AWS akun. Petunjuk di bagian ini menggunakan Systems Manager dan ditujukan untuk saat Anda tidak menjalankan CloudWatch agen dengan konfigurasi yang ada. Anda dapat memeriksa apakah CloudWatch agen berjalan dengan mengikuti langkah-langkah diVerifikasi bahwa CloudWatch agen sedang berjalan.

Jika Anda sudah menjalankan CloudWatch agen di EC2 host tempat beban kerja diterapkan dan mengelola konfigurasi agen, Anda dapat melewati instruksi di bagian ini dan mengikuti mekanisme penerapan yang ada untuk memperbarui konfigurasi. Pastikan untuk menggabungkan konfigurasi agen NVIDIA GPU dengan konfigurasi agen yang ada, lalu menerapkan konfigurasi gabungan. Jika Anda menggunakan Systems Manager untuk menyimpan dan mengelola konfigurasi CloudWatch agen, Anda dapat menggabungkan konfigurasi ke nilai parameter yang ada. Untuk informasi selengkapnya, lihat Mengelola file konfigurasi CloudWatch agen.

Proses penyebaran mencakup langkah-langkah berikut:

Langkah 1: Pastikan EC2 instance target memiliki izin yang diperlukan IAM

Anda harus memberikan izin kepada Systems Manager untuk menginstal dan mengkonfigurasi CloudWatch agen. Anda juga harus memberikan izin kepada CloudWatch agen untuk mempublikasikan telemetri dari EC2 instans Anda ke. CloudWatch Pastikan bahwa IAM peran yang dilampirkan pada instance memiliki mazonSSMManaged InstanceCore IAM kebijakan CloudWatchAgentServerPolicydan A terlampir.

Langkah 2: Simpan file konfigurasi CloudWatch agen yang direkomendasikan di Systems Manager Parameter Store

Parameter Store menyederhanakan pemasangan CloudWatch agen pada EC2 instance dengan menyimpan dan mengelola parameter konfigurasi dengan aman, menghilangkan kebutuhan akan nilai hard-code. Ini memastikan proses penyebaran yang lebih aman dan fleksibel, memungkinkan manajemen terpusat dan pembaruan konfigurasi yang lebih mudah di beberapa instance.

Gunakan langkah-langkah berikut untuk menyimpan file konfigurasi CloudWatch agen yang direkomendasikan sebagai parameter di Parameter Store.

Langkah 3: Instal CloudWatch agen dan terapkan konfigurasi menggunakan AWS CloudFormation templat

Anda dapat menggunakan AWS CloudFormation untuk menginstal agen dan mengonfigurasinya untuk menggunakan konfigurasi CloudWatch agen yang Anda buat di langkah sebelumnya.

Jika Anda ingin mengedit file templat terlebih dahulu untuk menyesuaikannya, pilih opsi Unggah file templat di bawah Buat Wisaya Tumpukan untuk mengunggah templat yang diedit. Untuk informasi selengkapnya, lihat Membuat tumpukan di AWS CloudFormation konsol.

Langkah 4: Verifikasi pengaturan agen dikonfigurasi dengan benar

Anda dapat memverifikasi apakah CloudWatch agen diinstal dengan mengikuti langkah-langkah diVerifikasi bahwa CloudWatch agen sedang berjalan. Jika CloudWatch agen tidak diinstal dan berjalan, pastikan Anda telah mengatur semuanya dengan benar.

Jika semuanya diatur dengan benar, maka Anda akan melihat NVIDIA GPU metrik yang dipublikasikan. CloudWatch Anda dapat memeriksa CloudWatch konsol untuk memverifikasi bahwa mereka sedang dipublikasikan.

Buat dasbor NVIDIA GPU solusi

Dasbor yang disediakan oleh solusi ini menyajikan NVIDIA GPUs metrik dengan menggabungkan dan menyajikan metrik di semua instance. Dasbor menunjukkan rincian kontributor teratas (10 teratas per widget metrik) untuk setiap metrik. Ini membantu Anda mengidentifikasi outlier atau instance dengan cepat yang berkontribusi secara signifikan terhadap metrik yang diamati.

Untuk membuat dasbor, Anda dapat menggunakan opsi berikut:

Dengan menggunakan CloudWatch konsol untuk membuat dasbor, Anda dapat melihat pratinjau dasbor sebelum benar-benar membuat dan mengisi daya.

Jika Anda ingin mengedit file templat untuk menyesuaikannya untuk tujuan apa pun, Anda dapat menggunakan opsi Unggah file templat di bawah Buat Wisaya Tumpukan untuk mengunggah templat yang diedit. Untuk informasi selengkapnya, lihat Membuat tumpukan di AWS CloudFormation konsol. Anda dapat menggunakan tautan ini untuk mengunduh templat: https://aws-observability-solutions.s3.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json.

Memulai dengan NVIDIA GPU dasbor

Berikut adalah beberapa tugas yang dapat Anda coba dengan NVIDIA GPU dasbor baru. Tugas-tugas ini memungkinkan Anda untuk memvalidasi bahwa dasbor berfungsi dengan benar dan memberi Anda beberapa pengalaman langsung menggunakannya untuk memantau Anda. NVIDIA GPUs Saat Anda mencobanya, Anda akan terbiasa dengan menavigasi dasbor dan menafsirkan metrik yang divisualisasikan.

Tinjau GPU pemanfaatan

Dari bagian Utilisasi, temukan widget Pemanfaatan dan GPUPemanfaatan Memori. Ini menunjukkan persentase waktu yang GPU digunakan secara aktif untuk perhitungan dan persentase memori global yang dibaca atau ditulis, masing-masing. Pemanfaatan yang tinggi dapat menunjukkan potensi kemacetan kinerja atau kebutuhan akan sumber daya tambahan. GPU

Analisis penggunaan GPU memori

Di bagian Memory, temukan widget Total Memory, Used Memory, dan Free Memory. Ini memberikan wawasan tentang kapasitas memori keseluruhan GPUs dan berapa banyak memori yang saat ini dikonsumsi atau tersedia. Tekanan memori dapat menyebabkan masalah atau out-of-memory kesalahan kinerja, jadi penting untuk memantau metrik ini dan memastikan memori yang cukup tersedia untuk beban kerja Anda.

Pantau suhu dan daya tarik

Di bagian Temperatur/Daya, temukan widget GPUTemperature and Power Draw. Metrik ini penting untuk memastikan bahwa Anda GPUs beroperasi dalam batas termal dan daya yang aman.

Identifikasi kinerja encoder

Di bagian Encoder, temukan widget Encoder Session Count, AverageFPS, dan Average Latency. Metrik ini relevan jika Anda menjalankan beban kerja pengkodean video pada Anda. GPUs Pantau metrik ini untuk memastikan bahwa encoder Anda berkinerja optimal dan mengidentifikasi potensi kemacetan atau masalah kinerja.

Periksa status PCIe tautan

Di PCIebagian ini, temukan widget Pembuatan PCIe PCIe Tautan dan Lebar Tautan. Metrik ini memberikan informasi tentang PCIe tautan yang menghubungkan GPU ke sistem host. Pastikan tautan beroperasi pada generasi dan lebar yang diharapkan untuk menghindari potensi keterbatasan kinerja karena PCIe kemacetan.

Tinjau GPU jam

Di bagian Jam, temukan widget Jam Grafis, Jam SM, Jam Memori, dan Jam Video. Metrik ini menunjukkan frekuensi operasi saat ini dari berbagai GPU komponen. Memantau jam ini dapat membantu mengidentifikasi potensi masalah dengan penskalaan GPU jam atau pelambatan frekuensi, yang dapat memengaruhi kinerja.