View a markdown version of this page

Memantau GPU dengan CloudWatch - AWS Deep Learning AMIs
Konfigurasikan metrik dengan AWS CloudWatch agen (Direkomendasikan)Konfigurasikan metrik dengan skrip gpumon.py yang sudah diinstal sebelumnya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau GPU dengan CloudWatch

Saat Anda menggunakan DLAMI dengan GPU, Anda mungkin menemukan bahwa Anda mencari cara untuk melacak penggunaannya selama pelatihan atau inferensi. Ini dapat berguna untuk mengoptimalkan pipeline data Anda, dan menyetel jaringan pembelajaran mendalam Anda.

Ada dua cara untuk mengkonfigurasi metrik GPU dengan CloudWatch:

Konfigurasikan metrik dengan AWS CloudWatch agen (Direkomendasikan)

Integrasikan DLAMI Anda dengan CloudWatch agen ter padu untuk mengonfigurasi metrik GPU dan memantau pemanfaatan koproses GPU di instans akselerasi Amazon EC2.

Ada empat cara untuk mengkonfigurasi metrik GPU dengan DLAMI Anda:

Untuk informasi tentang pembaruan dan patch keamanan, lihat Patching keamanan untuk AWS CloudWatch agen

Prasyarat

Untuk memulai, Anda harus mengonfigurasi izin IAM instans Amazon EC2 yang memungkinkan instans Anda mendorong metrik ke. CloudWatch Untuk langkah terperinci, lihat Membuat peran dan pengguna IAM untuk digunakan dengan CloudWatch agen.

Konfigurasikan metrik GPU minimal

Konfigurasikan metrik GPU minimal menggunakan dlami-cloudwatch-agent@minimal systemd layanan. Layanan ini mengonfigurasi metrik berikut:

  • utilization_gpu

  • utilization_memory

Anda dapat menemukan systemd layanan untuk metrik GPU prakonfigurasi minimal di lokasi berikut:

/opt/aws/amazon-cloudwatch-agent/etc/dlami-amazon-cloudwatch-agent-minimal.json

Aktifkan dan mulai systemd layanan dengan perintah berikut:

sudo systemctl enable dlami-cloudwatch-agent@minimal
sudo systemctl start dlami-cloudwatch-agent@minimal

Konfigurasikan metrik GPU parSIAL

Konfigurasikan metrik GPU parSIAL menggunakan dlami-cloudwatch-agent@partial systemd layanan. Layanan ini mengonfigurasi metrik berikut:

  • utilization_gpu

  • utilization_memory

  • memory_total

  • memory_used

  • memory_free

Anda dapat menemukan systemd layanan untuk metrik GPU yang telah dikonfigurasi sebagian di lokasi berikut:

/opt/aws/amazon-cloudwatch-agent/etc/dlami-amazon-cloudwatch-agent-partial.json

Aktifkan dan mulai systemd layanan dengan perintah berikut:

sudo systemctl enable dlami-cloudwatch-agent@partial
sudo systemctl start dlami-cloudwatch-agent@partial

Konfigurasikan semua metrik GPU yang tersedia

Konfigurasikan semua metrik GPU yang tersedia menggunakan dlami-cloudwatch-agent@all systemd layanan. Layanan ini mengonfigurasi metrik berikut:

  • utilization_gpu

  • utilization_memory

  • memory_total

  • memory_used

  • memory_free

  • temperature_gpu

  • power_draw

  • fan_speed

  • pcie_link_gen_current

  • pcie_link_width_current

  • encoder_stats_session_count

  • encoder_stats_average_fps

  • encoder_stats_average_latency

  • clocks_current_graphics

  • clocks_current_sm

  • clocks_current_memory

  • clocks_current_video

Anda dapat menemukan systemd layanan untuk semua metrik GPU prakonfigurasi yang tersedia di lokasi berikut:

/opt/aws/amazon-cloudwatch-agent/etc/dlami-amazon-cloudwatch-agent-all.json

Aktifkan dan mulai systemd layanan dengan perintah berikut:

sudo systemctl enable dlami-cloudwatch-agent@all
sudo systemctl start dlami-cloudwatch-agent@all

Konfigurasikan metrik GPU khusus

Jika metrik yang telah dikonfigurasi sebelumnya tidak memenuhi persyaratan Anda, Anda dapat membuat file konfigurasi CloudWatch agen kustom.

Buat file konfigurasi khusus

Untuk membuat file konfigurasi khusus, lihat langkah-langkah terperinci dalam Membuat atau mengedit file konfigurasi CloudWatch agen secara manual.

Untuk contoh ini, asumsikan bahwa definisi skema terletak di/opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json.

Mengonfigurasi metrik dengan file kustom

Jalankan perintah berikut untuk mengkonfigurasi CloudWatch agen sesuai dengan file kustom Anda:

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl \
-a fetch-config -m ec2 -s -c \
file:/opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json

Patching keamanan untuk AWS CloudWatch agen

DLAMIS yang baru dirilis dikonfigurasi dengan patch keamanan AWS CloudWatch agen terbaru yang tersedia. Lihat bagian berikut untuk memperbarui DLAMI Anda saat ini dengan patch keamanan terbaru tergantung pada sistem operasi pilihan Anda.

Amazon Linux 2

Gunakan yum untuk mendapatkan patch keamanan AWS CloudWatch agen terbaru untuk Amazon Linux 2 DLAMI.

 sudo yum update

Ubuntu

Untuk mendapatkan patch AWS CloudWatch keamanan terbaru untuk DLAMI dengan Ubuntu, perlu menginstal ulang AWS CloudWatch agen menggunakan tautan unduhan Amazon S3.

wget https://s3.region.amazonaws.com/amazoncloudwatch-agent-region/ubuntu/arm64/latest/amazon-cloudwatch-agent.deb

Untuk informasi selengkapnya tentang menginstal AWS CloudWatch agen menggunakan tautan unduhan Amazon S3, lihat Meng instal dan menjalankan CloudWatch agen di server Anda.

Konfigurasikan metrik dengan skrip gpumon.py yang sudah diinstal sebelumnya

Utilitas yang disebut gpumon.py sudah diinstal sebelumnya pada DLAMI Anda. Ini terintegrasi dengan CloudWatch dan mendukung pemantauan penggunaan per-GPU: memori GPU, suhu GPU, dan Daya GPU. Skrip secara berkala mengirimkan data yang dipantau ke CloudWatch. Anda dapat mengonfigurasi tingkat perincian untuk data yang dikirim CloudWatch dengan mengubah beberapa pengaturan dalam skrip. Namun, sebelum memulai skrip, Anda harus mengatur CloudWatch untuk menerima metrik.

Cara mengatur dan menjalankan pemantauan GPU dengan CloudWatch

  1. Buat pengguna IAM, atau ubah pengguna yang sudah ada untuk memiliki kebijakan untuk menerbitkan metrik ke CloudWatch. Jika Anda membuat pengguna baru, harap perhatikan kredensialnya karena Anda akan membutuhkannya di langkah berikutnya.

    Kebijakan IAM untuk dicari adalah “cloudwatch:PutMetricData”. Kebijakan yang ditambahkan adalah sebagai berikut:

    JSON
    {
   "Version":"2012-10-17",
   "Statement": [
        {
            "Action": [
                "cloudwatch:PutMetricData"
             ],
             "Effect": "Allow",
             "Resource": "*"
        }
   ]
}
    Tip

    Untuk informasi selengkapnya tentang membuat pengguna IAM dan menambahkan kebijakan untuk CloudWatch, lihat CloudWatch dokument asi.

  2. Pada DLAMI Anda, jalankan AWS configure dan tentukan kredenSIAL pengguna IAM. 

    $ aws configure

  3. Anda mungkin perlu membuat beberapa modifikasi pada utilitas gpumon sebelum menjalankannya. Anda dapat menemukan utilitas gpumon dan README di lokasi yang ditentukan dalam blok kode berikut. Untuk informasi selengkapnya tentang gpumon.py skrip, lihat lokasi skrip Amazon S3. 

    Folder: ~/tools/GPUCloudWatchMonitor
Files: 	~/tools/GPUCloudWatchMonitor/gpumon.py
      	~/tools/GPUCloudWatchMonitor/README

    Opsi:

    • Ubah wilayah di gpumon.py jika instance Anda TIDAK ada di us-east-1.

    • Ubah parameter lain seperti CloudWatch namespace atau periode pelaporan denganstore_reso.

  4. Saat ini skrip hanya mendukung Python 3. Aktifkan lingkungan Python 3 framework pilihan Anda atau aktifkan lingkungan Python 3 umum DLAMI. 

    $ source activate python3

  5. Jalankan utilitas gpumon di latar belakang.

    (python3)$ python gpumon.py &

  6. Buka browser Anda ke metrik https://console.aws.amazon.com/cloudwatch/ lalu pilih. Ini akan memiliki namespace 'DeepLearningTrain'.

    Tip

    Anda dapat mengubah namespace dengan memodifikasi gpumon.py. Anda juga dapat mengubah interval pelaporan dengan menyesuaikanstore_reso.

Berikut ini adalah contoh pelaporan CloudWatch bagan saat menjalankan gpumon.py memantau pekerjaan pelatihan pada instans p2.8xlarge.

Pemantauan GPU aktif CloudWatch

Anda mungkin tertarik dengan topik lain ini tentang pemantauan dan pengoptimalan GPU: