View a markdown version of this page

Monitora le GPU con CloudWatch - AWS Deep Learning AMIs
Configura le metriche con AWS CloudWatch agente (consigliato)Configura le metriche con lo script gpumon.py preinstallato

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitora le GPU con CloudWatch

Quando si utilizza la DLAMI con una GPU, è possibile che si stiano cercando modi per tenere traccia del suo utilizzo durante il training o l'inferenza. Questo può essere utile per ottimizzare la data pipeline e regolare la rete di deep learning.

Esistono due modi per configurare le metriche della GPU con: CloudWatch

Configura le metriche con AWS CloudWatch agente (consigliato)

Integra il tuo DLAMI con l' CloudWatch agente unificato per configurare le metriche della GPU e monitorare l'utilizzo dei coprocessi GPU nelle istanze accelerate di Amazon EC2.

Esistono quattro modi per configurare le metriche della GPU con il tuo DLAMI: https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Agent-NVIDIA-GPU.html

Per informazioni sugli aggiornamenti e le patch di sicurezza, consulta Patch di sicurezza per AWS CloudWatch agente

Prerequisiti

Per iniziare, devi configurare le autorizzazioni IAM dell'istanza Amazon EC2 che consentano all'istanza di inviare le metriche a. CloudWatch Per passaggi dettagliati, consulta Creare ruoli e utenti IAM da utilizzare con l'agente. CloudWatch

Configura le metriche minime della GPU

Configura le metriche minime della GPU utilizzando il servizio. dlami-cloudwatch-agent@minimal systemd Questo servizio configura le seguenti metriche:

  • utilization_gpu

  • utilization_memory

È possibile trovare il systemd servizio per le metriche minime preconfigurate della GPU nella seguente posizione:

/opt/aws/amazon-cloudwatch-agent/etc/dlami-amazon-cloudwatch-agent-minimal.json

Abilita e avvia il systemd servizio con i seguenti comandi:

sudo systemctl enable dlami-cloudwatch-agent@minimal
sudo systemctl start dlami-cloudwatch-agent@minimal

Configura le metriche parziali della GPU

Configura le metriche parziali della GPU utilizzando il servizio. dlami-cloudwatch-agent@partial systemd Questo servizio configura le seguenti metriche:

  • utilization_gpu

  • utilization_memory

  • memory_total

  • memory_used

  • memory_free

È possibile trovare il systemd servizio per le metriche GPU preconfigurate parziali nella seguente posizione:

/opt/aws/amazon-cloudwatch-agent/etc/dlami-amazon-cloudwatch-agent-partial.json

Abilita e avvia il systemd servizio con i seguenti comandi:

sudo systemctl enable dlami-cloudwatch-agent@partial
sudo systemctl start dlami-cloudwatch-agent@partial

Configura tutte le metriche GPU disponibili

Configura tutte le metriche GPU disponibili utilizzando il servizio. dlami-cloudwatch-agent@all systemd Questo servizio configura le seguenti metriche:

  • utilization_gpu

  • utilization_memory

  • memory_total

  • memory_used

  • memory_free

  • temperature_gpu

  • power_draw

  • fan_speed

  • pcie_link_gen_current

  • pcie_link_width_current

  • encoder_stats_session_count

  • encoder_stats_average_fps

  • encoder_stats_average_latency

  • clocks_current_graphics

  • clocks_current_sm

  • clocks_current_memory

  • clocks_current_video

Puoi trovare il systemd servizio per tutte le metriche GPU preconfigurate disponibili nella seguente posizione:

/opt/aws/amazon-cloudwatch-agent/etc/dlami-amazon-cloudwatch-agent-all.json

Abilita e avvia il systemd servizio con i seguenti comandi:

sudo systemctl enable dlami-cloudwatch-agent@all
sudo systemctl start dlami-cloudwatch-agent@all

Configura metriche GPU personalizzate

Se le metriche preconfigurate non soddisfano i tuoi requisiti, puoi creare un file di configurazione dell'agente personalizzato CloudWatch .

Crea un file di configurazione personalizzato

Per creare un file di configurazione personalizzato, consulta i passaggi dettagliati in Creare o modificare manualmente il file di configurazione CloudWatch dell'agente.

Per questo esempio, supponiamo che la definizione dello schema si trovi in/opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json.

Configura le metriche con il tuo file personalizzato

Esegui il comando seguente per configurare l' CloudWatch agente in base al tuo file personalizzato:

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl \
-a fetch-config -m ec2 -s -c \
file:/opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json

Patch di sicurezza per AWS CloudWatch agente

I DLAMI appena rilasciati sono configurati con le ultime patch di sicurezza disponibili per gli AWS CloudWatch agenti. Fai riferimento alle seguenti sezioni per aggiornare il tuo attuale DLAMI con le patch di sicurezza più recenti a seconda del sistema operativo scelto.

Amazon Linux 2

Usala yum per ottenere le ultime patch di sicurezza degli AWS CloudWatch agenti per un DLAMI di Amazon Linux 2.

 sudo yum update

Ubuntu

Per ottenere le patch AWS CloudWatch di sicurezza più recenti per un DLAMI con Ubuntu, è necessario reinstallare l' AWS CloudWatch agente utilizzando un link per il download di Amazon S3.

wget https://s3.region.amazonaws.com/amazoncloudwatch-agent-region/ubuntu/arm64/latest/amazon-cloudwatch-agent.deb

Per ulteriori informazioni sull'installazione AWS CloudWatch dell'agente tramite i link per il download di Amazon S3, consulta Installazione ed esecuzione dell'agente sui tuoi server. CloudWatch

Configura le metriche con lo script gpumon.py preinstallato

Un'utilità denominata gpumon.py è preinstallata sulla DLAMI. Si integra CloudWatch e supporta il monitoraggio dell'utilizzo per GPU: memoria GPU, temperatura della GPU e potenza della GPU. Lo script invia periodicamente i dati monitorati a. CloudWatch È possibile configurare il livello di granularità dei dati inviati CloudWatch modificando alcune impostazioni nello script. Prima di avviare lo script, tuttavia, dovrai configurare la ricezione delle CloudWatch metriche.

Come configurare ed eseguire il monitoraggio della GPU con CloudWatch

  1. Crea un utente IAM o modificane uno esistente per avere una policy su cui pubblicare la metrica. CloudWatch Se crei un nuovo utente, prendi nota delle credenziali poiché saranno necessarie nella fase successiva.

    La policy IAM da cercare è «cloudwatch:». PutMetricData La policy che viene aggiunta è la seguente:

    JSON
    {
   "Version":"2012-10-17",
   "Statement": [
        {
            "Action": [
                "cloudwatch:PutMetricData"
             ],
             "Effect": "Allow",
             "Resource": "*"
        }
   ]
}
    Suggerimento

    Per ulteriori informazioni sulla creazione di un utente IAM e sull'aggiunta di policy per CloudWatch, consulta la CloudWatch documentazione.

  2. Sul tuo DLAMI, esegui AWS configure e specifica le credenziali utente IAM. 

    $ aws configure

  3. Potrebbe essere necessario apportare alcune modifiche all'utilità gpumon prima di eseguirla. Puoi trovare l'utilità gpumon e README nella posizione definita nel seguente blocco di codice. Per ulteriori informazioni sullo gpumon.py script, consulta la posizione dello script in Amazon S3. 

    Folder: ~/tools/GPUCloudWatchMonitor
Files: 	~/tools/GPUCloudWatchMonitor/gpumon.py
      	~/tools/GPUCloudWatchMonitor/README

    Opzioni:

    • Cambia la regione in gpumon.py se l'istanza NON è in us-east-1.

    • Modifica altri parametri come il CloudWatch namespace o il periodo di riferimento constore_reso.

  4. Attualmente lo script supporta solo Python 3. Attiva l'ambiente Python 3 del tuo framework preferito o attiva l'ambiente Python 3 generale DLAMI. 

    $ source activate python3

  5. Esegui l'utilità gpumon in background.

    (python3)$ python gpumon.py &

  6. Apri il browser nella https://console.aws.amazon.com/cloudwatch/ quindi seleziona il parametro. Avrà un namespace ''. DeepLearningTrain

    Suggerimento

    Puoi cambiare lo spazio dei nomi modificando gpumon.py. Puoi anche modificare l'intervallo di reporting regolando store_reso.

Di seguito è riportato un CloudWatch grafico di esempio che riporta l'esecuzione di gpumon.py che monitora un processo di addestramento sull'istanza p2.8xlarge.

Monitoraggio GPU attivo CloudWatch

Questi altri argomenti sul monitoraggio e l'ottimizzazione GPU potrebbero essere interessanti: