Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

CloudWatch soluzione: carico di lavoro della GPU NVIDIA su Amazon EC2

Questa soluzione consente di configurare una raccolta di metriche pronta all'uso utilizzando CloudWatch agenti per i carichi di lavoro GPU NVIDIA in esecuzione su istanze EC2. Inoltre, consente di configurare una dashboard preconfigurata. CloudWatch Per informazioni generali su tutte le soluzioni CloudWatch di osservabilità, vedere. CloudWatch soluzioni di osservabilità

Requisiti

Questa soluzione è rilevante per le seguenti condizioni:

Vantaggi

La soluzione offre il monitoraggio NVIDIA, fornendo approfondimenti preziosi per i seguenti casi d'uso:

Di seguito sono riportati i principali vantaggi della soluzione:

L'immagine seguente mostra un esempio di pannello di controllo per questa soluzione.

Costi

Questa soluzione crea e utilizza risorse nel tuo account. Ti verranno addebitati i costi standard di utilizzo, inclusi i seguenti:

Per ulteriori informazioni sui CloudWatch prezzi, consulta Amazon CloudWatch Pricing.

Il calcolatore dei prezzi può aiutarti a stimare i costi mensili approssimativi per l'utilizzo di questa soluzione.

CloudWatch configurazione dell'agente per questa soluzione

L' CloudWatch agente è un software che viene eseguito in modo continuo e autonomo sui server e in ambienti containerizzati. Raccoglie metriche, registri e tracce dall'infrastruttura e dalle applicazioni e li invia a e. CloudWatch X-Ray

Per ulteriori informazioni sull' CloudWatch agente, vedere. Raccogli metriche, registri e tracce utilizzando l'agente CloudWatch

La configurazione degli agenti in questa soluzione raccoglie una serie di metriche per aiutarti a iniziare a monitorare e osservare la tua GPU NVIDIA. L' CloudWatch agente può essere configurato per raccogliere più metriche della GPU NVIDIA rispetto a quelle visualizzate nella dashboard per impostazione predefinita. Per un elenco di tutte le metriche GPU NVIDIA che puoi raccogliere, consulta Raccolta dei parametri della GPU NVIDIA.

Configurazione dell'agente per questa soluzione

Le metriche raccolte dall'agente sono definite nella configurazione dell'agente. La soluzione fornisce configurazioni degli agenti per raccogliere le metriche consigliate con dimensioni adeguate per il pannello di controllo della soluzione.

Usa la seguente configurazione CloudWatch dell'agente sulle istanze EC2 con GPU NVIDIA. La configurazione verrà memorizzata come metrica nel Parameter Store di SSM, come descritto più avanti nella sezione Passaggio 2: memorizza il file di configurazione CloudWatch dell'agente consigliato in Systems Manager Parameter Store.

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

Implementazione dell'agente per la soluzione

Esistono diversi approcci per l'installazione CloudWatch dell'agente, a seconda del caso d'uso. Si consiglia di utilizzare Systems Manager per questa soluzione. Fornisce un'esperienza da console e semplifica la gestione di una flotta di server gestiti all'interno di un singolo AWS account. Le istruzioni in questa sezione utilizzano Systems Manager e sono destinate ai casi in cui l' CloudWatch agente non è in esecuzione con configurazioni esistenti. È possibile verificare se l' CloudWatch agente è in esecuzione seguendo i passaggi indicatiVerificare che l' CloudWatch agente sia in esecuzione.

Se stai già eseguendo l' CloudWatch agente sugli host EC2 in cui è distribuito il carico di lavoro e gestisci le configurazioni degli agenti, puoi saltare le istruzioni in questa sezione e seguire il meccanismo di distribuzione esistente per aggiornare la configurazione. Assicurati di unire la configurazione dell'agente della GPU NVIDIA con la configurazione dell'agente esistente, quindi implementa la configurazione unita. Se si utilizza Systems Manager per archiviare e gestire la configurazione dell' CloudWatch agente, è possibile unire la configurazione al valore del parametro esistente. Per ulteriori informazioni, vedere Gestione dei file di configurazione CloudWatch dell'agente.

Il processo di implementazione include i seguenti passaggi:

Passaggio 1: assicurati che le istanze EC2 di destinazione dispongano delle autorizzazioni IAM richieste

È necessario concedere l'autorizzazione a Systems Manager per installare e configurare l'agente. CloudWatch È inoltre necessario concedere all' CloudWatch agente l'autorizzazione a pubblicare dati di telemetria dall'istanza EC2 in. CloudWatch Assicurati che al ruolo IAM associato all'istanza siano allegate le policy IAM CloudWatchAgentServerPolicy e AmazonSSMManagedInstanceCore IAM.

Passaggio 2: memorizza il file di configurazione CloudWatch dell'agente consigliato in Systems Manager Parameter Store

Parameter Store semplifica l'installazione dell' CloudWatch agente su un'istanza EC2 archiviando e gestendo in modo sicuro i parametri di configurazione, eliminando la necessità di valori codificati. Ciò garantisce un processo di implementazione più sicuro e flessibile, che consente una gestione centralizzata e aggiornamenti più semplici delle configurazioni su più istanze.

Utilizzate i passaggi seguenti per memorizzare il file di configurazione dell' CloudWatch agente consigliato come parametro in Parameter Store.

Fase 3: Installare l' CloudWatch agente e applicare la configurazione utilizzando un CloudFormation modello

È possibile utilizzare AWS CloudFormation per installare l'agente e configurarlo per utilizzare la configurazione CloudWatch dell'agente creata nei passaggi precedenti.

Se desideri prima modificare il file modello per personalizzarlo, scegli l'opzione Carica un file modello in Procedura guidata creazione stack per caricare il modello modificato. Per ulteriori informazioni, consulta Creazione di uno stack sulla console. CloudFormation

Passaggio 4: verificare che la configurazione dell'agente sia corretta

È possibile verificare se l' CloudWatch agente è installato seguendo i passaggi indicatiVerificare che l' CloudWatch agente sia in esecuzione. Se l' CloudWatch agente non è installato e in esecuzione, assicurati di aver impostato tutto correttamente.

Se tutto è impostato correttamente, dovresti vedere le metriche della GPU NVIDIA pubblicate su. CloudWatch Puoi controllare la CloudWatch console per verificare che siano pubblicate.

Crea il pannello di controllo della soluzione GPU NVIDIA

Il pannello di controllo fornito da questa soluzione presenta le metriche delle GPU NVIDIA aggregando e presentando le metriche relative a tutte le istanze. Il pannello di controllo mostra una ripartizione dei collaboratori principali (widget dei principali 10 per metrica) per ogni metrica. Questo ti aiuta a identificare rapidamente i valori anomali o le istanze che contribuiscono in modo significativo alle metriche osservate.

Per creare il pannello di controllo, puoi utilizzare le seguenti opzioni:

Utilizzando la CloudWatch console per creare una dashboard, puoi visualizzarla in anteprima prima di crearla e ricevere l'addebito effettivo.

Se desideri modificare il file modello per personalizzarlo per qualsiasi scopo, puoi utilizzare l'opzione Carica un file modello in Procedura guidata creazione stack per caricare il modello modificato. Per ulteriori informazioni, consulta Creazione di uno stack sulla console CloudFormation Puoi utilizzare questo link per scaricare il modello:. https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json

Nozioni di base sul pannello di controllo GPU NVIDIA

Ecco alcune attività che puoi provare con il nuovo pannello di controllo GPU NVIDIA. Queste attività permettono di accertarsi che il pannello di controllo funzioni correttamente e offrono un'esperienza pratica nel suo utilizzo per monitorare le GPU NVIDIA. Provandole, acquisirai familiarità con la navigazione nel pannello di controllo e l'interpretazione delle metriche visualizzate.

Verifica dell'utilizzo della GPU

Nella sezione Utilizzo, trova i widget Utilizzo della GPU e Utilizzo della memoria. Questi mostrano rispettivamente la percentuale di tempo in cui la GPU viene utilizzata attivamente per i calcoli e la percentuale di memoria globale in lettura o scrittura. Un utilizzo elevato potrebbe indicare potenziali rallentamenti nelle prestazioni o la necessità di risorse GPU aggiuntive.

Analisi dell'utilizzo della memoria della GPU

Nella sezione Memoria, trova i widget Memoria totale, Memoria usata e Memoria libera. Questi forniscono informazioni sulla capacità di memoria complessiva delle GPU e sulla quantità di memoria attualmente consumata o disponibile. La pressione della memoria potrebbe causare problemi di prestazioni o errori di esaurimento della memoria, quindi è importante monitorare queste metriche e assicurarsi che sia disponibile memoria sufficiente per i carichi di lavoro.

Monitoraggio della temperatura e dell'assorbimento di energia

Nella sezione Temperatura/Energia, trova i widget Temperatura GPU e Assorbimento energia. Queste metriche sono essenziali per garantire che le GPU funzionino entro limiti termici ed energetici sicuri.

Identificazione delle prestazioni dell'encoder

Nella sezione Encoder, trova i widget Numero di sessioni dell'encoder, FPS medi e Latenza media. Queste metriche sono rilevanti se esegui carichi di lavoro di codifica video sulle tue GPU. Monitora queste metriche per assicurarti che i tuoi codificatori funzionino in modo ottimale e identificare eventuali colli di bottiglia o problemi di prestazioni.

Controllo dello stato del collegamento PCIe

Nella sezione PCIe, trova i widget Generazione link PCIe e Larghezza link PCIe. Queste metriche forniscono informazioni sul collegamento PCIe che collega la GPU al sistema host. Assicuratevi che il collegamento funzioni alla generazione e alla larghezza previste per evitare potenziali limitazioni delle prestazioni dovute ai colli di bottiglia PCIe.

Controllo dei clock della GPU

Nella sezione Clock, trova i widget Clock grafica, Clock SM, Clock memoria e Clock video. Queste metriche mostrano le frequenze operative correnti dei vari componenti della GPU. Il monitoraggio di questi clock può aiutare a identificare potenziali problemi relativi al ridimensionamento del clock della GPU o alla limitazione della frequenza, che potrebbero influire sulle prestazioni.