SUS05-BP04 Ottimizzazione dell'uso degli acceleratori di calcolo basati su hardware
Ottimizza l'uso delle istanze a calcolo accelerato per ridurre i requisiti dell'infrastruttura fisica del carico di lavoro.
Anti-pattern comuni:
-
Utilizzo delle GPU non monitorato.
-
Utilizzo di un'istanza generica per il carico di lavoro quando un'istanza appositamente sviluppata potrebbe offrire prestazioni più elevate, costi inferiori e migliori prestazioni per watt.
-
Utilizzo di acceleratori di calcolo basati su hardware per attività in cui sono più efficienti le alternative basate su CPU.
Vantaggi dell'adozione di questa best practice: ottimizzando l'uso degli acceleratori basati su hardware, è possibile ridurre le richieste di infrastruttura fisica del carico di lavoro.
Livello di rischio associato se questa best practice non fosse adottata: medio
Guida all'implementazione
Se si necessita di un'elevata capacità di elaborazione, si può trarre vantaggio dall'uso di istanze a calcolo accelerato, che forniscono l'accesso ad acceleratori di calcolo basati su hardware, come le unità di elaborazione grafica (GPU) e i field programmable gate array (FPGA). Questi acceleratori hardware eseguono alcune funzioni, come l'elaborazione grafica o la rilevazione della corrispondenza dei modelli di dati, in modo più efficiente rispetto alle alternative basate su CPU. Molti carichi di lavoro accelerati, come il rendering grafico, la transcodifica e il machine learning, sono altamente variabili in termini di utilizzo di risorse. Mantieni in esecuzione questo tipo di hardware solo per il tempo necessario e disattivalo automaticamente quando non serve per ridurre la quantità di risorse utilizzate.
Passaggi dell'implementazione
-
Identifica quali istanze a calcolo accelerato possono soddisfare le tue esigenze.
-
Per i carichi di lavoro di machine learning, sfrutta l'hardware specifico per il tuo carico di lavoro, come ad esempio AWS Trainium
, AWS Inferentia e Amazon EC2 DL1 . Le istanze AWS Inferentia come le istanze Inf2 offrono prestazioni migliorate fino al 50% rispetto a istanze Amazon EC2 paragonabili . -
Raccogli i parametri di utilizzo delle istanze a calcolo accelerato. Ad esempio, puoi utilizzare l'agente CloudWatch per raccogliere metriche come
utilization_gpueutilization_memoryper le tue GPU come mostrato nella sezione relativa alla acquisizione delle metriche della GPU NVIDIA con Amazon CloudWatch. -
Ottimizza il codice, il funzionamento della rete e le impostazioni degli acceleratori hardware per garantire il pieno utilizzo dell'hardware sottostante.
-
Utilizza le librerie e i driver per GPU più recenti e performanti.
-
Utilizza l'automazione per rilasciare le istanze GPU non in uso.
Risorse
Documenti correlati:
Video correlati:
