Configuración del clúster de Amazon EKS para cargas de trabajo de IA y ML

Clúster de EKS con nodos habilitados para GPU: un NodePool administrado por Karpenter que aprovisiona de forma dinámica las instancias de GPU de la familia G con la capacidad de spot y con la reserva bajo demanda.

Pila de supervisión: Prometheus raspa las métricas de clústeres, nodos y GPU y las escribe de forma remota en Amazon Managed Service para Prometheus (AMP). Grafana proporciona paneles para la visualización. El Exportador DCGM de NVIDIA agrega métricas específicas de la GPU, como el uso, la memoria, la temperatura, la potencia, el ancho de banda de NVLink y la actividad de los tensores.

Bucket de S3 de pesos de modelos: un bucket de Amazon S3 para almacenar los pesos de los modelos, con una asociación de Pod Identity de EKS que otorga acceso de lectura y escritura a los pods de carga de trabajo.

Modo automático de EKS: un solo comando aprovisiona un clúster de EKS con el modo automático de EKS habilitado. Todos los componentes necesarios vienen listos para usar, incluidos el escalado automático basado en Karpenter, el agente de supervisión de nodos de EKS, la extracción rápida de contenedores con SOCI y el complemento para dispositivos de NVIDIA.

Karpenter autoadministrado: se instala y configura cada componente de forma explícita; Karpenter mediante eksctl, la reparación automática de nodos mediante la puerta de característica, el agente de supervisión de nodos de EKS como complemento de EKS y el complemento para dispositivos de NVIDIA mediante Helm. También puede crear una EC2NodeClass personalizada que utilice AMI de AL2023 de NVIDIA optimizada para NVIDIA y configura SOCI.