Ejecutar tareas en SageMaker HyperPod clústeres orquestados por Amazon EKS

En los siguientes temas, se proporcionan procedimientos y ejemplos de acceso a nodos de procesamiento y ejecución de cargas de trabajo de aprendizaje automático en SageMaker HyperPod clústeres aprovisionados orquestados con Amazon. EKS En función de cómo haya configurado el entorno de su HyperPod clúster, hay muchas formas de ejecutar cargas de trabajo de aprendizaje automático en clústeres. HyperPod

Los usuarios científicos de datos pueden entrenar los modelos fundamentales utilizando el conjunto de EKS clústeres como orquestador del clúster. SageMaker HyperPod Los científicos utilizan los comandos nativos SageMaker HyperPod CLIy los kubectl comandos nativos para encontrar SageMaker HyperPod los clústeres disponibles, enviar trabajos de formación (pods) y gestionar sus cargas de trabajo. SageMaker HyperPod CLIPermite enviar los trabajos mediante un archivo de esquema de trabajos de formación y proporciona funciones para la publicación de ofertas de trabajo, su descripción, cancelación y ejecución. Los científicos pueden utilizar Kubeflow Training Operator, Kueue (la herramienta de K8 para hacer colas de trabajos) y SageMaker-Managed MLflow para gestionar los experimentos de aprendizaje automático y las sesiones de formación.