Esecuzione di lavori su SageMaker HyperPod cluster orchestrati da Amazon EKS

I seguenti argomenti forniscono procedure ed esempi di accesso ai nodi di calcolo ed esecuzione di carichi di lavoro ML su SageMaker HyperPod cluster forniti orchestrati con Amazon. EKS A seconda di come hai configurato l'ambiente sul HyperPod cluster, esistono molti modi per eseguire carichi di lavoro ML sui cluster. HyperPod

Gli utenti di data scientist possono addestrare modelli fondamentali utilizzando il set di EKS cluster come orchestratore per il cluster. SageMaker HyperPod Gli scienziati sfruttano kubectl i comandi nativi per trovare i SageMaker HyperPod cluster disponibili, inviare lavori di formazione (Pods) SageMaker HyperPod CLIe gestire i propri carichi di lavoro. SageMaker HyperPod CLIConsente l'invio di lavori utilizzando un file di schema dei lavori di formazione e fornisce funzionalità per l'elenco, la descrizione, la cancellazione e l'esecuzione dei lavori. Gli scienziati possono utilizzare Kubeflow Training Operator, Kueue (strumento K8s per la gestione delle code di lavoro) e -managed per gestire esperimenti di machine learning e SageMaker sessioni di formazione. MLflow