Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Orchestrer des SageMaker HyperPod clusters avec Amazon EKS
SageMaker HyperPod est un SageMaker AI-managed service qui permet la formation à grande échelle de modèles de base sur des clusters de calcul résilients et durables, en s'intégrant à Amazon EKS pour orchestrer les HyperPod ressources de calcul. Vous pouvez exécuter des tâches de formation ininterrompues s'étalant sur des semaines ou des mois à grande échelle à l'aide des clusters Amazon EKS dotés de fonctionnalités de HyperPod résilience qui vérifient l'absence de diverses défaillances matérielles et restaurent automatiquement les nœuds défectueux.
Les principales fonctionnalités pour les utilisateurs administrateurs du cluster sont les suivantes.
-
Provisionner HyperPod des clusters résilients et les associer à un plan de contrôle EKS
-
Permettre la gestion dynamique des capacités, comme l’ajout de nœuds supplémentaires, la mise à jour du logiciel et la suppression de clusters
-
Autoriser l'accès aux instances du cluster directement via
kubectlou SSM/SSH -
Offrant des fonctionnalités de résilience, notamment des bilans de santé de base, des bilans de santé approfondis, un agent de surveillance de la santé et une assistance pour PyTorch la reprise automatique des tâches
-
Intégration à des outils d'observabilité tels qu'Amazon CloudWatch Container Insights, Amazon Managed Service for Prometheus et Amazon Managed Grafana
Pour les utilisateurs de data scientists, le support EKS HyperPod permet ce qui suit.
-
Exécution de charges de travail conteneurisées pour la formation de modèles de base sur le cluster HyperPod
-
Exécution de l'inférence sur le cluster EKS, en tirant parti de l'intégration entre HyperPod et EKS
-
Tirer parti de la fonctionnalité de reprise automatique des tâches pour la formation Kubeflow PyTorch () PyTorchJob
Note
Amazon EKS permet une orchestration des tâches et de l'infrastructure gérée par l'utilisateur SageMaker HyperPod via le plan de contrôle Amazon EKS. Assurez-vous que l'accès des utilisateurs au cluster via le point de terminaison du serveur d'API Kubernetes respecte le principe du moindre privilège et que la sortie réseau du cluster est sécurisée. HyperPod
Pour en savoir plus sur la sécurisation de l’accès au serveur d’API Amazon EKS, consultez Contrôle de l’accès réseau au point de terminaison du serveur d’API du cluster.
Pour en savoir plus sur la sécurisation de l'accès réseau sur HyperPod, consultezConfiguration SageMaker HyperPod avec un Amazon VPC personnalisé.
L'architecture de haut niveau de la prise en charge d'Amazon EKS HyperPod implique un mappage 1 à 1 entre un cluster EKS (plan de contrôle) et un HyperPod cluster (nœuds de travail) au sein d'un VPC, comme illustré dans le schéma suivant.
