Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

SageMaker HyperPod références

Vous trouverez plus d'informations et des références sur l'utilisation SageMaker HyperPod dans les rubriques suivantes.

SageMaker HyperPod tarification

Les rubriques suivantes fournissent des informations sur la SageMaker HyperPod tarification. Pour en savoir plus sur le prix horaire d'utilisation des SageMaker HyperPod instances, consultez également la rubrique SageMaker Tarification Amazon.

Demandes de capacité

Vous pouvez allouer une capacité de calcul à la demande ou réservée avec SageMaker l'IA pour une utilisation sur SageMaker HyperPod. On-demand la création d'un cluster alloue la capacité disponible à partir du pool de capacités SageMaker AI à la demande. Vous pouvez également demander une capacité réservée pour garantir l’accès en soumettant un ticket pour une augmentation du quota. Les demandes de capacité entrantes sont classées par ordre de priorité par l' SageMaker IA et vous recevez une estimation du temps nécessaire à l'allocation des capacités.

Facturation du service

Lorsque vous provisionnez une capacité de calcul SageMaker HyperPod, vous êtes facturé pour la durée de l'allocation de capacité. SageMaker HyperPod la facturation apparaît dans vos factures d'anniversaire avec une rubrique indiquant le type d'allocation de capacité (à la demande, réservée), le type d'instance et le temps passé à utiliser l'instance.

Pour soumettre un ticket pour une augmentation de quota, consultez SageMaker HyperPod quotas.

SageMaker HyperPod API

La liste suivante est un ensemble complet d' SageMaker HyperPod API permettant de soumettre des demandes d'action au format JSON à SageMaker AI via AWS CLI ou AWS SDK pour Python (Boto3).

SageMaker HyperPod Configuration de Slurm

HyperPod prend en charge deux approches pour configurer Slurm sur votre cluster. Choisissez l'approche qui correspond le mieux à vos besoins.

API-driven Configuration de Slurm (recommandée)

Avec API-driven la configuration, vous définissez les types de nœuds, les attributions de partitions et les montages du système de fichiers Slurm directement dans les requêtes d'API CreateCluster et UpdateCluster . Cette approche fournit :

SlurmConfig (par groupe d'instances)

Ajoutez SlurmConfig à chaque groupe d'instances pour définir le type de nœud Slurm et l'attribution de la partition.

"SlurmConfig": {
    "NodeType": "Controller | Login | Compute",
    "PartitionNames": ["string"]
}

Paramètres :

Exemple :

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 8,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Orchestrator.Slurm (niveau du cluster)

Ajoutez Orchestrator.Slurm à la configuration du cluster pour spécifier la manière dont HyperPod le slurm.conf fichier est géré.

"Orchestrator": {
    "Slurm": {
        "SlurmConfigStrategy": "Managed | Overwrite | Merge"
    }
}

Paramètres :

Exemple :

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [...],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

SlurmConfigStrategy comparaison

Configuration FSx via InstanceStorageConfigs

Avec API-driven la configuration, vous pouvez configurer les systèmes de fichiers FSx par groupe d'instances à l'aide de. InstanceStorageConfigs Cela permet à différents groupes d'instances de monter différents systèmes de fichiers.

Prérequis :

FsxLustreConfig

Configurez FSx pour le montage du système de fichiers Lustre pour un groupe d'instances.

"InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "string",
            "MountPath": "string",
            "MountName": "string"
        }
    }
]

Paramètres :

FsxOpenZfsConfig

Configurez FSx pour le montage du système de fichiers OpenZFS pour un groupe d'instances.

"InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "string",
            "MountPath": "string"
        }
    }
]

Paramètres :

Exemple avec plusieurs systèmes de fichiers :

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 4,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "InstanceStorageConfigs": [
        {
            "FsxLustreConfig": {
                "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                "MountPath": "/fsx",
                "MountName": "abcdefgh"
            }
        },
        {
            "FsxOpenZfsConfig": {
                "DnsName": "fs-0xyz987654321.fsx.us-west-2.amazonaws.com",
                "MountPath": "/shared"
            }
        },
        {
            "EbsVolumeConfig": {
                "VolumeSizeInGB": 500
            }
        }
    ],
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Exemple API-driven de configuration complet

L'exemple suivant montre une CreateCluster demande complète utilisant la configuration de API-driven Slurm :

{
    "ClusterName": "ml-training-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "login",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "gpu-compute",
            "InstanceType": "ml.p4d.24xlarge",
            "InstanceCount": 8,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2,
            "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
        },
        {
            "InstanceGroupName": "cpu-compute",
            "InstanceType": "ml.c5.18xlarge",
            "InstanceCount": 4,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["cpu-preprocessing"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    },
    "VpcConfig": {
        "SecurityGroupIds": ["sg-0abc123def456789a"],
        "Subnets": ["subnet-0abc123def456789a", "subnet-0abc123def456789b"]
    },
    "Tags": [
        {
            "Key": "Project",
            "Value": "ML-Training"
        }
    ]
}

Pour en savoir plus sur l'utilisation API-driven de la configuration, consultezPersonnalisation des SageMaker HyperPod clusters à l'aide de scripts de cycle de vie.

Configuration héritée : provisioning_parameters.json

Avec l'approche traditionnelle, vous créez un fichier de configuration Slurm nommé provisioning_parameters.json et vous le chargez sur Amazon S3 dans le cadre de vos scripts de cycle de vie. HyperPod lit ce fichier lors de la création du cluster pour configurer les nœuds Slurm.

Formulaire de configuration pour provisioning_parameters.json

Le code suivant est le formulaire de configuration Slurm que vous devez préparer pour configurer correctement les nœuds Slurm sur votre cluster. HyperPod Vous devez remplir ce formulaire et le charger dans le cadre d’un ensemble de scripts de cycle de vie lors de la création du cluster. Pour savoir comment préparer ce formulaire tout au long des processus de création de HyperPod clusters, consultezPersonnalisation des SageMaker HyperPod clusters à l'aide de scripts de cycle de vie.

// Save as provisioning_parameters.json.
{
    "version": "1.0.0",
    "workload_manager": "slurm",
    "controller_group": "string",
    "login_group": "string",
    "worker_groups": [
        {
            "instance_group_name": "string",
            "partition_name": "string"
        }
    ],
    "fsx_dns_name": "string",
    "fsx_mountname": "string"
}

Paramètres :

Comparaison : API-driven par rapport à la configuration héritée

SageMaker HyperPod DLAMI

SageMaker HyperPod exécute un DLAMI basé sur :

Le SageMaker HyperPod DLAMI est fourni avec des packages supplémentaires pour prendre en charge des outils open source tels que Slurm, Kubernetes, les dépendances et des packages logiciels de cluster pour prendre en charge les fonctionnalités de résilience telles que le contrôle de l'état du SageMaker HyperPod cluster et la reprise automatique. Pour suivre les mises à jour HyperPod logicielles distribuées par l'équipe de HyperPod service via DLAmis, consultez. Notes de SageMaker HyperPod mise à jour d'Amazon

SageMaker HyperPod Référence des autorisations d'API

Lorsque vous configurez le contrôle d'accès pour autoriser l'exécution des opérations d' SageMaker HyperPod API et que vous rédigez une politique d'autorisations que vous pouvez associer aux utilisateurs IAM pour les administrateurs cloud, utilisez le tableau suivant comme référence.

Pour obtenir la liste complète des autorisations et des types de ressources pour les SageMaker API, consultez la section Actions, ressources et clés de condition pour Amazon SageMaker AI dans le AWS Service Authorization Reference.

SageMaker HyperPod commandes dans AWS CLI

Les AWS CLI commandes suivantes permettent d'exécuter SageMaker HyperPod les opérations de base de HyperPod l'API.

SageMaker HyperPod Modules Python dans AWS SDK pour Python (Boto3)

Voici les méthodes du AWS SDK pour Python (Boto3) client permettant à l' SageMaker IA d'exécuter les opérations de base de HyperPod l'API.