在 Amazon SageMaker AI 中使用異質叢集設定訓練任務

若要針對訓練任務配置異質叢集的執行個體群組，請使用 sagemaker.instance_group.InstanceGroup 類別。您可以為每個執行個體群組指定自訂名稱、執行個體類型，以及每個執行個體群組的執行個體數目。如需詳細資訊，請參閱 SageMaker AI Python SDK 文件中的 sagemaker.instance_group.InstanceGroup。

下列程式碼範例示範如何設定兩個執行個體群組，其中包含兩個CPU僅限 ml.c5.18xlarge 的執行個體，instance_group_1以及一個名為 的ml.p3dn.24xlargeGPU執行個體instance_group_2，如下圖所示。

上圖顯示預先訓練程序的概念範例，例如資料預先處理，如何指派給CPU執行個體群組，並將預先處理的資料串流至GPU執行個體群組。

from sagemaker.instance_group import InstanceGroup

instance_group_1 = InstanceGroup(
    "instance_group_1", "ml.c5.18xlarge", 2
)
instance_group_2 = InstanceGroup(
    "instance_group_2", "ml.p3dn.24xlarge", 1
)

使用執行個體群組物件，設定訓練輸入通道，並透過 sagemaker.inputs.TrainingInput 類別的instance_group_names引數將執行個體群組指派給通道。instance_group_names 引數會接受執行個體群組名稱的字串清單。

下列範例顯示如何設定兩個訓練輸入頻道，並指派在上一個步驟範例中建立的執行個體群組。您也可以指定 Amazon S3 儲存貯體的 s3_data 引數路徑，讓執行個體群組為您的使用目的處理資料。

from sagemaker.inputs import TrainingInput

training_input_channel_1 = TrainingInput(
    s3_data_type='S3Prefix', # Available Options: S3Prefix | ManifestFile | AugmentedManifestFile
    s3_data='s3://your-training-data-storage/folder1',
    distribution='FullyReplicated', # Available Options: FullyReplicated | ShardedByS3Key 
    input_mode='File', # Available Options: File | Pipe | FastFile
    instance_groups=["instance_group_1"]
)

training_input_channel_2 = TrainingInput(
    s3_data_type='S3Prefix',
    s3_data='s3://your-training-data-storage/folder2',
    distribution='FullyReplicated',
    input_mode='File',
    instance_groups=["instance_group_2"]
)

如需 TrainingInput 引數的詳細資訊，請參閱以下連結。

使用 instance_groups引數設定 SageMaker AI 估算器，如下列程式碼範例所示。instance_groups 引數接受 InstanceGroup 物件的清單。

使用執行個體群組配置的訓練輸入頻道來設定 estimator.fit 方法，然後開始訓練任務。

estimator.fit(
    inputs={
        'training': training_input_channel_1, 
        'dummy-input-channel': training_input_channel_2
    }
)