SageMaker HyperPod 클러스터 축소

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon SageMaker HyperPod 클러스터에서 실행되는 인스턴스 수를 축소할 수 있습니다. 리소스 사용률 감소 또는 비용 최적화와 같은 다양한 이유로 클러스터를 축소할 수 있습니다.

다음 페이지에서는 축소에 대한 두 가지 주요 접근 방식을 간략하게 설명합니다.

중요 고려 사항

인스턴스 그룹 수준에서 축소

UpdateCluster 작업을 통해 인스턴스 그룹의 인스턴스 수를 축소하거나 전체 인스턴스 그룹을 제거하는 등 SageMaker HyperPod 클러스터의 구성을 변경할 수 있습니다. 이는 워크로드의 변경 사항에 따라 클러스터에 할당된 리소스를 조정하거나, 비용을 최적화하거나, 인스턴스 그룹의 인스턴스 유형을 변경하려는 경우에 유용할 수 있습니다.

인스턴스 그룹 축소

유휴 상태이고 규모 축소를 위해 인스턴스를 종료해도 안전한 인스턴스 그룹이 있는 경우이 접근 방식을 사용합니다. 축소 UpdateCluster 요청을 제출하면 HyperPod는 종료할 인스턴스를 무작위로 선택하고 인스턴스 그룹에 지정된 수의 노드로 축소합니다.

다음은 UpdateCluster JSON 객체의 예입니다. 인스턴스 그룹에 현재 실행 중인 인스턴스가 2개 있는 경우를 고려해 보세요. 예제와 같이 InstanceCount 필드를 1로 설정하면 HyperPod는 인스턴스 중 하나를 무작위로 선택하고 종료합니다.

{
  "ClusterName": "name-of-cluster-to-update",
  "InstanceGroups": [
    {
      "InstanceGroupName": "training-instances",
      "InstanceType": "instance-type",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket/training-script.py",
        "OnCreate": "s3://amzn-s3-demo-bucket/setup-script.sh"
      },
      "ExecutionRole": "arn:aws:iam::123456789012:role/SageMakerRole",
      "ThreadsPerCore": number-of-threads,
      "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity"
      ]
    }
  ],
  "NodeRecovery": "Automatic"
}

인스턴스 그룹 삭제

더 이상 필요하지 않은 경우 UpdateCluster 작업을 사용하여 SageMaker HyperPod 클러스터에서 전체 인스턴스 그룹을 제거할 수 있습니다. 이는 단순한 스케일 다운을 넘어 클러스터 구성에서 특정 인스턴스 그룹을 완전히 제거할 수 있도록 합니다.

다음은 UpdateCluster JSON 객체의 예입니다. 클러스터에 현재 3개의 인스턴스 그룹, 즉 훈련, 프로토타입 훈련 및 추론 서비스 그룹이 있는 경우를 생각해 보세요. 프로토타입 훈련 그룹을 삭제하려고 합니다.

{
  "ClusterName": "name-of-cluster-to-update",
  "InstanceGroups": [
    {
      "InstanceGroupName": "training",
      "InstanceType": "instance-type",
      "InstanceCount": ,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket/training-script.py",
        "OnCreate": "s3://amzn-s3-demo-bucket/setup-script.sh"
      },
      "ExecutionRole": "arn:aws:iam::123456789012:role/SageMakerRole",
      "ThreadsPerCore": number-of-threads,
      "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity"
      ]
    },
    {
      "InstanceGroupName": "inference-serving",
      "InstanceType": "instance-type",
      "InstanceCount": 2,
      [...]
    },
  ],
  "InstanceGroupsToDelete": [ "prototype-training" ],
  "NodeRecovery": "Automatic"
}

인스턴스 수준에서 축소

BatchDeleteClusterNodes 작업을 통해 종료하려는 개별 노드를 지정하여 SageMaker HyperPod 클러스터를 축소할 수 있습니다.는 대상 노드 제거 및 클러스터 최적화를 위한 보다 세분화된 제어를 BatchDeleteClusterNodes 제공합니다. 예를 들어 BatchDeleteClusterNodes를 사용하여 리소스를 지리적으로 유지 관리, 롤링 업그레이드 또는 재조정할 대상 노드를 삭제할 수 있습니다.

API 요청 및 응답

BatchDeleteClusterNodes 요청을 제출하면 SageMaker HyperPod는 인스턴스 IDs. API는 클러스터 이름과 삭제할 노드 IDs 목록이 포함된 요청을 수락합니다.

응답에는 다음 두 섹션이 포함됩니다.

검증 및 오류 처리

API는 다음과 같은 다양한 검증을 수행합니다.

API 응답 코드

예

다음은 를 사용하여 인스턴스 수준에서 클러스터를 스케일 다운하는 예제입니다 AWS CLI.

aws sagemaker batch-delete-cluster-nodes --cluster-name "cluster-name" --node-ids '["i-111112222233333", "i-111112222233333"]'