SageMaker HyperPod 사용을 위한 사전 조건 - 아마존 SageMaker
SageMaker HyperPod 할당량아마존에서 SageMaker HyperPod 설정하기 VPC설정 AWS Systems Manager 및 클러스터 사용자 액세스 제어를 위한 Run As(선택 사항) Amazon에서 SageMaker HyperPod FSx Lustre를 사용하도록 설정하기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

SageMaker HyperPod 사용을 위한 사전 조건

다음 섹션에서는 시작하기 전에 사전 요구 사항을 안내합니다. SageMaker HyperPod

SageMaker HyperPod 할당량

클러스터 사용 할당량이 주어지면 SageMaker HyperPod 클러스터를 생성할 수 있습니다. AWS 계정.

중요

SageMaker HyperPod 요금에 대한 자세한 내용은 Amazon SageMaker 요금을 참조하십시오SageMaker HyperPod 가격 책정.

다음을 사용하여 Amazon SageMaker HyperPod 할당량을 확인하십시오. AWS 관리 콘솔

사용되는 클러스터 사용에 대한 할당량 (한도라고도 함) 의 기본값과 적용된 값을 찾아보십시오. SageMaker HyperPod

  1. Service Quotas 콘솔.

  2. 왼쪽 탐색 창에서 다음을 선택합니다. AWS 서비스.

  3. 에서AWS 서비스 목록에서 Amazon을 검색하고 선택합니다 SageMaker.

  4. 서비스 할당량 목록에서 서비스 할당량 이름, 적용된 값 (사용 가능한 경우) 을 확인할 수 있습니다. AWS 기본 할당량 및 할당량 값 조정 가능 여부

  5. 검색 창에 클러스터 사용량을 입력합니다. 여기에는 클러스터 사용 할당량, 적용된 할당량, 기본 할당량이 표시됩니다.

다음을 사용하여 Amazon SageMaker HyperPod 할당량을 요청합니다. AWS 관리 콘솔

계정 또는 리소스 수준에서 할당량을 늘리십시오.

  1. 클러스터 사용에 대한 인스턴스 할당량을 늘리려면 늘리려는 할당량을 선택합니다.

  2. 할당량을 조정할 수 있는 경우 조정 가능성 열에 나열된 값을 기반으로 계정 수준 또는 리소스 수준에서 할당량 증가를 요청할 수 있습니다.

  3. 할당량 증가에 새 값을 입력합니다. 새 값은 현재 값보다 커야 합니다.

  4. 요청을 선택합니다.

  5. 콘솔에서 보류 중이거나 최근에 해결된 요청을 보려면 서비스의 세부정보 페이지에서 요청 기록 탭으로 이동하거나 탐색 창에서 대시보드를 선택합니다. 보류 중인 요청의 경우 요청 상태를 선택하여 요청 접수증을 엽니다. 요청의 초기 상태는 Pending(보류 중)입니다. 상태가 할당량 요청으로 변경되면 사례 번호가 다음과 같이 표시됩니다. AWS Support. 케이스 번호를 선택하여 요청용 티켓을 여십시오.

일반적인 할당량 증가 요청에 대한 자세한 내용은 쿼터 증액 요청을 참조하십시오. AWS Service Quotas 사용 설명서.

아마존에서 SageMaker HyperPod 설정하기 VPC

VPCAmazon에서 SageMaker HyperPod 클러스터를 설정하려면 다음 항목을 확인하십시오.

참고

를 사용하여 EKS 오케스트레이션하는 데 필요하며 VPC HyperPod 클러스터에도 동일하게 사용해야 합니다. Slurm으로 오케스트레이션하려면 직접 설정하는 것은 선택 사항입니다. VPC

  • 직접 만든 VPC 음악을 사용하여 연결하려는 경우 SageMaker HyperPod AWS 내 VPC 리소스의 VPC 이름, ID, AWS 리전, 생성 SageMaker HyperPod 시 서브넷 ID 및 보안 그룹 ID 새로 VPC 생성하려면 Amazon Virtual Private Cloud 사용 설명서의 기본값 생성 VPC 또는 생성을 참조하십시오. VPC

  • 모든 리소스를 동일하게 생성하는 것이 중요합니다. AWS 리전 그리고 가용 영역을 선택하고, 내 리소스 간의 연결을 허용하도록 보안 그룹 규칙을 구성하십시오VPC. 예를 들어, in을 생성한다고 VPC 가정해 보겠습니다us-west-2. 이 VPC 가용 영역에 서브넷을 만들고us-west-2a, 보안 그룹 내에서 들어오는 모든 (인바운드) 트래픽과 모든 아웃바운드 트래픽을 허용하는 보안 그룹을 만들어야 합니다.

  • 또한 다음과 같은 연결이 있는지 확인해야 합니다. VPC Amazon Simple Storage Service (아마존 S3). 를 구성하면 SageMaker HyperPod 인스턴스 그룹이 인터넷에 액세스할 수 없으므로 수명 주기 스크립트, 교육 데이터, 모델 아티팩트와 같은 파일에 액세스하거나 저장하기 위해 Amazon S3에 연결할 수 없습니다. VPC Amazon S3를 사용하는 동안 연결을 VPC 설정하려면 VPC 엔드포인트를 생성해야 합니다. VPC엔드포인트를 생성하여 SageMaker HyperPod 인스턴스 그룹이 동일한 VPC Amazon S3 버킷에 액세스하도록 허용할 수 있습니다. 또한 프라이빗 사용자의 Amazon S3 버킷 액세스 요청만 허용하는 사용자 지정 정책을 생성하는 VPC 것이 좋습니다. 자세한 내용은 의 Amazon S3용 엔드포인트를 참조하십시오. AWS PrivateLink 가이드.

  • EFA-enabled 인스턴스가 포함된 HyperPod 클러스터를 만들려면 보안 그룹 자체에서 들어오고 나가는 모든 인바운드 및 아웃바운드 트래픽을 허용하도록 보안 그룹을 설정해야 합니다. 자세한 내용은 Amazon EC2 사용 설명서의 1단계: EFA 활성화된 보안 그룹 준비를 참조하십시오.

설정 AWS Systems Manager 및 클러스터 사용자 액세스 제어를 위한 Run As

SageMaker HyperPod DLAMI다음과 함께 제공됩니다. AWS Systems Manager(SSM) 가 기본 제공되므로 SageMaker HyperPod 클러스터 인스턴스 그룹에 대한 액세스를 관리할 수 있습니다. 이 섹션에서는 SageMaker HyperPod 클러스터에서 운영 체제 (OS) 사용자를 생성하고 사용자 및 역할에 연결하는 방법을 설명합니다. IAM 이는 OS 사용자 계정의 자격 증명을 사용하여 SSM 세션을 인증하는 데 유용합니다.

Run As를 활성화하려면 다음을 실행하십시오. AWS account

다음과 같이 AWS 계정 관리자 또는 클라우드 관리자는 의 Run As 기능을 사용하여 IAM 역할 또는 사용자 수준에서 SageMaker HyperPod 클러스터에 대한 액세스를 관리할 수 SSM 있습니다. 이 기능을 사용하면 IAM 역할 또는 사용자와 관련된 OS 사용자를 사용하여 각 SSM 세션을 시작할 수 있습니다.

Run As를 활성화하려면 AWS 계정의 경우 Linux 및 macOS 관리 노드에 대한 '다른 이름으로 실행 지원 켜기'의 단계를 따르세요. 클러스터에서 이미 OS 사용자를 생성한 경우, Linux 및 macOS 관리 노드에 대한 Run As 지원 활성화하기에서 5단계 옵션 2의 지침에 따라 해당 사용자를 IAM 역할 또는 사용자와 연결해야 합니다.

(Slurm) Amazon FSx 파일 시스템을 공유 SageMaker HyperPod 공간으로 연결하여 Linux 사용자 설정

클러스터 사용자가 공유 공간을 통해 SSM 클러스터에 액세스할 수 있도록 설정을 완료하려면 HyperPod 클러스터를 생성하기 위한 수명 주기 구성 스크립트를 준비하면서 사용자를 추가하기 위한 스크립트를 구성해야 합니다. HyperPod 섹션에서 에서 제공하는 기본 라이프사이클 스크립트로 시작하십시오. HyperPod 소개한 GitHub 리포지토리에는 사용자 데이터를 add_users.sh 읽어오는 스크립트가 shared_users.txt 있습니다. 수명 주기 스크립트를 준비하고 Amazon S3 버킷에 업로드하는 과정에서 두 파일을 업로드해야 합니다. 이에 대해서는 이 Slurm을 SageMaker HyperPod 사용한 오케스트레이션 시작하기 섹션과 섹션에서 배우게 됩니다. Amazon FSx 공유 공간을 통해 다중 사용자 환경 설정

(선택 사항) Amazon에서 SageMaker HyperPod FSx Lustre를 사용하도록 설정하기

SageMaker HyperPod 클러스터와 FSx Lustre용 파일 시스템 간의 데이터 경로 사용 및 매핑을 시작하려면 다음 중 하나를 선택하십시오. AWS 리전 에서 지원됩니다. SageMaker HyperPod 선택 후 AWS 리전 원하는 경우 사용할 가용 영역 (AZ) 도 결정해야 합니다. 동일한 노드 내에 FSx for Lustre 파일 시스템이 설정된 위치와 AZs 다른 AZs 곳에서 SageMaker HyperPod 컴퓨팅 노드를 사용하는 경우 AWS 리전통신 및 네트워크 오버헤드가 있을 수 있습니다. SageMaker HyperPod 클러스터와 Lustre 파일 시스템 간의 AZ 간 교차 트래픽을 방지하려면 SageMaker HyperPod 서비스 계정의 물리적 AZ와 동일한 물리적 AZ를 FSx 사용하는 것이 좋습니다. 또한 다음을 사용하여 구성했는지 확인하십시오. VPC FSxAmazon을 스토리지의 기본 파일 시스템으로 사용하려면 로 SageMaker HyperPod 클러스터를 구성해야 합니다VPC.