Amazon SageMaker AI가 훈련 정보를 제공하는 방법

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

이 섹션에서는 SageMaker AI가 Docker 컨테이너에서 사용할 수 있는 훈련 데이터, 하이퍼파라미터 및 기타 구성 정보와 같은 훈련 정보를 만드는 방법을 설명합니다.

모델 훈련을 시작하기 위해 SageMaker AI에 CreateTrainingJob 요청을 보낼 때 훈련 알고리즘이 포함된 Docker 이미지의 Amazon Elastic Container Registry(Amazon ECR) 경로를 지정합니다. 또한 훈련 데이터가 저장된 Amazon Simple Storage Service(S3)의 위치와 알고리즘에 해당되는 파라미터도 지정합니다. SageMaker AI는 훈련 알고리즘이 사용할 수 있도록이 정보를 Docker 컨테이너에 제공합니다. 이 섹션은 Docker 컨테이너에서 이 정보를 사용 가능하도록 하는 방법을 설명합니다. 훈련 작업 생성에 대한 자세한 정보는 CreateTrainingJob 섹션을 참조하세요. SageMaker AI 컨테이너가 정보를 구성하는 방법에 대한 자세한 내용은 섹션을 참조하세요SageMaker 훈련 및 추론 툴킷.

하이퍼파라미터

SageMaker AI는 CreateTrainingJob 요청의 하이퍼파라미터를 /opt/ml/input/config/hyperparameters.json 파일의 Docker 컨테이너에서 사용할 수 있도록 합니다.

다음은 hyperparameters.json의 하이퍼파라미터 구성의 예로서 XGBoost를 위한 CreateTrainingJob작업에서 num_round 및 eta 하이퍼파라미터를 지정합니다.

{
    "num_round": "128",
    "eta": "0.001"
}            

SageMaker AI 내장 XGBoost 알고리즘에 사용할 수 있는 하이퍼파라미터의 전체 목록은 XGBoost 하이퍼파라미터를 참조하세요.

조정할 수 있는 하이퍼파라미터는 훈련 중인 알고리즘에 따라 달라집니다. SageMaker AI 내장 알고리즘에 사용할 수 있는 하이퍼파라미터 목록은 Amazon SageMaker AI 내장 알고리즘 사용 또는 사전 훈련된 모델의 알고리즘 링크에서 하이퍼파라미터에 나열되어 있습니다. Amazon SageMaker

환경 변수

SageMaker AI는 컨테이너에서 다음 환경 변수를 설정합니다.

입력 데이터 구성

SageMaker AI는 CreateTrainingJob 요청의 InputDataConfig 파라미터에 있는 데이터 채널 정보를 Docker 컨테이너의 /opt/ml/input/config/inputdataconfig.json 파일에서 사용할 수 있도록 합니다.

예를 들어 요청에서 3개의 데이터 채널(train, evaluation 및 validation)을 지정한다고 가정합니다. SageMaker AI는 다음 JSON을 제공합니다.

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

훈련 데이터

CreateTrainingJob 요청의 AlgorithmSpecification에 있는 TrainingInputMode 파라미터는 컨테이너에서 훈련 데이터세트를 사용하는 방법을 지정합니다. 다음의 입력 모드를 이용할 수 있습니다.

SageMaker AI 모델 훈련은 고성능 S3 Express One Zone 디렉터리 버킷을 파일 모드, 빠른 파일 모드 및 파이프 모드의 데이터 입력 위치로 지원합니다. S3 Express One Zone을 사용하려면 Amazon S3 범용 버킷 대신 S3 Express One Zone 디렉터리 버킷의 위치를 입력합니다. 필요한 액세스 제어 및 권한 정책을 IAM 역할에 대한 ARN에 제공합니다. 자세한 내용은 AmazonSageMakerFullAccesspolicy를 참조하세요. Amazon S3 관리형 키(SSE-S3)를 사용한 서버 측 암호화를 통해서만 디렉터리 버킷에서 SageMaker AI 출력 데이터를 암호화할 수 있습니다. AWS KMS 키(SSE-KMS)를 사용한 서버 측 암호화는 현재 디렉터리 버킷에 SageMaker AI 출력 데이터를 저장하는 데 지원되지 않습니다. 자세한 내용은 S3 Express One Zone을 참조하세요.

분산 훈련 구성

여러 컨테이너로 분산 훈련을 수행하는 경우 SageMaker AI는 /opt/ml/input/config/resourceconfig.json 파일에서 사용할 수 있는 모든 컨테이너에 대한 정보를 제공합니다.

컨테이너 간 통신을 활성화하기 위해 이 JSON 파일에는 모든 컨테이너에 대한 정보가 들어 있습니다. SageMaker AI를 사용하면 File 및 Pipe 모드 알고리즘 모두에서이 파일을 사용할 수 있습니다. 파일은 다음 정보를 제공합니다.

다음은 3개 노드 클러스터에 있는 노드 1의 예제 파일입니다.

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}