기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon이 교육 정보를 SageMaker 제공하는 방법

이 섹션에서는 SageMaker 가 Docker 컨테이너에 훈련 데이터, 하이퍼파라미터 및 기타 구성 정보와 같은 훈련 정보를 제공하는 방법을 설명합니다.

모델 훈련을 시작하기 SageMaker 위해 에 CreateTrainingJob 요청을 보낼 때 훈련 알고리즘이 포함된 Docker 이미지의 Amazon Elastic Container Registry(AmazonECR) 경로를 지정합니다. 또한 훈련 데이터가 저장되는 Amazon Simple Storage Service(Amazon S3) 위치와 알고리즘별 파라미터를 지정합니다. SageMaker 는 훈련 알고리즘이 사용할 수 있도록 이 정보를 Docker 컨테이너에 제공합니다. 이 단원은 Docker 컨테이너에서 이 정보를 사용 가능하도록 하는 방법을 설명합니다. 훈련 작업 생성에 대한 자세한 정보는 CreateTrainingJob 단원을 참조하세요. SageMaker 컨테이너가 정보를 구성하는 방법에 대한 자세한 내용은 섹션을 참조하세요SageMaker 훈련 및 추론 도구 키트.

하이퍼파라미터

SageMaker 는 CreateTrainingJob 요청의 하이퍼파라미터를 /opt/ml/input/config/hyperparameters.json 파일의 Docker 컨테이너에서 사용할 수 있도록 합니다.

다음은 에 대한 CreateTrainingJob 작업에서 num_round 및 하이퍼파라미터를 지정hyperparameters.json하기 위한 의 eta 하이퍼파라미터 구성의 예입니다XGBoost.

{
    "num_round": "128",
    "eta": "0.001"
}            

SageMaker 내장 XGBoost 알고리즘에 사용할 수 있는 하이퍼파라미터의 전체 목록은 XGBoost 하이퍼파라미터를 참조하세요.

조정할 수 있는 하이퍼파라미터는 훈련 중인 알고리즘에 따라 달라집니다. SageMaker 기본 제공 알고리즘에 사용할 수 있는 하이퍼파라미터 목록은 Amazon 기본 제공 알고리즘 사용 또는 사전 훈련된 모델 의 알고리즘 링크에서 하이퍼파라미터에 나열되어 있습니다. SageMaker

환경 변수

SageMaker 는 컨테이너에서 다음 환경 변수를 설정합니다.

입력 데이터 구성

SageMaker 는 CreateTrainingJob 요청의 InputDataConfig 파라미터에 있는 데이터 채널 정보를 Docker 컨테이너의 /opt/ml/input/config/inputdataconfig.json 파일에서 사용할 수 있도록 합니다.

예를 들어 요청에 세 개의 데이터 채널(train, evaluation및 validation)을 지정한다고 가정해 보겠습니다. SageMaker 는 다음을 제공합니다JSON.

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

훈련 데이터

CreateTrainingJob 요청의 AlgorithmSpecification에 있는 TrainingInputMode 파라미터는 컨테이너에서 훈련 데이터 세트를 사용하는 방법을 지정합니다. 다음의 입력 모드를 이용할 수 있습니다.

SageMaker 모델 훈련은 고성능 S3 Express One Zone 디렉터리 버킷을 파일 모드, 빠른 파일 모드 및 파이프 모드의 데이터 입력 위치로 지원합니다. S3 Express One Zone을 사용하려면 Amazon S3 범용 버킷 대신 S3 Express One Zone 디렉터리 버킷의 위치를 입력합니다. Amazon S3 IAM 역할에 ARN 필요한 액세스 제어 및 권한 정책을 에 제공합니다. 자세한 내용은 AmazonSageMakerFullAccesspolicy 섹션을 참조하세요. Amazon S3 관리형 키(-SSE-S33)를 사용한 서버 측 암호화를 통해서만 디렉터리 버킷에서 SageMaker 출력 데이터를 암호화할 수 있습니다. AWS KMS 키(SSE-KMS)를 사용한 서버 측 암호화는 현재 디렉터리 버킷에 SageMaker 출력 데이터를 저장하는 데 지원되지 않습니다. 자세한 내용은 S3 Express One Zone을 참조하세요.

분산 훈련 구성

여러 컨테이너로 분산 훈련을 수행하는 경우 는 /opt/ml/input/config/resourceconfig.json 파일에서 사용할 수 있는 모든 컨테이너에 대한 정보를 SageMaker 생성합니다.

컨테이너 간 통신을 활성화하기 위해 이 JSON 파일에는 모든 container. SageMaker makes에 대한 정보가 포함되어 있습니다. 이 파일은 File 및 Pipe 모드 알고리즘 모두에 사용할 수 있습니다. 파일은 다음 정보를 제공합니다.

다음은 3개 노드 클러스터에 있는 노드 1의 예제 파일입니다.

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}