기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon에서 인크리멘탈 트레이닝 사용하기 SageMaker

시간이 흐름에 따라 모델이 이전만큼 좋은 추론을 생성하지 않는다는 사실을 알 수 있습니다. 점진적 훈련을 적용하면 기존 모델의 결과물 및 확장된 데이터 세트를 사용하여 새로운 모델을 훈련할 수 있습니다. 점진적 훈련은 시간 및 리소스를 둘 다 절약할 수 있습니다.

점진적 훈련 사용:

훈련 작업에 대한 자세한 정보는 Amazon에서 모델 학습시키기 SageMaker 단원을 참조하세요.

SageMaker 콘솔 또는 Amazon SageMaker Python SDK를 사용하여 점진적으로 학습할 수 있습니다.

점진적 훈련 수행(콘솔)

이 절차를 완료하려면 다음이 필요합니다.

중지된 훈련 작업을 다시 시작하려면 모델 또는 완료된 훈련 작업에서 하는 것처럼 세부 정보 페이지에 저장된 모델 결과물에 대한 이 URL을 사용합니다.

훈련 작업이 완료되면, 새로 훈련된 모델 아티팩트가 출력 데이터 구성 필드에서 제공한 S3 출력 경로 아래에 저장됩니다. 예측을 얻기 위해 모델을 배포하려면 Amazon에 모델 배포 EC2 단원을 참조하세요.

점진적 훈련 수행(API)

이 예제에서는 SageMaker API를 사용하여 SageMaker 이미지 분류 알고리즘과 Caltech 256 이미지 데이터셋을 사용하여 모델을 훈련시킨 다음 첫 번째 모델을 사용하여 새 모델을 훈련시키는 방법을 보여줍니다. Amazon S3를 입력 및 출력 소스에 사용합니다. 점진적 훈련 사용에 대한 자세한 정보는 점진적 훈련 샘플 노트북을 참조하세요.

필요한 권한을 부여하는 AWS Identity and Access Management (IAM) 역할을 가져오고 환경 변수를 초기화하세요.

import sagemaker
from sagemaker import get_execution_role

role = get_execution_role()
print(role)

sess = sagemaker.Session()

bucket=sess.default_bucket()
print(bucket)
prefix = 'ic-incr-training'

Image Classification 알고리즘에 대한 훈련 이미지를 가져옵니다.

from sagemaker.amazon.amazon_estimator import get_image_uri

training_image = get_image_uri(sess.boto_region_name, 'image-classification', repo_version="latest")
#Display the training image
print (training_image)

훈련 및 검증 데이터 세트를 다운로드한 다음 Amazon Simple Storage Service(S3)에 업로드합니다.

import os
import urllib.request
import boto3

# Define a download function
def download(url):
    filename = url.split("/")[-1]
    if not os.path.exists(filename):
        urllib.request.urlretrieve(url, filename)

# Download the caltech-256 training and validation datasets
download('http://data.mxnet.io/data/caltech-256/caltech-256-60-train.rec')
download('http://data.mxnet.io/data/caltech-256/caltech-256-60-val.rec')

# Create four channels: train, validation, train_lst, and validation_lst
s3train = 's3://{}/{}/train/'.format(bucket, prefix)
s3validation = 's3://{}/{}/validation/'.format(bucket, prefix)

# Upload the first files to the train and validation channels
!aws s3 cp caltech-256-60-train.rec $s3train --quiet
!aws s3 cp caltech-256-60-val.rec $s3validation --quiet

훈련 하이퍼파라미터를 정의합니다.

# Define hyperparameters for the estimator
hyperparams = { "num_layers": "18",
                "resize": "32",
                "num_training_samples": "50000",
                "num_classes": "10",
                "image_shape": "3,28,28",
                "mini_batch_size": "128",
                "epochs": "3",
                "learning_rate": "0.1",
                "lr_scheduler_step": "2,3",
                "lr_scheduler_factor": "0.1",
                "augmentation_type": "crop_color",
                "optimizer": "sgd",
                "momentum": "0.9",
                "weight_decay": "0.0001",
                "beta_1": "0.9",
                "beta_2": "0.999",
                "gamma": "0.9",
                "eps": "1e-8",
                "top_k": "5",
                "checkpoint_frequency": "1",
                "use_pretrained_model": "0",
                "model_prefix": "" }

예측기 객체를 생성하고 훈련 및 검증 데이터 세트를 사용하여 첫 번째 모델을 훈련합니다.

# Fit the base estimator
s3_output_location = 's3://{}/{}/output'.format(bucket, prefix)
ic = sagemaker.estimator.Estimator(training_image,
                                   role,
                                   instance_count=1,
                                   instance_type='ml.p2.xlarge',
                                   volume_size=50,
                                   max_run=360000,
                                   input_mode='File',
                                   output_path=s3_output_location,
                                   sagemaker_session=sess,
                                   hyperparameters=hyperparams)

train_data = sagemaker.inputs.TrainingInput(s3train, distribution='FullyReplicated',
                                        content_type='application/x-recordio', s3_data_type='S3Prefix')
validation_data = sagemaker.inputs.TrainingInput(s3validation, distribution='FullyReplicated',
                                             content_type='application/x-recordio', s3_data_type='S3Prefix')

data_channels = {'train': train_data, 'validation': validation_data}

ic.fit(inputs=data_channels, logs=True)

모델을 사용하여 다른 모델을 점진적으로 훈련하려면 새 예측기 객체를 생성하고 model_uri 입력 인수에 모델 결과물(이 예에서는 ic.model_data)을 사용합니다.

# Given the base estimator, create a new one for incremental training
incr_ic = sagemaker.estimator.Estimator(training_image,
                                        role,
                                        instance_count=1,
                                        instance_type='ml.p2.xlarge',
                                        volume_size=50,
                                        max_run=360000,
                                        input_mode='File',
                                        output_path=s3_output_location,
                                        sagemaker_session=sess,
                                        hyperparameters=hyperparams,
                                        model_uri=ic.model_data) # This parameter will ingest the previous job's model as a new channel
incr_ic.fit(inputs=data_channels, logs=True)

훈련 작업이 완료되면 새로 훈련된 모델 결과물이 Output_path에 입력한 S3 output path 아래에 저장됩니다. 예측을 얻기 위해 모델을 배포하려면 Amazon에 모델 배포 EC2 단원을 참조하세요.