本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在 Amazon 使用增量培訓 SageMaker

一段時間後，您可能會發現模型產生的推論不如過去那麼精準。使用增量訓練時，您可以使用現有模型的成品，並使用擴充的資料集來訓練新的模型。增量訓練可節省時間和資源。

使用增量訓練時，可執行下列作業：

如需訓練任務的更多資訊，請參閱用 Amazon 訓練模型 SageMaker。

您可以使用 SageMaker 主控台或 Amazon SageMaker Python 開發套件以增量方式進行訓練。

執行增量訓練 (主控台)

若要完成此程序，您需要：

若要重新啟動已停止的訓練任務，請使用存放在詳細資訊頁面中的模型成品 URL，就像您使用模型或已完成的訓練任務一樣。

完成訓練任務之後，剛訓練好的模型成品即會存放在 S3 output path (S3 輸出路徑) 下方 (您之前在 Output data configuration (輸出資料組態) 欄位中提供此路徑)。若要部署模型以取得預測，請參閱將模型部署至 Amazon EC2。

執行增量訓練 (API)

這個例子說明如何使用 SageMaker API 來訓練使用 SageMaker 圖像分類算法和加州理工 256 圖像數據集來訓練模型，然後使用第一個模型來訓練新模型。其使用 Amazon S3 做為輸入和輸出來源。如需如何使用累加式訓練的更多詳細資訊，請參閱 incremental training sample notebook。

取得授與所需權限並初始化環境變數的 AWS Identity and Access Management (IAM) 角色：

import sagemaker
from sagemaker import get_execution_role

role = get_execution_role()
print(role)

sess = sagemaker.Session()

bucket=sess.default_bucket()
print(bucket)
prefix = 'ic-incr-training'

取得適用於影像分類演算法的訓練影像：

from sagemaker.amazon.amazon_estimator import get_image_uri

training_image = get_image_uri(sess.boto_region_name, 'image-classification', repo_version="latest")
#Display the training image
print (training_image)

下載訓練和驗證資料集，然後上傳到 Amazon Simple Storage Service (Amazon S3)：

import os
import urllib.request
import boto3

# Define a download function
def download(url):
    filename = url.split("/")[-1]
    if not os.path.exists(filename):
        urllib.request.urlretrieve(url, filename)

# Download the caltech-256 training and validation datasets
download('http://data.mxnet.io/data/caltech-256/caltech-256-60-train.rec')
download('http://data.mxnet.io/data/caltech-256/caltech-256-60-val.rec')

# Create four channels: train, validation, train_lst, and validation_lst
s3train = 's3://{}/{}/train/'.format(bucket, prefix)
s3validation = 's3://{}/{}/validation/'.format(bucket, prefix)

# Upload the first files to the train and validation channels
!aws s3 cp caltech-256-60-train.rec $s3train --quiet
!aws s3 cp caltech-256-60-val.rec $s3validation --quiet

定義訓練超參數：

# Define hyperparameters for the estimator
hyperparams = { "num_layers": "18",
                "resize": "32",
                "num_training_samples": "50000",
                "num_classes": "10",
                "image_shape": "3,28,28",
                "mini_batch_size": "128",
                "epochs": "3",
                "learning_rate": "0.1",
                "lr_scheduler_step": "2,3",
                "lr_scheduler_factor": "0.1",
                "augmentation_type": "crop_color",
                "optimizer": "sgd",
                "momentum": "0.9",
                "weight_decay": "0.0001",
                "beta_1": "0.9",
                "beta_2": "0.999",
                "gamma": "0.9",
                "eps": "1e-8",
                "top_k": "5",
                "checkpoint_frequency": "1",
                "use_pretrained_model": "0",
                "model_prefix": "" }

建立估算器物件，並使用訓練和驗證資料集來訓練第一個模型：

# Fit the base estimator
s3_output_location = 's3://{}/{}/output'.format(bucket, prefix)
ic = sagemaker.estimator.Estimator(training_image,
                                   role,
                                   instance_count=1,
                                   instance_type='ml.p2.xlarge',
                                   volume_size=50,
                                   max_run=360000,
                                   input_mode='File',
                                   output_path=s3_output_location,
                                   sagemaker_session=sess,
                                   hyperparameters=hyperparams)

train_data = sagemaker.inputs.TrainingInput(s3train, distribution='FullyReplicated',
                                        content_type='application/x-recordio', s3_data_type='S3Prefix')
validation_data = sagemaker.inputs.TrainingInput(s3validation, distribution='FullyReplicated',
                                             content_type='application/x-recordio', s3_data_type='S3Prefix')

data_channels = {'train': train_data, 'validation': validation_data}

ic.fit(inputs=data_channels, logs=True)

若要使用模型來漸進訓練其他模型，請建立新的估算器物件，並針對 model_uri 輸入引數，使用模型成品 (在此範例中為 ic.model_data)：

# Given the base estimator, create a new one for incremental training
incr_ic = sagemaker.estimator.Estimator(training_image,
                                        role,
                                        instance_count=1,
                                        instance_type='ml.p2.xlarge',
                                        volume_size=50,
                                        max_run=360000,
                                        input_mode='File',
                                        output_path=s3_output_location,
                                        sagemaker_session=sess,
                                        hyperparameters=hyperparams,
                                        model_uri=ic.model_data) # This parameter will ingest the previous job's model as a new channel
incr_ic.fit(inputs=data_channels, logs=True)

完成訓練任務之後，剛訓練好的模型成品即會存放在 S3 output path 下方 (您之前在 Output_path 中提供此路徑)。若要部署模型以取得預測，請參閱將模型部署至 Amazon EC2。