Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan Pelatihan Inkremental di Amazon AI SageMaker

Seiring waktu, Anda mungkin menemukan bahwa model menghasilkan inferensi yang tidak sebagus di masa lalu. Dengan pelatihan tambahan, Anda dapat menggunakan artefak dari model yang ada dan menggunakan dataset yang diperluas untuk melatih model baru. Pelatihan tambahan menghemat waktu dan sumber daya.

Gunakan pelatihan tambahan untuk:

Untuk informasi lebih lanjut tentang pekerjaan pelatihan, lihatLatih Model dengan Amazon SageMaker.

Anda dapat berlatih secara bertahap menggunakan konsol SageMaker AI atau Amazon SageMaker Python SDK.

Lakukan Pelatihan Inkremental (Konsol)

Untuk menyelesaikan prosedur ini, Anda perlu:

Untuk memulai ulang pekerjaan pelatihan yang dihentikan, gunakan URL ke artefak model yang disimpan di halaman detail seperti yang Anda lakukan dengan model atau pekerjaan pelatihan yang diselesaikan.

Setelah pekerjaan pelatihan selesai, artefak model yang baru dilatih disimpan di bawah jalur keluaran S3 yang Anda berikan di bidang konfigurasi data keluaran. Untuk menerapkan model untuk mendapatkan prediksi, lihatTerapkan model ke Amazon EC2.

Lakukan Pelatihan Inkremental (API)

Contoh ini menunjukkan cara menggunakan API SageMaker AI untuk melatih model menggunakan algoritma klasifikasi gambar SageMaker AI dan Dataset Gambar Caltech 256, kemudian melatih model baru menggunakan yang pertama. Ini menggunakan Amazon S3 untuk sumber input dan output. Silakan lihat buku catatan sampel pelatihan tambahan untuk detail lebih lanjut tentang menggunakan pelatihan tambahan.

Dapatkan peran AWS Identity and Access Management (IAM) yang memberikan izin yang diperlukan dan menginisialisasi variabel lingkungan:

import sagemaker
from sagemaker.core.helper.session_helper import Session, get_execution_role
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute

role = get_execution_role()
print(role)

sess = Session()

bucket=sess.default_bucket()
print(bucket)
prefix = 'ic-incr-training'

Dapatkan gambar pelatihan untuk algoritma klasifikasi gambar:

from sagemaker.amazon.amazon_estimator import get_image_uri

training_image = get_image_uri(sess.boto_region_name, 'image-classification', repo_version="latest")
#Display the training image
print (training_image)

Unduh kumpulan data pelatihan dan validasi, lalu unggah ke Amazon Simple Storage Service (Amazon S3):

import os
import urllib.request
import boto3

# Define a download function
def download(url):
    filename = url.split("/")[-1]
    if not os.path.exists(filename):
        urllib.request.urlretrieve(url, filename)

# Download the caltech-256 training and validation datasets
download('http://data.mxnet.io/data/caltech-256/caltech-256-60-train.rec')
download('http://data.mxnet.io/data/caltech-256/caltech-256-60-val.rec')

# Create four channels: train, validation, train_lst, and validation_lst
s3train = 's3://{}/{}/train/'.format(bucket, prefix)
s3validation = 's3://{}/{}/validation/'.format(bucket, prefix)

# Upload the first files to the train and validation channels
!aws s3 cp caltech-256-60-train.rec $s3train --quiet
!aws s3 cp caltech-256-60-val.rec $s3validation --quiet

Tentukan hyperparameter pelatihan:

# Define hyperparameters for the estimator
hyperparams = { "num_layers": "18",
                "resize": "32",
                "num_training_samples": "50000",
                "num_classes": "10",
                "image_shape": "3,28,28",
                "mini_batch_size": "128",
                "epochs": "3",
                "learning_rate": "0.1",
                "lr_scheduler_step": "2,3",
                "lr_scheduler_factor": "0.1",
                "augmentation_type": "crop_color",
                "optimizer": "sgd",
                "momentum": "0.9",
                "weight_decay": "0.0001",
                "beta_1": "0.9",
                "beta_2": "0.999",
                "gamma": "0.9",
                "eps": "1e-8",
                "top_k": "5",
                "checkpoint_frequency": "1",
                "use_pretrained_model": "0",
                "model_prefix": "" }

Buat objek estimator dan latih model pertama menggunakan kumpulan data pelatihan dan validasi:

from sagemaker.train.configs import InputData, StoppingCondition
from sagemaker.core.shapes import OutputDataConfig, Channel, DataSource, S3DataSource

# Train the base ModelTrainer
s3_output_location = 's3://{}/{}/output'.format(bucket, prefix)
ic = ModelTrainer(training_image=training_image,
                                   role=role,
                                   compute=Compute(
                                       instance_count=1,
                                       instance_type='ml.p2.xlarge',
                                       volume_size_in_gb=50,
                                   ),
                                   stopping_condition=StoppingCondition(max_runtime_in_seconds=360000),
                                   training_input_mode='File',
                                   output_data_config=OutputDataConfig(s3_output_path=s3_output_location),
                                   hyperparameters=hyperparams)

train_data = Channel(
    channel_name="train",
    data_source=DataSource(
        s3_data_source=S3DataSource(
            s3_data_type='S3Prefix',
            s3_uri=s3train,
            s3_data_distribution_type='FullyReplicated',
        )
    ),
    content_type='application/x-recordio',
)
validation_data = Channel(
    channel_name="validation",
    data_source=DataSource(
        s3_data_source=S3DataSource(
            s3_data_type='S3Prefix',
            s3_uri=s3validation,
            s3_data_distribution_type='FullyReplicated',
        )
    ),
    content_type='application/x-recordio',
)

data_channels = {'train': train_data, 'validation': validation_data}

ic.train(input_data_config=[train_data, validation_data])

Untuk menggunakan model untuk melatih model lain secara bertahap, buat objek estimator baru dan gunakan artefak model (ic.model_data, dalam contoh ini) untuk argumen model_uri input:

# Given the base ModelTrainer, create a new one for incremental training
incr_ic = ModelTrainer(training_image=training_image,
                                        role=role,
                                        compute=Compute(
                                            instance_count=1,
                                            instance_type='ml.p2.xlarge',
                                            volume_size_in_gb=50,
                                        ),
                                        stopping_condition=StoppingCondition(max_runtime_in_seconds=360000),
                                        training_input_mode='File',
                                        output_data_config=OutputDataConfig(s3_output_path=s3_output_location),
                                        hyperparameters=hyperparams,
                                        # Pass the previous model artifacts as an input data channel
                                        input_data_config=[
                                            InputData(channel_name="model", data_source=ic.model_data),
                                        ])
incr_ic.train(input_data_config=[train_data, validation_data])

Setelah pekerjaan pelatihan selesai, artefak model yang baru dilatih disimpan di bawah S3 output path yang Anda berikanOutput_path. Untuk menerapkan model untuk mendapatkan prediksi, lihatTerapkan model ke Amazon EC2.