Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

File Manifest Augmented untuk Pekerjaan Pelatihan

Untuk menyertakan metadata dengan dataset Anda dalam pekerjaan pelatihan, gunakan file manifes tambahan. Saat menggunakan file manifes yang diperbesar, dataset Anda harus disimpan di Amazon Simple Storage Service (Amazon S3), dan Anda harus mengonfigurasi pekerjaan pelatihan Anda untuk menggunakan kumpulan data yang disimpan di sana. Anda menentukan lokasi dan format dataset ini untuk satu atau lebih Channel. Manifes yang diperbesar hanya dapat mendukung mode input Pipe. Lihat bagian, InputMode di Channel untuk mempelajari lebih lanjut tentang mode input pipa.

Saat menentukan parameter saluran, Anda menentukan jalur ke file, yang disebut aS3Uri. Amazon SageMaker AI menafsirkan URI ini berdasarkan yang ditentukan S3DataType dalam S3DataSource. AugmentedManifestFileOpsi mendefinisikan format manifes yang menyertakan metadata dengan data input. Menggunakan file manifes yang diperbesar adalah alternatif untuk pra-pemrosesan ketika Anda telah memberi label data. Untuk pekerjaan pelatihan menggunakan data berlabel, Anda biasanya perlu melakukan praproses dataset untuk menggabungkan data input dengan metadata sebelum pelatihan. Jika dataset pelatihan Anda besar, pra-pemrosesan bisa memakan waktu dan mahal.

Format File Manifest yang Ditingkatkan

File manifes yang diperbesar harus diformat dalam format JSON Lines. Dalam format JSON Lines, setiap baris dalam file adalah objek JSON lengkap diikuti oleh pemisah baris baru.

Selama pelatihan, SageMaker AI mengurai setiap baris JSON dan mengirimkan beberapa atau semua atributnya ke algoritma pelatihan. Anda menentukan konten atribut mana yang akan dilewati dan urutan untuk meneruskannya dengan AttributeNames parameter CreateTrainingJob API. AttributeNamesParameter adalah daftar nama atribut yang dic SageMaker ari AI di objek JSON untuk digunakan sebagai input pelatihan.

Misalnya, jika Anda mencant ["line", "book"] umkan untukAttributeNames, data input harus menyertakan nama atribut line dan book dalam urutan yang ditentukan. Untuk contoh ini, konten file manifes ditambah berikut ini valid:

{"author": "Herman Melville", "line": "Call me Ishmael", "book": "Moby Dick"}
{"line": "It was love at first sight.", "author": "Joseph Heller", "book": "Catch-22"}

SageMaker AI mengabaikan nama atribut yang tidak terdaftar meskipun mereka mendahului, mengikuti, atau berada di antara atribut yang terdaftar.

Saat menggunakan file manifes yang diperbesar, perhatikan pedoman berikut:

Jika nama atribut berisi akhiran-ref, nilai atribut harus berupa URI S3 ke file data yang dapat diakses oleh pekerjaan pelatihan. Misalnya, jika AttributeNames berisi["image-ref", "is-a-cat"], contoh berikut menunjukkan file manifes tambahan yang valid:

{"image-ref": "s3://amzn-s3-demo-bucket/sample01/image1.jpg", "is-a-cat": 1}
{"image-ref": "s3://amzn-s3-demo-bucket/sample02/image2.jpg", "is-a-cat": 0}

Dalam kasus baris JSON pertama dari file manifes ini, SageMaker AI mengambil image1.jpg file dari s3://amzn-s3-demo-bucket/sample01/ dan representasi string dari is-a-cat atribut "1" untuk klasifikasi gambar.

Gunakan File Manifest Augmented

Bagian berikut menunjukkan cara menggunakan file manifes yang diperbesar dalam pekerjaan SageMaker pelatihan Amazon Anda, baik dengan konsol SageMaker AI atau secara terprogram menggunakan SageMaker Python SDK.

Gunakan File Manifest Augmented (Konsol)

Untuk menyelesaikan prosedur ini, Anda perlu:

Setelah pekerjaan pelatihan selesai, SageMaker AI menyimpan artefak model di bucket yang jalurnya Anda berikan untuk jalur keluaran S3 di bidang konfigurasi data keluaran. Untuk menerapkan model untuk mendapatkan prediksi, lihatTerapkan model ke Amazon EC2.

Gunakan File Manifest Augmented (API)

Berikut ini menunjukkan cara melatih model dengan file manifes yang diperbesar menggunakan pustaka Python tingkat tinggi SageMaker AI:

import sagemaker
from sagemaker.train import ModelTrainer
from sagemaker.core.shapes import Channel, DataSource, S3DataSource
from sagemaker.train.configs import Compute, StoppingCondition, OutputDataConfig

# Create a model object set to using "Pipe" mode.
compute = Compute(
    instance_type='ml.p3.2xlarge',
    instance_count=1,
    volume_size_in_gb=50
)

model_trainer = ModelTrainer(
    training_image=training_image,
    role=role,
    compute=compute,
    stopping_condition=StoppingCondition(max_runtime_in_seconds=360000),
    training_input_mode='Pipe',
    output_data_config=OutputDataConfig(s3_output_path=s3_output_location),
    sagemaker_session=session
)

# Create a train data channel with S3_data_type as 'AugmentedManifestFile' and attribute names.
train_data = Channel(
    channel_name='train',
    data_source=DataSource(
        s3_data_source=S3DataSource(
            s3_data_type='AugmentedManifestFile',
            s3_uri=your_augmented_manifest_file,
            s3_data_distribution_type='FullyReplicated',
            attribute_names=['source-ref', 'annotations'],
        )
    ),
    content_type='application/x-recordio',
    input_mode='Pipe',
    record_wrapper_type='RecordIO'
)

# Train a model.
model_trainer.train(input_data_config=[train_data])

Setelah pekerjaan pelatihan selesai, SageMaker AI menyimpan artefak model di bucket yang jalurnya Anda berikan untuk jalur keluaran S3 di bidang konfigurasi data keluaran. Untuk menerapkan model untuk mendapatkan prediksi, lihatTerapkan model ke Amazon EC2.