Konfigurasikan mode input data menggunakan SageMaker Python SDK - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan mode input data menggunakan SageMaker Python SDK

SageMaker Python SDK menyediakan kelas Estimator generik dan variasinya untuk kerangka kerja ML untuk meluncurkan pekerjaan pelatihan. Anda dapat menentukan salah satu mode input data saat mengonfigurasi Estimator kelas SageMaker AI atau Estimator.fit metode. Template kode berikut menunjukkan dua cara untuk menentukan mode input.

Untuk menentukan mode input menggunakan kelas Estimator

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    input_mode='File'  # Available options: File | Pipe | FastFile
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(s3_data="s3://amzn-s3-demo-bucket/my-data/train")
)

Untuk informasi selengkapnya, lihat kelas SageMaker.Estimator.Estimator dalam dokumentasi Python SDK. SageMaker

Untuk menentukan mode input melalui estimator.fit() metode

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(
        s3_data="s3://amzn-s3-demo-bucket/my-data/train",
        input_mode='File'  # Available options: File | Pipe | FastFile
    )
)

Untuk informasi selengkapnya, lihat metode kelas SageMaker.Estimator.Fit dan sagemaker.inputs. TrainingInputkelas dalam dokumentasi SageMaker Python SDK.

Tip

Untuk mempelajari lebih lanjut tentang cara mengonfigurasi Amazon FSx untuk Lustre atau Amazon EFS dengan konfigurasi VPC menggunakan estimator SDK SageMaker Python, lihat Menggunakan Sistem File sebagai Input Pelatihan dalam dokumentasi AI Python SDK. SageMaker

Tip

Integrasi mode input data dengan Amazon S3, Amazon EFS, FSx dan untuk Lustre adalah cara yang disarankan untuk mengonfigurasi sumber data secara optimal untuk praktik terbaik. Anda dapat meningkatkan kinerja pemuatan data secara strategis menggunakan opsi penyimpanan terkelola SageMaker AI dan mode input, tetapi itu tidak dibatasi secara ketat. Anda dapat menulis logika pembacaan data Anda sendiri langsung di wadah pelatihan Anda. Misalnya, Anda dapat mengatur untuk membaca dari sumber data yang berbeda, menulis kelas pemuat data S3 Anda sendiri, atau menggunakan fungsi pemuatan data kerangka kerja pihak ketiga dalam skrip pelatihan Anda. Namun, Anda harus memastikan bahwa Anda menentukan jalur yang benar yang dapat dikenali SageMaker AI.

Tip

Jika Anda menggunakan wadah pelatihan khusus, pastikan Anda menginstal toolkit SageMaker pelatihan yang membantu mengatur lingkungan untuk pekerjaan SageMaker pelatihan. Jika tidak, Anda harus menentukan variabel lingkungan secara eksplisit di Dockerfile Anda. Untuk informasi selengkapnya, lihat Membuat wadah dengan algoritme dan model Anda sendiri.

Untuk informasi selengkapnya tentang cara mengatur mode input data menggunakan level rendah SageMaker APIsBagaimana Amazon SageMaker AI Memberikan Informasi Pelatihan, lihat CreateTrainingJobAPI, dan TrainingInputMode in AlgorithmSpecification.