Sempurnakan model foundation yang tersedia untuk umum dengan kelasnya JumpStartEstimator - Amazon SageMaker AI
Periksa jenis contoh defaultPeriksa hiperparameter defaultPeriksa definisi metrik default

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Sempurnakan model foundation yang tersedia untuk umum dengan kelasnya JumpStartEstimator

Anda dapat menyempurnakan algoritme bawaan atau model yang telah dilatih sebelumnya hanya dalam beberapa baris kode menggunakan SageMaker Python SDK.

  1. Pertama, temukan ID model untuk model pilihan Anda di Algoritma Bawaan dengan Tabel Model yang telah dilatih sebelumnya.

  2. Dengan menggunakan ID model, tentukan pekerjaan pelatihan Anda sebagai JumpStart penaksir.

    from sagemaker.jumpstart.estimator import JumpStartEstimator

model_id = "huggingface-textgeneration1-gpt-j-6b"
estimator = JumpStartEstimator(model_id=model_id)

  3. Jalankan estimator.fit() pada model Anda, arahkan ke data pelatihan yang akan digunakan untuk fine-tuning.

    estimator.fit(
    {"train": training_dataset_s3_path, "validation": validation_dataset_s3_path}
)

  4. Kemudian, gunakan deploy metode ini untuk secara otomatis menerapkan model Anda untuk inferensi. Dalam contoh ini, kita menggunakan model GPT -J 6B dari Hugging Face.

    predictor = estimator.deploy()

  5. Anda kemudian dapat menjalankan inferensi dengan model yang diterapkan menggunakan metode inipredict.

    question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
catatan

Contoh ini menggunakan model dasar GPT -J 6B, yang cocok untuk berbagai kasus penggunaan pembuatan teks termasuk menjawab pertanyaan, pengenalan entitas bernama, ringkasan, dan banyak lagi. Untuk informasi selengkapnya tentang kasus penggunaan model, lihatModel pondasi yang tersedia.

Anda dapat secara opsional menentukan versi model atau jenis instans saat membuatJumpStartEstimator. Untuk informasi lebih lanjut tentang JumpStartEstimator kelas dan parameternya, lihat JumpStartEstimator.

Periksa jenis contoh default

Anda dapat secara opsional menyertakan versi model atau jenis instance tertentu saat menyempurnakan model yang telah dilatih sebelumnya menggunakan kelas. JumpStartEstimator Semua JumpStart model memiliki tipe instance default. Ambil jenis instans pelatihan default menggunakan kode berikut:

from sagemaker import instance_types

instance_type = instance_types.retrieve_default(
    model_id=model_id,
    model_version=model_version,
    scope="training")
print(instance_type)

Anda dapat melihat semua jenis instance yang didukung untuk JumpStart model tertentu dengan instance_types.retrieve() metode ini.

Periksa hiperparameter default

Untuk memeriksa hyperparameters default yang digunakan untuk pelatihan, Anda dapat menggunakan retrieve_default() metode dari hyperparameters kelas.

from sagemaker import hyperparameters

my_hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version)
print(my_hyperparameters)

# Optionally override default hyperparameters for fine-tuning
my_hyperparameters["epoch"] = "3"
my_hyperparameters["per_device_train_batch_size"] = "4"

# Optionally validate hyperparameters for the model
hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)

Untuk informasi lebih lanjut tentang hiperparameter yang tersedia, lihatHiperparameter fine-tuning yang umumnya didukung.

Periksa definisi metrik default

Anda juga dapat memeriksa definisi metrik default:

print(metric_definitions.retrieve_default(model_id=model_id, model_version=model_version))