Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Fine-tune model pondasi yang tersedia untuk umum dengan JumpStartEstimator kelas
catatan
Untuk petunjuk tentang menyempurnakan model pondasi di hub pribadi yang dikuratori, lihat. Fine-tune model hub yang dikuratori
Anda dapat menyempurnakan algoritma bawaan atau model pra-terlatih hanya dalam beberapa baris kode menggunakan SDK. SageMaker Python
-
Pertama, temukan ID model untuk model pilihan Anda di Built-in Algoritma dengan Tabel
Model pra-terlatih. -
Menggunakan ID model, tentukan pekerjaan pelatihan Anda sebagai JumpStart estimator.
from sagemaker.train import ModelTrainer from sagemaker.core.jumpstart.configs import JumpStartConfig jumpstart_config = JumpStartConfig(model_id="huggingface-textgeneration1-gpt-j-6b") model_trainer = ModelTrainer.from_jumpstart_config(jumpstart_config=jumpstart_config) -
Jalan
estimator.fit()kan pada model Anda, menunjuk ke data pelatihan yang akan digunakan untuk penyetelan halus.model_trainer.train( input_data_config={"train":training_dataset_s3_path, "validation":validation_dataset_s3_path} ) -
Kemudian, gunakan
deploymetode untuk secara otomatis menerapkan model Anda untuk inferensi. Dalam contoh ini, kita menggunakan model GPT-J 6B dariHugging Face.from sagemaker.serve import ModelBuilder model_builder = ModelBuilder.from_jumpstart_config(jumpstart_config=jumpstart_config) model = model_builder.build() endpoint = model_builder.deploy() -
Anda kemudian dapat menjalankan inferensi dengan model yang digunakan menggunakan
predictmetode.question ="What is Southern California often abbreviated as?"response = endpoint.invoke(body=question, content_type="text/plain") print(response.body.read().decode('utf-8'))
catatan
Contoh ini menggunakan model dasar GPT-J 6B, yang cocok untuk berbagai kasus penggunaan pembuatan teks termasuk menjawab pertanyaan, pengenalan entitas bernama, ringkasan, dan banyak lagi. Untuk informasi selengkapnya tentang kasus penggunaan model, lihatModel pondasi yang tersedia.
Anda dapat secara opsional menentukan versi model atau jenis instance saat membuatJumpStartEstimator. Untuk informasi lebih lanjut tentang JumpStartEstimator kelas dan parameternya, lihat JumpStartEstimator
Periksa jenis instans default
Anda dapat secara opsional menyertakan versi model tertentu atau tipe instance saat menyempurnakan model pra-terlatih menggunakan kelas. JumpStartEstimator Semua JumpStart model memiliki tipe instance default. Ambil jenis instance pelatihan default menggunakan kode berikut:
from sagemaker import instance_types instance_type = instance_types.retrieve_default( model_id=model_id, model_version=model_version, scope="training") print(instance_type)
Anda dapat melihat semua jenis instance yang didukung untuk JumpStart model tertentu dengan instance_types.retrieve() metode ini.
Periksa hyperparameter default
Untuk memeriksa hyperparameter default yang digunakan untuk pelatihan, Anda dapat menggunakan retrieve_default() metode dari hyperparameters kelas.
from sagemaker import hyperparameters my_hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) print(my_hyperparameters) # Optionally override default hyperparameters for fine-tuning my_hyperparameters["epoch"] = "3" my_hyperparameters["per_device_train_batch_size"] = "4" # Optionally validate hyperparameters for the model hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)
Untuk informasi lebih lanjut tentang hyperparameter yang tersedia, lihatHiperparameter fine tuning yang umumnya didukung.
Periksa definisi metrik default
Anda juga dapat memeriksa definisi metrik default:
print(metric_definitions.retrieve_default(model_id=model_id, model_version=model_version))
