Menyebarkan model pondasi yang tersedia untuk umum dengan kelas JumpStartModel - Amazon SageMaker
Periksa jenis contoh defaultGunakan komponen inferensi untuk menerapkan beberapa model ke titik akhir bersamaPeriksa format inferensi input dan output yang validPeriksa konten yang didukung dan terima jenis

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyebarkan model pondasi yang tersedia untuk umum dengan kelas JumpStartModel

Anda dapat menerapkan algoritme bawaan atau model pra-terlatih ke SageMaker titik akhir hanya dalam beberapa baris kode menggunakan SageMaker Python SDK.

  1. Pertama, temukan ID model untuk model pilihan Anda di Algoritma Bawaan dengan Tabel Model yang telah dilatih sebelumnya.

  2. Dengan menggunakan ID model, tentukan model Anda sebagai JumpStart model.

    from sagemaker.jumpstart.model import JumpStartModel

model_id = "huggingface-text2text-flan-t5-xl"
my_model = JumpStartModel(model_id=model_id)

  3. Gunakan deploy metode ini untuk menerapkan model Anda secara otomatis untuk inferensi. Dalam contoh ini, kami menggunakan model FLAN -T5 XL dari Hugging Face.

    predictor = my_model.deploy()

  4. Anda kemudian dapat menjalankan inferensi dengan model yang diterapkan menggunakan metode inipredict.

    question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
catatan

Contoh ini menggunakan model dasar FLAN -T5 XL, yang cocok untuk berbagai kasus penggunaan pembuatan teks termasuk menjawab pertanyaan, ringkasan, pembuatan chatbot, dan banyak lagi. Untuk informasi selengkapnya tentang kasus penggunaan model, lihatModel pondasi yang tersedia.

Untuk informasi lebih lanjut tentang JumpStartModel kelas dan parameternya, lihat JumpStartModel.

Periksa jenis contoh default

Secara opsional, Anda dapat menyertakan versi model atau jenis instance tertentu saat menerapkan model yang telah dilatih sebelumnya menggunakan kelas. JumpStartModel Semua JumpStart model memiliki tipe instance default. Ambil jenis instance penerapan default menggunakan kode berikut:

from sagemaker import instance_types

instance_type = instance_types.retrieve_default(
    model_id=model_id,
    model_version=model_version,
    scope="inference")
print(instance_type)

Lihat semua tipe instance yang didukung untuk JumpStart model tertentu dengan instance_types.retrieve() metode.

Gunakan komponen inferensi untuk menerapkan beberapa model ke titik akhir bersama

Komponen inferensi adalah objek SageMaker hosting yang dapat Anda gunakan untuk menyebarkan satu atau beberapa model ke titik akhir untuk meningkatkan fleksibilitas dan skalabilitas. Anda harus mengubah endpoint_type JumpStart model Anda menjadi inference-component-based bukan titik akhir berbasis model default. 

predictor = my_model.deploy(
    endpoint_name = 'jumpstart-model-id-123456789012', 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)

Untuk informasi selengkapnya tentang membuat titik akhir dengan komponen inferensi dan penerapan SageMaker model, lihat. Pemanfaatan sumber daya bersama dengan beberapa model

Periksa format inferensi input dan output yang valid

Untuk memeriksa format input dan output data yang valid untuk inferensi, Anda dapat menggunakan retrieve_options() metode dari Serializers dan Deserializers kelas.

print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))

Periksa konten yang didukung dan terima jenis

Demikian pula, Anda dapat menggunakan retrieve_options() metode ini untuk memeriksa konten yang didukung dan menerima jenis untuk model.

print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))

Untuk informasi selengkapnya tentang utilitas, lihat Utilitas APIs.