View a markdown version of this page

Menyebarkan model dasar yang tersedia untuk umum dengan JumpStartModel kelas - Amazon SageMaker AI
Periksa jenis instans defaultGunakan komponen inferensi untuk menerapkan beberapa model ke titik akhir bersamaPeriksa format inferensi input dan output yang validPeriksa konten yang didukung dan terima jenis

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyebarkan model dasar yang tersedia untuk umum dengan JumpStartModel kelas

Anda dapat menerapkan algoritma bawaan atau model pra-terlatih ke titik akhir SageMaker AI hanya dalam beberapa baris kode menggunakan SageMaker Python SDK.

  1. Pertama, temukan ID model untuk model pilihan Anda di Built-in Algoritma dengan Tabel Model pra-terlatih.

  2. Menggunakan ID model, tentukan model Anda sebagai JumpStart model.

    from sagemaker.serve import ModelBuilder
from sagemaker.core.jumpstart.configs import JumpStartConfig

jumpstart_config = JumpStartConfig(model_id="huggingface-text2text-flan-t5-xl")
model_builder = ModelBuilder.from_jumpstart_config(jumpstart_config=jumpstart_config)

  3. Gunakan deploy metode ini untuk secara otomatis menerapkan model Anda untuk inferensi. Dalam contoh ini, kita menggunakan model FLAN-T5 XL dariHugging Face.

    model = model_builder.build()
endpoint = model_builder.deploy()

  4. Anda kemudian dapat menjalankan inferensi dengan model yang digunakan menggunakan predict metode.

    question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
catatan

Contoh ini menggunakan model dasar FLAN-T5 XL, yang cocok untuk berbagai kasus penggunaan pembuatan teks termasuk menjawab pertanyaan, ringkasan, pembuatan chatbot, dan banyak lagi. Untuk informasi selengkapnya tentang kasus penggunaan model, lihatModel pondasi yang tersedia.

Untuk informasi lebih lanjut tentang JumpStartModel kelas dan parameternya, lihat JumpStartModel.

Periksa jenis instans default

Anda dapat secara opsional menyertakan versi model tertentu atau tipe instance saat menerapkan model pra-terlatih menggunakan kelas. JumpStartModel Semua JumpStart model memiliki tipe instance default. Ambil jenis instance penerapan default menggunakan kode berikut:

from sagemaker import instance_types

instance_type = instance_types.retrieve_default(
    model_id=model_id,
    model_version=model_version,
    scope="inference")
print(instance_type)

Lihat semua jenis instance yang didukung untuk JumpStart model tertentu dengan instance_types.retrieve() metode ini.

Gunakan komponen inferensi untuk menerapkan beberapa model ke titik akhir bersama

Komponen inferensi adalah objek hosting SageMaker AI yang dapat Anda gunakan untuk menerapkan satu atau lebih model ke titik akhir untuk meningkatkan fleksibilitas dan skalabilitas. Anda harus mengubah endpoint_type agar JumpStart model Anda menjadi berbasis komponen inferensi daripada titik akhir berbasis model default. 

predictor = my_model.deploy(
    endpoint_name = 'jumpstart-model-id-123456789012', 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)

Untuk informasi selengkapnya tentang membuat titik akhir dengan komponen inferensi dan menerapkan model SageMaker AI, lihat. Pemanfaatan sumber daya bersama dengan beberapa model

Periksa format inferensi input dan output yang valid

Untuk memeriksa format input dan output data yang valid untuk inferensi, Anda dapat menggunakan retrieve_options() metode dari Deserializers kelas Serializers dan.

print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))

Periksa konten yang didukung dan terima jenis

Demikian pula, Anda dapat menggunakan retrieve_options() metode untuk memeriksa konten yang didukung dan menerima jenis untuk model.

print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))

Untuk informasi selengkapnya tentang utilitas, lihat API Utilitas.