View a markdown version of this page

Deployment model - Amazon SageMaker AI
Opsi 1: Terapkan dengan Inferensi SageMaker AI AIOpsi 2: Impor ke Amazon BedrockTerapkan menggunakan SageMaker AI StudioTerapkan menggunakan SageMaker AI Python SDK

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Deployment model

Setelah pekerjaan pelatihan Anda selesai, model terlatih tersedia sebagai Model Package di Output Model Package Group Anda. Anda memiliki dua opsi untuk menerapkannya.

Opsi 1: Terapkan dengan Inferensi SageMaker AI AI

Host model Anda pada titik akhir inferensi SageMaker AI AI untuk prediksi real-time, tanpa server, atau asinkron. Opsi ini memberi Anda kontrol halus atas jenis instans, kebijakan penskalaan, dan konfigurasi jaringan. Ini sangat cocok ketika Anda membutuhkan penyajian latensi rendah, logika inferensi khusus, atau integrasi ketat dengan alur kerja SageMaker AI AI yang ada.

Untuk menerapkan, ambil OutputModelPackageArn dari pekerjaan pelatihan Anda yang telah selesai dan gunakan untuk membuat titik akhir. 


# Retrieve the output model ARN from your completed job
aws sagemaker describe-job \
  --job-name "my-agent-rft-job" \
  --job-category AgentRFT \
  --region us-west-2

Untuk opsi dan konfigurasi penerapan lengkap, lihat Menerapkan model untuk inferensi dalam dokumentasi SageMaker AI AI.

Opsi 2: Impor ke Amazon Bedrock

Impor model Anda ke Amazon Bedrock untuk menggunakan API inferensi terkelola Bedrock tanpa memerlukan konfigurasi titik akhir. Amazon Bedrock mendukung impor model foundation open-source yang disesuaikan (seperti Mistral AI atau Llama) dan model Amazon Nova yang disesuaikan dengan AI AI. SageMaker Untuk informasi selengkapnya, lihat Mengimpor model yang telah dilatih sebelumnya ke Amazon Bedrock di Panduan Pengguna Amazon Bedrock. Untuk model Nova, lihat Mengimpor dengan membuat model kustom.

Terapkan menggunakan SageMaker AI Studio

  • Arahkan ke Jobs > Training dan pilih tab Multi-turn RL.

  • Pilih pekerjaan yang sudah selesai dan pilih model di bawah Detail Model Kustom untuk meninjau metrik kinerja, garis keturunan model, dan log pelatihan.

  • Di bawah tab Tata Kelola, setujui model agar memenuhi syarat untuk penerapan.

  • Pilih Deploy. Pilih apakah akan menerapkan ke titik akhir real-time SageMaker AI AI atau melalui Amazon Bedrock, dan apakah akan membuat titik akhir baru atau menggunakan kembali yang sudah ada.

  • Pilih jenis instans dan konfigurasikan pengaturan VPC, peran IAM, dan kunci enkripsi KMS secara opsional.

  • Pantau kemajuan penerapan di bawah tab Deployment.

  • Arahkan ke Deployment > Endpoints. Ketika titik akhir Anda dan komponen inferensi terkait mencapai status InService, titik akhir Anda siap untuk dipanggil.

Terapkan menggunakan SageMaker AI Python SDK

Terapkan ke titik akhir SageMaker AI: 


from sagemaker.serve import ModelBuilder
from sagemaker.core.resources import ModelPackage

# Get the output model package from your completed training job
model_package = ModelPackage.get(
    model_package_name=job.output_model_package_arn
)

model_builder = ModelBuilder(
    model=model_package,
    image_uri="763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.36.0-lmi24.0.0-cu129",
    instance_type="ml.g6e.48xlarge",
)
model_builder.accept_eula = True
model_builder.build()

endpoint = model_builder.deploy(
    endpoint_name="mtrl-finetuned-endpoint",
    instance_type="ml.g6e.48xlarge",
    initial_instance_count=1,
)

Memanggil titik akhir: 


import json

response = endpoint.invoke(
    body=json.dumps({
        "model": "/opt/ml/model",
        "messages": [{"role": "user", "content": "What is 25 * 4?"}],
        "max_tokens": 200,
        "stream": False,
    }).encode("utf-8"),
    content_type="application/json",
)