Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Deployment model
<a name="model-customize-mtrl-deployment"></a>

 Setelah pekerjaan pelatihan Anda selesai, model terlatih tersedia sebagai Model Package di Output Model Package Group Anda. Anda memiliki dua opsi untuk menerapkannya. 

## Opsi 1: Terapkan dengan Inferensi SageMaker AI AI
<a name="model-customize-mtrl-deployment-sagemaker"></a>

 Host model Anda pada titik akhir inferensi SageMaker AI AI untuk prediksi real-time, tanpa server, atau asinkron. Opsi ini memberi Anda kontrol halus atas jenis instans, kebijakan penskalaan, dan konfigurasi jaringan. Ini sangat cocok ketika Anda membutuhkan penyajian latensi rendah, logika inferensi khusus, atau integrasi ketat dengan alur kerja SageMaker AI AI yang ada. 

 Untuk menerapkan, ambil `OutputModelPackageArn` dari pekerjaan pelatihan Anda yang telah selesai dan gunakan untuk membuat titik akhir. 

```
# Retrieve the output model ARN from your completed job
aws sagemaker describe-job \
  --job-name "my-agent-rft-job" \
  --job-category AgentRFT \
  --region us-west-2
```

 Untuk opsi dan konfigurasi penerapan lengkap, lihat [Menerapkan model untuk inferensi dalam dokumentasi](https://docs.aws.amazon.com/sagemaker/latest/dg/deploy-model.html) SageMaker AI AI. 

## Opsi 2: Impor ke Amazon Bedrock
<a name="model-customize-mtrl-deployment-bedrock"></a>

 Impor model Anda ke Amazon Bedrock untuk menggunakan API inferensi terkelola Bedrock tanpa memerlukan konfigurasi titik akhir. Amazon Bedrock mendukung impor model foundation open-source yang disesuaikan (seperti Mistral AI atau Llama) dan model Amazon Nova yang disesuaikan dengan AI AI. SageMaker Untuk informasi selengkapnya, lihat [Mengimpor model yang telah dilatih sebelumnya ke Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/import-pre-trained-model.html) di Panduan Pengguna Amazon Bedrock. Untuk model Nova, lihat [Mengimpor dengan membuat model kustom](https://docs.aws.amazon.com/bedrock/latest/userguide/import-with-create-custom-model.html). 

## Terapkan menggunakan SageMaker AI Studio
<a name="model-customize-mtrl-deployment-studio"></a>
+ Arahkan ke **Jobs > Training** dan pilih tab **Multi-turn RL**.
+ Pilih pekerjaan yang sudah selesai dan pilih model di bawah **Detail Model Kustom** untuk meninjau metrik kinerja, garis keturunan model, dan log pelatihan.
+ Di bawah tab **Tata Kelola**, setujui model agar memenuhi syarat untuk penerapan.
+ Pilih **Deploy**. Pilih apakah akan menerapkan ke titik akhir real-time SageMaker AI AI atau melalui Amazon Bedrock, dan apakah akan membuat titik akhir baru atau menggunakan kembali yang sudah ada.
+ Pilih jenis instans dan konfigurasikan pengaturan VPC, peran IAM, dan kunci enkripsi KMS secara opsional.
+ Pantau kemajuan penerapan di bawah tab **Deployment**.
+ Arahkan ke **Deployment >** Endpoints. Ketika titik akhir Anda dan komponen inferensi terkait mencapai status InService, titik akhir Anda siap untuk dipanggil.

## Terapkan menggunakan SageMaker AI Python SDK
<a name="model-customize-mtrl-deployment-python-sdk"></a>

 Terapkan ke titik akhir SageMaker AI: 

```
from sagemaker.serve import ModelBuilder
from sagemaker.core.resources import ModelPackage

# Get the output model package from your completed training job
model_package = ModelPackage.get(
    model_package_name=job.output_model_package_arn
)

model_builder = ModelBuilder(
    model=model_package,
    image_uri="763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.36.0-lmi24.0.0-cu129",
    instance_type="ml.g6e.48xlarge",
)
model_builder.accept_eula = True
model_builder.build()

endpoint = model_builder.deploy(
    endpoint_name="mtrl-finetuned-endpoint",
    instance_type="ml.g6e.48xlarge",
    initial_instance_count=1,
)
```

 Memanggil titik akhir: 

```
import json

response = endpoint.invoke(
    body=json.dumps({
        "model": "/opt/ml/model",
        "messages": [{"role": "user", "content": "What is 25 * 4?"}],
        "max_tokens": 200,
        "stream": False,
    }).encode("utf-8"),
    content_type="application/json",
)
```