Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

# Implementazione di modelli
<a name="model-customize-mtrl-deployment"></a>

 Una volta completato il processo di formazione, il modello addestrato è disponibile come Model Package nel gruppo Output Model Package. Sono disponibili due opzioni per implementarlo. 

## Opzione 1: implementazione con SageMaker AI Inference
<a name="model-customize-mtrl-deployment-sagemaker"></a>

 Ospita il tuo modello su un endpoint di inferenza SageMaker AI per previsioni in tempo reale, senza server o asincrone. Questa opzione offre un controllo dettagliato sui tipi di istanze, sulle politiche di scalabilità e sulla configurazione di rete. È la soluzione ideale quando hai bisogno di un servizio a bassa latenza, di una logica di inferenza personalizzata o di una stretta integrazione con i flussi di lavoro AI esistenti. SageMaker 

 Per implementarlo, recuperalo `OutputModelPackageArn` dal processo di formazione completato e usalo per creare un endpoint. 

```
# Retrieve the output model ARN from your completed job
aws sagemaker describe-job \
  --job-name "my-agent-rft-job" \
  --job-category AgentRFT \
  --region us-west-2
```

 Per opzioni di implementazione e configurazione complete, consulta [Implementare modelli per l'inferenza](https://docs.aws.amazon.com/sagemaker/latest/dg/deploy-model.html) nella documentazione AI AI. SageMaker 

## Opzione 2: importazione in Amazon Bedrock
<a name="model-customize-mtrl-deployment-bedrock"></a>

 Importa il tuo modello in Amazon Bedrock per utilizzare le API di inferenza gestite di Bedrock senza la necessità di configurare gli endpoint. Amazon Bedrock supporta l'importazione di modelli di base open source personalizzati (come Mistral AI o Llama) e modelli Amazon Nova ottimizzati per l'intelligenza artificiale. SageMaker Per ulteriori informazioni, consulta [Importazione di un modello pre-addestrato in Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/import-pre-trained-model.html) nella Amazon Bedrock User Guide. Per i modelli Nova, consulta [Importa con crea un](https://docs.aws.amazon.com/bedrock/latest/userguide/import-with-create-custom-model.html) modello personalizzato. 

## Implementa utilizzando SageMaker AI Studio
<a name="model-customize-mtrl-deployment-studio"></a>
+ Vai su **Jobs > Training** e seleziona la scheda **Multi-turn RL**.
+ Seleziona un lavoro completato e scegli il modello in **Dettagli del modello personalizzato** per esaminare le metriche delle prestazioni, la derivazione del modello e i registri di formazione.
+ Nella scheda **Governance**, approva il modello per renderlo idoneo alla distribuzione.
+ Seleziona **Implementa**. Scegli se eseguire la distribuzione su un endpoint SageMaker AI in tempo reale o tramite Amazon Bedrock e se creare un nuovo endpoint o riutilizzarne uno esistente.
+ Seleziona il tipo di istanza e, facoltativamente, configura le impostazioni VPC, il ruolo IAM e la chiave di crittografia KMS.
+ **Monitora l'avanzamento della distribuzione nella scheda Implementazioni.**
+ Passa a **Distribuzioni > Endpoint**. Quando l'endpoint e i componenti di inferenza associati raggiungono uno stato pari a InService, l'endpoint è pronto per la chiamata.

## Implementa utilizzando SageMaker AI Python SDK
<a name="model-customize-mtrl-deployment-python-sdk"></a>

 Implementa su un endpoint AI: SageMaker 

```
from sagemaker.serve import ModelBuilder
from sagemaker.core.resources import ModelPackage

# Get the output model package from your completed training job
model_package = ModelPackage.get(
    model_package_name=job.output_model_package_arn
)

model_builder = ModelBuilder(
    model=model_package,
    image_uri="763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.36.0-lmi24.0.0-cu129",
    instance_type="ml.g6e.48xlarge",
)
model_builder.accept_eula = True
model_builder.build()

endpoint = model_builder.deploy(
    endpoint_name="mtrl-finetuned-endpoint",
    instance_type="ml.g6e.48xlarge",
    initial_instance_count=1,
)
```

 Invoca l'endpoint: 

```
import json

response = endpoint.invoke(
    body=json.dumps({
        "model": "/opt/ml/model",
        "messages": [{"role": "user", "content": "What is 25 * 4?"}],
        "max_tokens": 200,
        "stream": False,
    }).encode("utf-8"),
    content_type="application/json",
)
```