Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Implementazione di modelli
Una volta completato il processo di formazione, il modello addestrato è disponibile come Model Package nel gruppo Output Model Package. Sono disponibili due opzioni per implementarlo.
Opzione 1: implementazione con SageMaker AI Inference
Ospita il tuo modello su un endpoint di inferenza SageMaker AI per previsioni in tempo reale, senza server o asincrone. Questa opzione offre un controllo dettagliato sui tipi di istanze, sulle politiche di scalabilità e sulla configurazione di rete. È la soluzione ideale quando hai bisogno di un servizio a bassa latenza, di una logica di inferenza personalizzata o di una stretta integrazione con i flussi di lavoro AI esistenti. SageMaker
Per implementarlo, recuperalo OutputModelPackageArn dal processo di formazione completato e usalo per creare un endpoint.
# Retrieve the output model ARN from your completed job aws sagemaker describe-job \ --job-name "my-agent-rft-job" \ --job-category AgentRFT \ --region us-west-2
Per opzioni di implementazione e configurazione complete, consulta Implementare modelli per l'inferenza nella documentazione AI AI. SageMaker
Opzione 2: importazione in Amazon Bedrock
Importa il tuo modello in Amazon Bedrock per utilizzare le API di inferenza gestite di Bedrock senza la necessità di configurare gli endpoint. Amazon Bedrock supporta l'importazione di modelli di base open source personalizzati (come Mistral AI o Llama) e modelli Amazon Nova ottimizzati per l'intelligenza artificiale. SageMaker Per ulteriori informazioni, consulta Importazione di un modello pre-addestrato in Amazon Bedrock nella Amazon Bedrock User Guide. Per i modelli Nova, consulta Importa con crea un modello personalizzato.
Implementa utilizzando SageMaker AI Studio
-
Vai su Jobs > Training e seleziona la scheda Multi-turn RL.
-
Seleziona un lavoro completato e scegli il modello in Dettagli del modello personalizzato per esaminare le metriche delle prestazioni, la derivazione del modello e i registri di formazione.
-
Nella scheda Governance, approva il modello per renderlo idoneo alla distribuzione.
-
Seleziona Implementa. Scegli se eseguire la distribuzione su un endpoint SageMaker AI in tempo reale o tramite Amazon Bedrock e se creare un nuovo endpoint o riutilizzarne uno esistente.
-
Seleziona il tipo di istanza e, facoltativamente, configura le impostazioni VPC, il ruolo IAM e la chiave di crittografia KMS.
-
Monitora l'avanzamento della distribuzione nella scheda Implementazioni.
-
Passa a Distribuzioni > Endpoint. Quando l'endpoint e i componenti di inferenza associati raggiungono uno stato pari a InService, l'endpoint è pronto per la chiamata.
Implementa utilizzando SageMaker AI Python SDK
Implementa su un endpoint AI: SageMaker
from sagemaker.serve import ModelBuilder from sagemaker.core.resources import ModelPackage # Get the output model package from your completed training job model_package = ModelPackage.get( model_package_name=job.output_model_package_arn ) model_builder = ModelBuilder( model=model_package, image_uri="763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.36.0-lmi24.0.0-cu129", instance_type="ml.g6e.48xlarge", ) model_builder.accept_eula = True model_builder.build() endpoint = model_builder.deploy( endpoint_name="mtrl-finetuned-endpoint", instance_type="ml.g6e.48xlarge", initial_instance_count=1, )
Invoca l'endpoint:
import json response = endpoint.invoke( body=json.dumps({ "model": "/opt/ml/model", "messages": [{"role": "user", "content": "What is 25 * 4?"}], "max_tokens": 200, "stream": False, }).encode("utf-8"), content_type="application/json", )
