As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Implantação de modelos
Depois que seu trabalho de treinamento for concluído, o modelo treinado estará disponível como um Model Package Group em seu Output Model Package Group. Você tem duas opções para implantá-lo.
Opção 1: implantar com SageMaker AI AI Inference
Hospede seu modelo em um endpoint de inferência de SageMaker IA para previsões em tempo real, sem servidor ou assíncronas. Essa opção oferece controle refinado sobre tipos de instância, políticas de escalabilidade e configuração de rede. É uma boa opção quando você precisa de serviços de baixa latência, lógica de inferência personalizada ou integração total com fluxos de trabalho de SageMaker IA AI existentes.
Para implantar, recupere o OutputModelPackageArn do seu trabalho de treinamento concluído e use-o para criar um endpoint.
# Retrieve the output model ARN from your completed job aws sagemaker describe-job \ --job-name "my-agent-rft-job" \ --job-category AgentRFT \ --region us-west-2
Para ver as opções e a configuração completas de implantação, consulte Implantar modelos para inferência na documentação do SageMaker AI AI.
Opção 2: Importar para o Amazon Bedrock
Importe seu modelo para o Amazon Bedrock para usar as APIs de inferência gerenciadas do Bedrock sem a necessidade de configuração de endpoint. O Amazon Bedrock suporta a importação de modelos básicos de código aberto personalizados (como Mistral AI ou Llama) e modelos Amazon Nova ajustados com IA. SageMaker Para obter mais informações, consulte Importar um modelo pré-treinado para o Amazon Bedrock no Guia do usuário do Amazon Bedrock. Para modelos Nova, consulte Importar com criar modelo personalizado.
Implemente usando o SageMaker AI Studio
-
Navegue até Empregos > Treinamento e selecione a guia Multi-turn RL.
-
Selecione um trabalho concluído e escolha o modelo em Detalhes personalizados do modelo para analisar as métricas de desempenho, a linhagem do modelo e os registros de treinamento.
-
Na guia Governança, aprove o modelo para torná-lo elegível para implantação.
-
Escolha Implantar. Selecione se deseja implantar em um endpoint de SageMaker IA em tempo real ou por meio do Amazon Bedrock e se deseja criar um novo endpoint ou reutilizar um existente.
-
Selecione o tipo de instância e, opcionalmente, defina as configurações de VPC, a função do IAM e a chave de criptografia KMS.
-
Monitore o progresso da implantação na guia Implantações.
-
Navegue até Implantações > Endpoints. Quando seu endpoint e os componentes de inferência associados atingem o status de InService, seu endpoint está pronto para ser invocado.
Implemente usando o SageMaker SDK AI Python
Implante em um endpoint de SageMaker IA:
from sagemaker.serve import ModelBuilder from sagemaker.core.resources import ModelPackage # Get the output model package from your completed training job model_package = ModelPackage.get( model_package_name=job.output_model_package_arn ) model_builder = ModelBuilder( model=model_package, image_uri="763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.36.0-lmi24.0.0-cu129", instance_type="ml.g6e.48xlarge", ) model_builder.accept_eula = True model_builder.build() endpoint = model_builder.deploy( endpoint_name="mtrl-finetuned-endpoint", instance_type="ml.g6e.48xlarge", initial_instance_count=1, )
Invoque o endpoint:
import json response = endpoint.invoke( body=json.dumps({ "model": "/opt/ml/model", "messages": [{"role": "user", "content": "What is 25 * 4?"}], "max_tokens": 200, "stream": False, }).encode("utf-8"), content_type="application/json", )
