View a markdown version of this page

Implementación de modelos - Amazon SageMaker AI
Opción 1: Implementar con SageMaker IA (IA, inferencia de IA)Opción 2: importar a Amazon BedrockImplemente con SageMaker AI StudioImplemente con SageMaker AI Python SDK

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Implementación de modelos

Una vez finalizado el trabajo de formación, el modelo entrenado estará disponible como paquete de modelos en su grupo de paquetes de modelos de salida. Tiene dos opciones para implementarlo.

Opción 1: Implementar con SageMaker IA (IA, inferencia de IA)

Aloje su modelo en un punto final de inferencia de SageMaker IA para realizar predicciones asíncronas, sin servidor o en tiempo real. Esta opción le proporciona un control detallado sobre los tipos de instancias, las políticas de escalado y la configuración de la red. Es una buena opción cuando necesitas un servicio de baja latencia, una lógica de inferencia personalizada o una estrecha integración con los flujos de trabajo de IA IA existentes. SageMaker

Para implementarlo, extráigalo OutputModelPackageArn del trabajo de formación que haya completado y utilícelo para crear un punto final. 


# Retrieve the output model ARN from your completed job
aws sagemaker describe-job \
  --job-name "my-agent-rft-job" \
  --job-category AgentRFT \
  --region us-west-2

Para ver todas las opciones de implementación y la configuración, consulte Implementación de modelos para obtener más información en la documentación sobre SageMaker IA IA.

Opción 2: importar a Amazon Bedrock

Importe su modelo a Amazon Bedrock para utilizar las API de inferencia gestionadas de Bedrock sin necesidad de configurar el punto de conexión. Amazon Bedrock admite la importación de modelos de base de código abierto personalizados (como Mistral AI o Llama) y modelos Amazon Nova ajustados con IA artificial. SageMaker Para obtener más información, consulte Importación de un modelo previamente entrenado a Amazon Bedrock en la Guía del usuario de Amazon Bedrock. Para los modelos Nova, consulte Importar con la creación de un modelo personalizado.

Implemente con SageMaker AI Studio

  • Ve a Trabajos > Formación y selecciona la pestaña Multi-turn RL.

  • Seleccione un trabajo completado y elija el modelo en Detalles del modelo personalizado para revisar las métricas de rendimiento, el linaje de modelos y los registros de entrenamiento.

  • En la pestaña Gobernanza, apruebe el modelo para que pueda implementarse.

  • Elija Implementar. Seleccione si desea realizar la implementación en un punto final de SageMaker IA (IA) en tiempo real o a través de Amazon Bedrock, y si desea crear un nuevo punto final o reutilizar uno existente.

  • Seleccione el tipo de instancia y, si lo desea, configure los ajustes de la VPC, la función de IAM y la clave de cifrado de KMS.

  • Supervise el progreso de la implementación en la pestaña Implementaciones.

  • Vaya a Implementaciones > Puntos finales. Cuando el punto final y los componentes de inferencia asociados alcancen el estado de InService, el punto final estará listo para la invocación.

Implemente con SageMaker AI Python SDK

Implemente en un punto final de SageMaker IA: 


from sagemaker.serve import ModelBuilder
from sagemaker.core.resources import ModelPackage

# Get the output model package from your completed training job
model_package = ModelPackage.get(
    model_package_name=job.output_model_package_arn
)

model_builder = ModelBuilder(
    model=model_package,
    image_uri="763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.36.0-lmi24.0.0-cu129",
    instance_type="ml.g6e.48xlarge",
)
model_builder.accept_eula = True
model_builder.build()

endpoint = model_builder.deploy(
    endpoint_name="mtrl-finetuned-endpoint",
    instance_type="ml.g6e.48xlarge",
    initial_instance_count=1,
)

Invoca el punto final: 


import json

response = endpoint.invoke(
    body=json.dumps({
        "model": "/opt/ml/model",
        "messages": [{"role": "user", "content": "What is 25 * 4?"}],
        "max_tokens": 200,
        "stream": False,
    }).encode("utf-8"),
    content_type="application/json",
)