View a markdown version of this page

模型部署 - 亚马逊 SageMaker AI
选项 1：使用 SageMaker AI AI 推理进行部署选项 2：导入到亚马逊 Bedrock使用 SageMaker AI 工作室部署使用 SageMaker AI Python 开发工具包部署

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

模型部署

训练作业完成后，训练后的模型将作为模型包在输出模型包组中提供。您有两种部署方式。

选项 1：使用 SageMaker AI AI 推理进行部署

将您的模型托管在 A SageMaker I AI 推理端点上，以实现实时、无服务器或异步预测。此选项可让您对实例类型、扩展策略和网络配置进行精细控制。当您需要低延迟服务、自定义推理逻辑或与现有 SageMaker AI AI 工作流程紧密集成时，它非常适合。

要进行部署，请OutputModelPackageArn从已完成的训练作业中检索并使用它来创建终端节点。


# Retrieve the output model ARN from your completed job
aws sagemaker describe-job \
  --job-name "my-agent-rft-job" \
  --job-category AgentRFT \
  --region us-west-2

有关完整的部署选项和配置，请参阅 SageMaker AI AI 文档中的部署模型进行推理。

选项 2：导入到亚马逊 Bedrock

将您的模型导入 Amazon Bedrock，即可使用 Bedrock 的托管推理 API，无需配置终端节点。Amazon Bedrock 支持导入自定义的开源基础模型（例如 Mistral AI 或 Llama）和在 AI 人工智能中微调的 Amazon Nova 模型。 SageMaker 有关更多信息，请参阅《亚马逊 Bedrock 用户指南》中的将预训练模型导入 Amazon Bedrock。对于 Nova 模型，请参见使用创建自定义模型进行导入。

使用 SageMaker AI 工作室部署

  • 导航至 “工作” > “培训”，然后选择 “Multi-turn RL” 选项卡。

  • 选择已完成的作业，然后在 “自定义模型详细信息” 下选择模型，以查看性能指标、模型谱系和训练日志。

  • 在 “治理” 选项卡下，批准模型以使其符合部署条件。

  • 选择部署。选择是部署到 SageMaker AI AI 实时终端节点还是通过 Amazon Bedrock 部署，以及是创建新的终端节点还是重复使用现有终端节点。

  • 选择实例类型并可选择配置 VPC 设置、IAM 角色和 KMS 加密密钥。

  • 在 “部署” 选项卡下监控部署进度。

  • 导航到 “部署” > “端点”。当您的终端节点和关联的推理组件的状态为时 InService，您的终端节点已准备好进行调用。

使用 SageMaker AI Python 开发工具包部署

部署到 A SageMaker I 终端节点：


from sagemaker.serve import ModelBuilder
from sagemaker.core.resources import ModelPackage

# Get the output model package from your completed training job
model_package = ModelPackage.get(
    model_package_name=job.output_model_package_arn
)

model_builder = ModelBuilder(
    model=model_package,
    image_uri="763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.36.0-lmi24.0.0-cu129",
    instance_type="ml.g6e.48xlarge",
)
model_builder.accept_eula = True
model_builder.build()

endpoint = model_builder.deploy(
    endpoint_name="mtrl-finetuned-endpoint",
    instance_type="ml.g6e.48xlarge",
    initial_instance_count=1,
)

调用终端节点：


import json

response = endpoint.invoke(
    body=json.dumps({
        "model": "/opt/ml/model",
        "messages": [{"role": "user", "content": "What is 25 * 4?"}],
        "max_tokens": 200,
        "stream": False,
    }).encode("utf-8"),
    content_type="application/json",
)