Amazon SageMaker Inference Recommender - Amazon SageMaker
工作方式如何开始示例笔记本

Amazon SageMaker Inference Recommender

Amazon SageMaker Inference Recommender 是 Amazon SageMaker 的一项功能。它通过在 SageMaker ML 实例中自动执行负载测试和模型调整，减少了在生产中获取机器学习 (ML) 模型所需的时间。您可以使用 Inference Recommender 将模型部署到以最低成本提供最佳性能的实时推理端点。Inference Recommender 可帮助您为机器学习模型和工作负载选择最佳实例类型和配置。它考虑的因素包括实例数量、容器参数、模型优化、最大并发量和内存大小等。

Amazon SageMaker Inference Recommender 仅向您收取作业执行期间使用的实例的费用。

工作方式

要使用 Amazon SageMaker Inference Recommender，您可以创建 SageMaker 模型，也可以使用模型构件将模型注册到 SageMaker 模型注册表。使用 AWS SDK for Python (Boto3) 或 SageMaker 控制台针对不同的 SageMaker 端点配置运行基准测试作业。Inference Recommender 作业有助于您收集和可视化性能和资源利用率方面的指标，以便您决定选择哪种端点类型和配置。

如何开始

如果您是首次接触 Amazon SageMaker Inference Recommender 的用户，我们建议您阅读以下内容：

  1. 阅读使用 Amazon SageMaker Inference Recommender 的先决条件部分，确保您已满足使用 Amazon SageMaker Inference Recommender 的要求。

  2. 阅读Amazon SageMaker Inference Recommender 的推荐作业部分，启动您的第一个 Inference Recommender 推荐作业。

  3. 浏览介绍性的 Amazon SageMaker Inference Recommender Jupyter 笔记本示例，或者查看下一部分中的示例笔记本。

示例笔记本

以下示例 Jupyter 笔记本有助于您完成 Inference Recommender 中多个使用案例的工作流：