即时获取潜在实例 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

即时获取潜在实例

Inference Recommerder 还可以在您的模型详细信息页面上为您提供潜在实例或可能适合您的模型的实例类型的列表。 SageMaker Inference Recommender 会自动针对您的模型执行初步基准测试，以便提供前五大潜在实例。由于这些都是初步推荐，因此，我们建议您运行更多的实例推荐作业，以获得更准确的结果。

您可以使用DescribeModelAPI、 SageMaker Python SDK 或 SageMaker 控制台以编程方式查看模型的潜在实例列表。

注意

在此功能可用 SageMaker 之前，您将无法获得您在中创建的模型的潜在实例。

要通过控制台查看模型的潜在实例，请执行以下操作：

  1. 转到 SageMaker 控制台，网址为https://console.aws.amazon.com/sagemaker/。

  2. 在左侧导航窗格中，选择推理，然后选择模型。

  3. 从模型列表中选择您的模型。

在您的模型的详细信息页面上，转到要部署模型的潜在实例部分。以下屏幕截图显示了此部分。

模型详细信息页面上的潜在实例列表的屏幕截图。

在本节中，您可以查看针对模型部署的成本、吞吐量和延迟进行了优化的潜在实例，以及每种实例类型的其他信息，例如内存大小、GPU计数CPU和每小时成本。

如果您决定要对示例负载进行基准测试并为模型运行完整的推理推荐作业，则可以从此页面启动默认的推理推荐作业。要通过控制台启动默认作业，请执行以下操作：

  1. 在模型详细信息页面的要部署模型的潜在实例部分中，选择运行 Inference Recommender 作业。

  2. 在弹出的对话框中，对于用于对负载进行基准测试的 S3 存储桶，输入您将模型的示例负载存储到的 Amazon S3 位置。

  3. 在负载内容MIME类型中，输入有效载荷数据的类型。

  4. （可选）在使用 SageMaker Neo 编译模型部分中，对于数据输入配置，输入字典格式的数据形状。

  5. 选择运行作业。

推理推荐器启动作业，您可以从控制台的推理推荐器列表页面查看作业及其结果。 SageMaker

如果要运行高级作业并执行自定义负载测试，或者要为作业配置其他设置和参数，请参阅运行自定义负载测试。