本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
将 EI 附加到笔记本实例
要使用 EI 测试和评估推理性能,您可以在创建或更新笔记本实例时将 EI 附加到笔记本实例。您可在本地模式中使用 EI,用于在托管于笔记本实例上的端点中托管模型。您应测试笔记本实例和 EI 加速器的各种大小,用于评估最适合您的使用案例的配置。
设置以使用 EI。
要在笔记本实例中本地使用 EI,请创建具有 EI 实例的笔记本实例。
使用 EI 实例创建笔记本实例
-
打开亚马逊 SageMaker 控制台,网址为 https://console.aws.amazon.com/sagemaker/
。 -
在导航窗格中,选择 Notebook instances (笔记本实例)。
-
选择创建笔记本实例。
-
对于 Notebook instance name (笔记本实例名称),为笔记本实例提供唯一名称。
-
对于 notebook instance type (笔记本实例类型),选择 CPU 实例,例如 ml.t2.medium。
-
对于 Elastic Inference (EI) (弹性推理 (EI)),请从列表中选择一个实例,例如 ml.eia2.medium。
-
对于 IAM 角色,请选择具有所需使用权限的 IAM 角色 SageMaker 和 EI。
-
(可选)对于 VPC - Optional (VPC - 可选),如果您希望笔记本实例使用 VPC,请从可用列表中选择一个。否则,将其保留为 No VPC (无 VPC)。如果您使用 VPC,请按照使用自定义 VPC 来连接 EI 的说明操作。
-
(可选)对于 Lifecycle configuration - optional (生命周期配置 - 可选),请将其保留作为 No configuration (无配置) 或者选择生命周期配置。有关更多信息,请参阅 使用LCC脚本自定义 SageMaker 笔记本实例。
-
(可选)对于加密密钥-可选,可选)如果 SageMaker 要使用 AWS Key Management Service (AWS KMS) 密钥加密连接到笔记本实例的 ML 存储卷中的数据,请指定密钥。
-
(可选)对于 Volume Size In GB - optional (卷大小 (以 GB 为单位) - 可选),请保留默认值 5。
-
(可选)对于 Tags (标签),请将标签添加到笔记本实例。标签是您分配用于帮助管理笔记本实例的标注。标签包含您定义的一个键和一个值。
-
选择创建笔记本实例。
在创建附加了 EI 的笔记本实例之后,您可以创建 Jupyter 笔记本并设置在笔记本实例本地托管的 EI 端点。
在本地模式下使用 EI SageMaker
要在托管在笔记本实例上的终端节点中本地使用 EI,请将本地模式与 Amaz SageMaker on Python SDK
主题
在局部模式下将 EI 与 SageMaker TensorFlow 估计器和模型一起使用
要 TensorFlow 在本地模式下使用 EI,请在调用估算器或模型对象的deploy
方法accelerator_type
时指定local
instance_type
和local_sagemaker_notebook
。有关亚马逊 SageMaker Python SDK
以下代码演示如何将本地模式用于评估程序对象。要调用 deploy
方法,您以前必须已经执行以下操作之一:
-
通过调用评估程序的
fit
方案训练了模型。 -
初始化模型对象时传递了模型构件。
# Deploys the model to a local endpoint tf_predictor = tf_model.deploy(initial_instance_count=1, instance_type='local', accelerator_type='local_sagemaker_notebook')
在本地模式下使用 EI 和 SageMaker Apache MxNet 估算器和模型
要在本地模式下将 EI 与 MXNet 结合使用,在您调用评估程序或模型对象的 deploy
方法时,请为 instance_type
指定 local
,为 accelerator_type
指定 local_sagemaker_notebook
。有关亚马逊 SageMaker Python SDK
以下代码演示如何将本地模式用于评估程序对象。您必须以前已调用过评估程序的 fit
方法来训练模型。
# Deploys the model to a local endpoint mxnet_predictor = mxnet_estimator.deploy(initial_instance_count=1, instance_type='local', accelerator_type='local_sagemaker_notebook')
在局部模式下将 EI 与 SageMaker PyTorch 估计器和模型一起使用
要 PyTorch 在本地模式下使用 EI,请在调用估算器或模型对象的deploy
方法时,指定 for instance_type
和 local_sagemaker_notebook
f local
or。accelerator_type
有关 Amaz SageMaker on Python 软件开发工具包
以下代码演示如何将本地模式用于评估程序对象。您必须以前已调用过评估程序的 fit
方法来训练模型。
# Deploys the model to a local endpoint pytorch_predictor = pytorch_estimator.deploy(initial_instance_count=1, instance_type='local', accelerator_type='local_sagemaker_notebook')