访问 Scikit-Learn 和 Spark ML 的 Docker 镜像 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

访问 Scikit-Learn 和 Spark ML 的 Docker 镜像

SageMaker 提供预构建的 Docker 镜像,用于安装 scikit-learn 和 Spark ML 库。这些库还包括构建与 SageMaker 使用 Amaz SageMaker on Python SDK 兼容的 Docker 镜像所需的依赖项。借助SDK,您可以使用 scikit-learn 来完成机器学习任务,也可以使用 Spark ML 来创建和调整机器学习管道。有关安装和使用的说明SDK,请参阅 SageMaker Python SDK

您也可以在自己的环境中访问来自Amazon ECR 存储库的图像。

使用以下命令找出哪些版本的映像可用。例如,使用以下命令来查找可用 ca-central-1 区域中的可用 sagemaker-sparkml-serving 映像:

aws \ ecr describe-images \ --region ca-central-1 \ --registry-id 341280168497 \ --repository-name sagemaker-sparkml-serving

通过 SageMaker Python 访问图像 SDK

下表包含指向 GitHub 存储库的链接,其中包含 scikit-learn 和 Spark ML 容器的源代码。该表还包含指向说明的链接,这些说明说明如何使用这些容器和 Python SDK 估算器来运行自己的训练算法并托管自己的模型。

有关更多信息和 Github 存储库的链接,请参阅在亚马逊上使用 Scikit-Learn 的资源 SageMaker使用 SparkML 在亚马逊上提供服务的资源 SageMaker

手动指定预构建映像

如果您没有使用 SageMaker Python SDK 及其估算器之一来管理容器,则必须手动检索相关的预构建容器。 SageMaker预构建的 Docker 镜像存储在亚马逊弹性容器注册表(亚马ECR逊)中。您可以使用它们的全名注册表地址来推送或拉取它们。 SageMaker 在 scikit-learn 和 Spark ML 中使用以下 Docker 镜像URL模式:

  • <ACCOUNT_ID>.dkr.ecr.<REGION_NAME>.amazonaws.com/sagemaker-scikit-learn:<SCIKIT-LEARN_VERSION>-cpu-py<PYTHON_VERSION>

    例如,746614075791.dkr.ecr.us-west-1.amazonaws.com/sagemaker-scikit-learn:1.2-1-cpu-py3

  • <ACCOUNT_ID>.dkr.ecr.<REGION_NAME>.amazonaws.com/sagemaker-sparkml-serving:<SPARK-ML_VERSION>

    例如,341280168497.dkr.ecr.ca-central-1.amazonaws.com/sagemaker-sparkml-serving:2.4

有关账户IDs和 AWS 区域名称,请参阅 Docker 注册表路径和示例代码