本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
SageMaker 使用 AWS 开发人员工具将 ML 构建、训练和部署工作负载迁移到 Amazon
创建者：Scot Marvin (AWS)
R 类型：更换平台 | 来源：机器学习 | 目标：亚马逊 SageMaker |
创建者：AWS | 环境：PoC 或试点 | 技术：机器学习和人工智能； DevOps；迁移 |
AWS 服务：亚马逊 SageMaker |
总结
此模式为使用 Amazon 迁移在 Unix 或 Linux 服务器上运行的本地机器学习 (ML) 应用程序以在 AWS 上进行训练和部署提供了指导 SageMaker。此部署使用了连续集成和连续部署 (CI/CD) 管线。迁移模式是使用 AWS CloudFormation 堆栈部署的。
先决条件和限制
先决条件
使用 AWS 登录区
的有效 Amazon Web Services account AWS 命令行界面（AWS CLI）
已在您的 Unix 或 Linux 服务器上安装并配置 AWS CodeCommit 或亚马逊简单存储服务 (Amazon S3) 中的机器学习源代码存储库 GitHub
限制
一个 Amazon Web Services Region 中只能部署 300 个单独的管线。
此模式适用于带有 Python train-and-deploy 代码的受监管机器学习工作负载。
产品版本
Docker 版本 19.03.5，内部版本 633a0ea，使用 Python 3.6x
架构
源技术堆栈
本地 Linux 计算实例，数据位于本地文件系统或关系数据库中
源架构
目标技术堆栈
AWS 与 Amazon S3 一起 CodePipeline 部署用于数据存储，将 Amazon DynamoDB 部署为元数据存储，用于跟踪或记录管道运行情况
目标架构
应用程序迁移架构
原生 Python 包和 AWS CodeCommit 存储库（以及用于数据库实例上的本地数据集的 SQL 客户端）
工具
Python
Git
AWS CLI — AWS CLI
部署 AWS CloudFormation 堆栈并将数据移至 S3 存储桶。反过来，S3 存储桶会指向目标。
操作说明
| 任务 | 描述 | 所需技能 |
|---|---|---|
| 验证源代码与数据集。 | 数据科学家 | |
| 识别目标构建、训练和部署实例类型和大小。 | 数据工程师、数据科学家 | |
| 创建功能列表和容量要求。 | ||
| 识别网络要求。 | 数据库管理员、系统管理员 | |
| 识别源应用程序和目标应用程序的网络或主机访问安全要求。 | 数据工程师、机器学习工程师、系统管理员 | |
| 确定备份策略。 | 机器学习工程师、系统管理员 | |
| 确定可用性要求。 | 机器学习工程师、系统管理员 | |
| 识别应用程序迁移或切换策略。 | 数据科学家、机器学习工程师 |
| 任务 | 描述 | 所需技能 |
|---|---|---|
| 创建虚拟私有云（VPC）。 | 机器学习工程师、系统管理员 | |
| 创建安全组。 | 机器学习工程师、系统管理员 | |
| 为机器学习代码设置 Amazon S3 存储桶和 AWS CodeCommit 存储库分支。 | 机器学习工程师 |
| 任务 | 描述 | 所需技能 |
|---|---|---|
| 使用原生 MySQL 工具或第三方工具将训练、验证和测试数据集迁移到预调配的 S3 存储桶。 | 这是部署 AWS CloudFormation 堆栈所必需的。 | 数据工程师、机器学习工程师 |
| Package 将 ML 训练和托管代码打包为 Python 包，然后推送到 AWS 中的预配置存储库 CodeCommit 或 GitHub。 | 您需要存储库的分支名称才能部署 AWS CloudFormation 模板进行迁移。 | 数据科学家、机器学习工程师 |
| 任务 | 描述 | 所需技能 |
|---|---|---|
| 遵循机器学习工作负载迁移策略。 | 应用程序所有者、机器学习工程师 | |
| 部署 AWS CloudFormation 堆栈。 | 使用 AWS CLI 创建此解决方案提供的 YAML 模板中声明的堆栈。 | 数据科学家、机器学习工程师 |
| 任务 | 描述 | 所需技能 |
|---|---|---|
| 将应用程序客户端切换至新基础设施。 | 应用程序所有者、数据科学家、机器学习工程师 |
| 任务 | 描述 | 所需技能 |
|---|---|---|
| 关闭临时 AWS 资源。 | 关闭 AWS CloudFormation 模板中的所有自定义资源（例如，任何未使用的 AWS Lambda 函数）。 | 数据科学家、机器学习工程师 |
| 查看和验证项目文档。 | 应用程序所有者、数据科学家 | |
| 使用运算符验证结果和机器学习模型评估指标。 | 确保模型性能符合应用程序用户的期望，并且与本地状态相当。 | 应用程序所有者、数据科学家 |
| 关闭项目并提供反馈。 | 应用程序所有者、机器学习工程师 |
相关资源
附件
要访问与此文档相关联的其他内容，请解压以下文件：attachment.zip
