在亚马逊上使用 Hugging Face 的资源 SageMaker - Amazon SageMaker
训练推理您需要做什么？

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在亚马逊上使用 Hugging Face 的资源 SageMaker

亚马逊 SageMaker 允许客户使用用于自然语言处理NLP的 Hugging Face 模型 () 进行训练、微调和运行推理。 SageMaker您可以使用 Hugging Face 进行训练和推理。以下部分提供有关 Hugging Face 模型的信息，并包括可用于学习如何使用 Hu SageMaker gging Face 的参考资料。

此功能可通过开发 Hugging Face AWS Deep Learning Containers 来实现。这些容器包括 Hugging Face Transformers、Tokenizers 和 Datasets 库，它们允许您将这些资源用于训练和推理作业。有关可用深度学习容器映像的列表，请参阅可用的深度学习容器映像。这些深度学习容器映像会得到维护，并定期更新安全补丁。

要使用 Hugging Face Deep Learning Containers 和 SageMaker Pyth SDK on 进行训练，请参阅 SageMaker Hugging Fac e 估算器。有了 Hugging Face Estimator，你可以像使用任何其他 Estimator 一样使用 Hugging Face 模型。 SageMaker 但是，使用 SageMaker Python SDK 是可选的。你还可以使用和来编排 Hugging Face Deep Learning Containers 的使用。 AWS CLI AWS SDK for Python (Boto3)

有关 Hugging Face 及其中可用模型的更多信息，请参阅 Hugging Face 文档。

训练

要进行训练，请使用 Hugging Face 中提供的数千种模型中的任何一个，并通过额外的训练针对您的用例对其进行微调。使用 SageMaker，您可以使用标准训练或利用SageMaker 分布式数据和模型并行训练。

与其他使用自定义代码的 SageMaker 训练作业一样，您可以通过将指标定义传递给 SageMaker Python 来捕获自己的指标SDK。有关示例，请参阅定义训练指标 (SageMaker PythonSDK)。您可以使用该TrainingJobAnalytics方法以 Panda DataFrame s CloudWatch的形式访问捕获的指标。在您的模型经过训练和微调后，您可以像使用任何其他模型一样使用它来运行推理作业。

如何使用 Hugging Face 估算器进行训练

你可以使用 Python 为训练作业实现 Hugging Face 估算器。 SageMaker SDKP SageMaker ython SDK 是一个开源库，用于训练和部署机器学习模型 SageMaker。有关 Hugging Face Estimator 的更多信息，请参阅 Python 文档。SageMaker SDK

使用 SageMaker PythonSDK，你可以在以下环境中使用 Hugging Face Estimator 运行训练作业：

  • Amazon SageMaker Stu dio Classic：Studio Classic 是第一个完全集成的机器学习 (ML) 开发环境 ()。IDEStudio Classic 提供了一个基于 Web 的可视化界面，您可以在其中执行所需的所有机器学习开发步骤，以便：

    • PREPARE

    • build

    • 训练和调整

    • 部署和管理模型

    有关在 Studio Classic 中使用 Jupyter 笔记本的信息，请参阅。使用 Amazon SageMaker Studio 经典笔记本电脑

  • SageMaker笔记本实例：Amazon SageMaker 笔记本实例是运行 Jupyter 笔记本应用程序的机器学习 (ML) 计算实例。此应用程序允许您在笔记本实例中运行 Jupyter Notebooks，以：

    • 准备和处理数据

    • 编写用于训练模型的代码

    • 将模型部署到 SageMaker 托管

    • 在没有调试器、模型监控和基于 Web 的 SageMaker Studio 功能的情况下测试或验证您的模型 IDE

  • 本地：如果您已连接 AWS 并拥有相应的 SageMaker 权限，则可以在SDK本地使用 SageMaker Python。在本地使用时，你可以在 on 中启动 Hugging Face 的远程训练和推理作业。 SageMaker AWS这适用于您的本地计算机，以及其他具有连接 SageMaker Python SDK 和适当权限的 AWS 服务。

推理

为了进行推理，您可以使用经过训练的 Hugging Face 模型或预先训练的 Hugging Face 模型来部署推理作业。 SageMaker通过这种协作，您只需要一行代码即可部署经过训练的模型和预训练的 SageMaker模型。您也可以运行推理作业，而无需编写任何自定义推理代码。使用自定义推理代码，您可以通过提供自己的 Python 脚本来自定义推理逻辑。

如何使用 Hugging Face Deep Learning Containers 部署推理作业

您可以使用两个选项来运行推理。 SageMaker您可以使用自己训练的模型进行推理，也可以部署预训练的 Hugging Face 模型。

  • 使用@@ 经过训练的模型运行推理：您可以使用两种方式使用自己的训练模型运行推理：

    • 使用你使用现有 Hugging Face 模型和 Hugging Face Deep Learning Containers Deep Learning Container SageMaker s 训练的模型进行推理。

    • 带上你自己的现有 Hugging Face 模型并使用进行 SageMaker部署。

    使用使用 SageMaker Hugging Face Estimator 训练的模型运行推理时，可以在训练完成后立即部署模型。您也可以将训练好的模型上传到 Amazon S3 存储桶，并在以后运行推理时将其摄取。

    如果您自带现有 Hugging Face 模型，则必须将经过训练的模型上传到 Amazon S3 存储桶。然后，你可以在运行推理时提取该存储桶，如部署你的 Hugging Face Transformers 进行推理示例中所示。

  • 使用预训练 HuggingFace 模型运行推理：您可以使用数千个预先训练的 Hugging Face 模型中的一个来运行推理作业，无需额外训练。要运行推理，请从 Hugging Face 模型列表中选择预训练的模型，如部署预训练的 Hugging Fac e Trans formers 作为推理示例。

您需要做什么？

Hugging Face 笔记本存储库中的以下笔记本展示了如何在各种用例中使用 Hugging Face Deep Learning Conta SageMaker iners。

我想使用 Hugging Face 来训练和部署文本分类模型 SageMaker 。 PyTorch

要获取 Jupyter 笔记本的示例，请参阅PyTorch 入门演示。

我想使用 Hugging Face 来训练和部署文本分类模型 SageMaker 。 TensorFlow

有关 Jupyter 笔记本的示例，请参阅TensorFlow 入门示例。

我想使用 Hugging Face 和 Distributed 来运行具有数据并行性的分布式训练。 SageMaker

有关示例 Jupyter 笔记本，请参阅分布式训练示例。

我想使用 Hugging Face 和 Distributed 来运行具有模型并行性的分布式训练。 SageMaker

有关示例 Jupyter 笔记本，请参阅模型并行性示例。

我想使用竞价实例来训练和部署使用 Hugging Fac SageMaker e 的模型。

有关示例 Jupyter 笔记本，请参阅竞价型实例示例。

我想捕获自定义指标并在使用 Hugging Fac SageMaker e 训练文本分类模型时使用 Checkpointing。 SageMaker

有关示例 Jupyter 笔记本，请参阅使用自定义指标进行训练示例。

我想使用 Hugging Face 来训练分布式问答 TensorFlow 模型。 SageMaker

有关 Jupyter 笔记本的示例，请参阅分布式 TensorFlow 训练示例。

我想使用 Hugging Face 来训练分布式汇总模型。 SageMaker

有关示例 Jupyter 笔记本，请参阅分布式汇总训练示例。

我想使用 Hugging Fac SageMaker e 来训练图像分类模型。

有关示例 Jupyter 笔记本，请参阅 Vision Transformer 训练示例。

我想在里面部署我训练过的 Hugging Face 模型 SageMaker。

有关示例 Jupyter 笔记本，请参阅部署您的 Hugging Face Transformers 进行推理示例。

我想在中部署一个经过预训练的 Hugging Face 模型。 SageMaker

有关示例 Jupyter 笔记本，请参阅部署预训练的 Hugging Face Transformers 进行推理示例。