大型模型推理（LMI）容器文档 - 亚马逊 SageMaker AI

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

大型模型推理（LMI）容器文档

Deep Java 库文档网站提供了大型模型推理（LMI）容器文档。

本文档专为需要在 Amazon A SageMaker I 上部署和优化大型语言模型 (LLMs) 的开发人员、数据科学家和机器学习工程师编写。它可以帮助您使用 LMI 容器，这些容器是专门用于 LLM 推断的 Docker 容器，由提供。 AWS它提供了概述、部署指南、所支持推理库的用户指南以及高级教程。

通过使用 LMI 容器文档，您可以

  • 了解 LMI 容器的组件和架构

  • 了解如何为您的使用场景选择合适的实例类型和后端

  • 使用 LMI 容器 LLMs 在 SageMaker AI 上配置和部署

  • 利用量化、张量并行和连续批处理等功能优化性能

  • 对您的 SageMaker AI 端点进行基准测试和调整，以实现最佳吞吐量和延迟