大型模型推理 (LMI) 容器文档 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

大型模型推理 (LMI) 容器文档

大型模型推理 (LMI) 容器文档在 Deep Java Library 文档网站上提供。

本文档专为需要在 Amazon 上部署和优化大型语言模型 (LLMs) 的开发人员、数据科学家和机器学习工程师编写 SageMaker。它可以帮助您使用LMI容器，这些容器是专门用于LLM推理的 Docker 容器，由提供。 AWS它提供了概述、部署指南、支持的推理库的用户指南和高级教程。

通过使用LMI容器文档，您可以：

  • 了解LMI容器的组件和架构

  • 了解如何为您的用例选择合适的实例类型和后端

  • SageMaker 使用LMI容器LLMs进行配置和部署

  • 使用量化、张量并行和连续批处理等功能优化性能

  • 对您的 SageMaker 端点进行基准测试和调整，以实现最佳吞吐量和延迟