大規模モデル推論 (LMI) コンテナドキュメント - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

大規模モデル推論 (LMI) コンテナドキュメント

Large Model Inference (LMI) コンテナドキュメントは、Deep Java Library ドキュメントサイトにあります。

このドキュメントは、Amazon に大規模言語モデル (LLMs) をデプロイして最適化する必要があるデベロッパー、データサイエンティスト、機械学習エンジニア向けに作成されています SageMaker。これは、 LLM が提供する推論用の特殊な Docker LMIコンテナであるコンテナの使用に役立ちます AWS。概要、デプロイガイド、サポートされている推論ライブラリのユーザーガイド、高度なチュートリアルを提供します。

LMI コンテナドキュメントを使用すると、次のことができます。

  • LMI コンテナのコンポーネントとアーキテクチャを理解する

  • ユースケースに適したインスタンスタイプとバックエンドを選択する方法について説明します。

  • LMI コンテナ SageMaker を使用して LLMsに設定してデプロイする

  • 量子化、テンソル並列処理、連続バッチ処理などの機能を使用してパフォーマンスを最適化する

  • 最適なスループットとレイテンシーのために SageMaker エンドポイントをベンチマークして調整する