支持的模型参考

下表显示了 SageMaker AI 支持推理优化的模型，并显示了支持的优化技术。

支持的 Llama 模型
模型名称	支持的量化数据格式	支持预测解码	支持快速模型加载	用于编译的库
Meta Llama 2 13B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Meta Llama 2 13B Chat	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Meta Llama 2 70B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Meta Llama 2 70B Chat	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Meta Llama 2 7B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Meta Llama 2 7B Chat	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Meta Llama 3 70B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Meta Llama 3 70B Instruct	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Meta Llama 3 8B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Meta Llama 3 8B Instruct	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Meta Code Llama 13B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 13B Instruct	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 13B Python	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 34B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 34B Instruct	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 34B Python	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 70B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 70B Instruct	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 70B Python	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 7B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 7B Instruct	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Code Llama 7B Python	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Meta Llama 2 13B Neuron	无	否	否	AWS 神经元
Meta Llama 2 13B Chat Neuron	无	否	否	AWS 神经元
Meta Llama 2 70B Neuron	无	否	否	AWS 神经元
Meta Llama 2 70B Chat Neuron	无	否	否	AWS 神经元
Meta Llama 2 7B Neuron	无	否	否	AWS 神经元
Meta Llama 2 7B Chat Neuron	无	否	否	AWS 神经元
Meta Llama 3 70B Neuron	无	否	否	AWS 神经元
Meta Llama 3 70B Instruct Neuron	无	否	否	AWS 神经元
Meta Llama 3 8B Neuron	无	否	否	AWS 神经元
Meta Llama 3 8B Instruct Neuron	无	否	否	AWS 神经元
Meta Code Llama 70B Neuron	无	否	否	AWS 神经元
Meta Code Llama 7B Neuron	无	否	否	AWS 神经元
Meta Code Llama 7B Python Neuron	无	否	否	AWS 神经元
Meta Llama 3.1 405B FP8	无	支持	是	无
Meta Llama 3.1 405B Instruct FP8	无	支持	是	无
Meta Llama 3.1 70B	INT4-AWQ FP8	支持	是	无
Meta Llama 3.1 70B Instruct	INT4-AWQ FP8	支持	是	无
Meta Llama 3.1 8B	INT4-AWQ FP8	支持	是	无
Meta Llama 3.1 8B Instruct	INT4-AWQ FP8	支持	是	无
Meta Llama 3.1 70B Neuron	无	否	否	AWS 神经元
Meta Llama 3.1 70B Instruct Neuron	无	否	否	AWS 神经元
Meta Llama 3 1 8B Neuron	无	否	否	AWS 神经元
Meta Llama 3.1 8B Instruct Neuron	无	否	否	AWS 神经元

支持的 Mistral 模型
模型名称	支持的量化数据格式	支持预测解码	支持快速模型加载	用于编译的库
Mistral 7B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Mistral 7B Instruct	INT4-AWQ INT8-SmoothQuant FP8	支持	是	AWS 神经元 TensorRT-LLM
Mistral 7B Neuron	无	否	否	AWS 神经元
Mistral 7B Instruct Neuron	无	否	否	AWS 神经元

支持的 Mixtral 模型
模型名称	支持的量化数据格式	支持预测解码	支持快速模型加载	用于编译的库
Mixtral-8x22B-Instruct-v0.1	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Mixtral-8x22B V1	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Mixtral 8x7B	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM
Mixtral 8x7B Instruct	INT4-AWQ INT8-SmoothQuant FP8	支持	是	TensorRT-LLM

支持的模型架构和 EAGLE 类型
模型架构名称	鹰型
LlamaForCausalLM	老鹰 3
Qwen3ForCausalLM	老鹰 3
Qwen3NextForCausalLM	老鹰 2
Qwen3MoeForCausalLM	老鹰 3
Qwen2ForCausalLM	老鹰 3
GptOssForCausalLM	老鹰 3

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

文档惯例

评估性能

评估模型的选项