Amazon 基岩模型蒸馏支持的型号和区域 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon 基岩模型蒸馏支持的型号和区域

下表显示了教师和学生模型支持哪些模型和 AWS 区域 Amazon Bedrock Model Destillation。

模型提供商 老师 学生 区域
Anthropic Claude 3.5 Sonnet Claude 3 Haiku 美国西部（俄勒冈州）
Meta Llama 3.1 405B Instruct Llama 3.1 70B Instruct 美国西部（俄勒冈州）
Llama 3.1 8B Instruct 美国西部（俄勒冈州）
Llama 3.1 70B Instruct Llama 3.1 8B Instruct 美国西部（俄勒冈州）
Amazon Nova Pro 新星精简版 美国东部（弗吉尼亚州北部）
Nova Pro 新星微电子 美国东部（弗吉尼亚州北部）
注意

  • 您必须购买预配置吞吐量才能从提炼后的模型中进行推理。

  • 对于 Claude 以及 Llama 模型，蒸馏工作在美国西部（俄勒冈州）运行。您可以在美国西部（俄勒冈州）购买预配置吞吐量，也可以将提炼模型复制到其他区域，然后购买预配置吞吐量。

  • 对于 Nova 模特，你在美国东部（弗吉尼亚北部）做蒸馏工作。为了进行推断，您需要购买美国东部（弗吉尼亚北部）的预配置吞吐量。你无法复制 Nova 模特到其他地区。