支持进行微调的大型语言模型 - 亚马逊 SageMaker AI

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

支持进行微调的大型语言模型

使用 Autopilot API，用户可以微调由 Amazon 提供支持的大型语言模型 (LLMs)。 SageMaker JumpStart

注意

对于需要接受最终用户许可协议的微调模型，您必须在创建 AutoML 作业时明确声明接受 EULA。请注意，在对预训练模型进行微调后，原始模型的权重将被更改，因此在部署微调后的模型时，您无需随后接受 EULA。

有关使用 AutoML API 创建微调作业时如何接受 EULA 的信息，请参阅 使用 AutoML API 微调模型时如何设置 EULA 接受度。

您可以在下方的模型表中搜索您的JumpStart 模型 ID，然后点击来源列中的链接，找到每个模型的完整详细信息。这些细节可能包括模型支持的语言、可能表现出的偏差、用于微调的数据集等。

下表列出了您可以通过 AutoML 作业进行微调的支持的 JumpStart 模型。

JumpStart 型号 API 请求中的 BaseModelName 描述
huggingface-textgeneration-dolly-v2-3b-bf16 Dolly3B

Dolly 3B 是基于 pythia-2.8b 的 28 亿参数指令跟随大型语言模型。它在指令/应答微调数据集 databricks-dolly-15k 上进行了训练，可以执行头脑风暴、分类、问答、文本生成、信息提取和摘要等任务。
huggingface-textgeneration-dolly-v2-7b-bf16 Dolly7B

Dolly 7B 是基于 pythia-6.9b 的 69 亿参数指令跟随大型语言模型。它在指令/应答微调数据集 databricks-dolly-15k 上进行了训练，可以执行头脑风暴、分类、问答、文本生成、信息提取和摘要等任务。
huggingface-textgeneration-dolly-v2-12b-bf16 Dolly12B

Dolly 12B 是基于 pythia-12b 的 120 亿参数指令跟随大型语言模型。它在指令/应答微调数据集 databricks-dolly-15k 上进行了训练，可以执行头脑风暴、分类、问答、文本生成、信息提取和摘要等任务。
huggingface-llm-falcon-7b-bf16 Falcon7B

Falcon 7B 是一个 70 亿参数的因果大型语言模型，以 15000 亿词库为基础进行训练，并通过精心策划的语料库进行增强。Falcon-7B 仅在英语和法语数据基础上进行了训练，无法适当地推广到其他语言。由于该模型是在大量网络数据的基础上训练出来的，因此带有网上常见的刻板印象和偏见。
huggingface-llm-falcon-7b-instruct-bf16 Falcon7BInstruct

Falcon 7B Instruct 是一个基于 Falcon 7B 的 70 亿参数因果大型语言模型，并在 2.5 亿词组的聊天/指令混合数据集上进行了微调。Falcon 7B Instruct 主要是在英语数据上进行训练的，并不能适当地推广到其他语言。此外，由于它是在具有代表性的大规模网络语料库中训练出来的，因此带有网上常见的刻板印象和偏见。
huggingface-llm-falcon-40b-bf16 Falcon40B

Falcon 40B 是拥有 400 亿个参数的因果大型语言模型，以 1 万亿个词库为基础进行训练，并通过精心策划的语料库进行增强。它主要接受英语、德语、西班牙语和法语训练，在意大利语、葡萄牙语、波兰语、荷兰语、罗马尼亚语、捷克语和瑞典语方面能力有限。它不能适当地推广到其他语言。此外，由于它是在具有代表性的大规模网络语料库中训练出来的，因此带有网上常见的刻板印象和偏见。
huggingface-llm-falcon-40b-instruct-bf16 Falcon40BInstruct

Falcon 40B Instruct 是一个基于 Falcon40B 的 400 亿参数因果大型语言模型，并在 Baize 的混合基础上进行了微调。它主要是在英语和法语数据上进行训练的，并不能适当地推广到其他语言。此外，由于它是在具有代表性的大规模网络语料库中训练出来的，因此带有网上常见的刻板印象和偏见。
huggingface-text2text-flan-t5-large FlanT5L

这些区域有：Flan-T5模型家族是一组大型语言模型，这些模型针对多项任务进行了微调，并且可以进一步训练。这些模型非常适合语言翻译、文本生成、句子补全、词义消歧、摘要或问题解答等任务。Flan T5 L 是一个 7.8 亿参数的大型语言模型，以多种语言为基础进行训练。您可以在模型表中按型号 ID 搜索的模型详细信息中找到 Flan T5 L 支持的语言列表。 JumpStart
huggingface-text2text-flan-t5-xl FlanT5XL

这些区域有：Flan-T5模型家族是一组大型语言模型，这些模型针对多项任务进行了微调，并且可以进一步训练。这些模型非常适合语言翻译、文本生成、句子补全、词义消歧、摘要或问题解答等任务。Flan T5 XL 是一个 30 亿参数的大型语言模型，经过多种语言的训练。您可以在模型表中按型号 ID 搜索的模型详细信息中找到 Flan T5 XL 支持的语言列表。 JumpStart
huggingface-text2text-flan-t5-xxll FlanT5XXL

这些区域有：Flan-T5模型家族是一组大型语言模型，这些模型针对多项任务进行了微调，并且可以进一步训练。这些模型非常适合语言翻译、文本生成、句子补全、词义消歧、摘要或问题解答等任务。Flan T5 XXL 是一个 110 亿参数模型。您可以在模型表中按型号 ID 搜索的模型详细信息中找到 Flan T5 XXL 支持的语言列表。 JumpStart
meta-textgeneration-llama-2-7b Llama2-7B

Llama 2 是一组经过预训练和微调的文本生成模型，参数规模从 70 亿到 700 亿不等。Llama2-7B 是用于英语的 70 亿参数模型，可适用于各种自然语言生成任务。
meta-textgeneration-llama-2-7b-f Llama2-7BChat

Llama 2 是一组经过预训练和微调的文本生成模型，参数规模从 70 亿到 700 亿不等。Llama2-7B 是 70 亿参数聊天模型，针对对话使用场景进行了优化。
meta-textgeneration-llama-2-13b Llama2-13B

Llama 2 是一组经过预训练和微调的文本生成模型，参数规模从 70 亿到 700 亿不等。Llama2-13B 是用于英语的 130 亿参数模型，适用于各种自然语言生成任务。
meta-textgeneration-llama-2-13b-f Llama2-13BChat

Llama 2 是一组经过预训练和微调的文本生成模型，参数规模从 70 亿到 700 亿不等。Llama2-13B 是 130 亿参数聊天模型，针对对话使用场景进行了优化。
huggingface-llm-mistral-7b Mistral7B

Mistral 7B 是一个 70 亿参数代码和通用英语文本生成模型。它可用于各种使用场景，包括文本摘要、分类、文本补全或代码补全。
huggingface-llm-mistral-7b-instruct Mistral7BInstruct

Mistral 7B Instruct 是 Mistral 7B 的微调版本，适用于对话使用场景。它是利用各种公开的英语会话数据集专门设计的。
huggingface-textgeneration1-mpt-7b-bf16 MPT7B

MPT 7B 是一个具有 67 亿个参数的解码器式转换器大型语言模型，在 1 万亿个英语文本和代码词块上从头开始预训练。它可以处理较长的上下文。
huggingface-textgeneration1-mpt-7b-instruct-bf16 MPT7BInstruct

MPT 7B Instruct 是一种针对任务的简短指导模式。它是通过在 databricks-dolly-15k 和 Anthropic Helpful and Harmless (HH-RLHF) 数据集基础上对 MPT 7B 进行微调而构建的。