ファインチューニングがサポートされている大規模言語モデル - Amazon SageMaker AI

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ファインチューニングがサポートされている大規模言語モデル

Autopilot API を使用すると、ユーザーは Amazon SageMaker JumpStart 対応の大規模言語モデル (LLM) をファインチューニングできます。

注記

エンドユーザーライセンス契約への同意が必要なモデルをファインチューニングする場合は、AutoML を作成する際に EULA への同意を明示的に宣言する必要があります。事前トレーニング済みモデルをファインチューニングすると、元のモデルの重みが変更されるため、ファインチューニングされたモデルをデプロイするときに後で EULA に同意する必要はありません。

AutoML API を使用してファインチューニングジョブを作成するときに EULA に同意する方法については、「AutoML API を使用してモデルをファインチューニングするときに EULA への同意を設定する方法」を参照してください。

各モデルの詳細については、こちらのモデルテーブルで JumpStart モデル ID を検索し、Source 列のリンクを使用してください。これらの詳細には、モデルでサポートされている言語、モデルが示す可能性のあるバイアス、ファインチューニングに使用されるデータセットなどが含まれます。

次の表に、AutoML ジョブでのファインチューニングがサポートされている JumpStart モデルを示します。

JumpStart モデル ID API リクエストの BaseModelName 説明
huggingface-textgeneration-dolly-v2-3b-bf16 Dolly3B

Dolly 3B は、pythia-2.8b をベースとした、パラメータ数が 28 億の指示追従型大規模言語モデルです。指示/レスポンス形式のファインチューニングデータセット databricks-dolly-15k を用いてトレーニングされており、ブレインストーミング、分類、質問と回答、テキスト生成、情報抽出、要約などのタスクを実行できます。
huggingface-textgeneration-dolly-v2-7b-bf16 Dolly7B

Dolly 7B は、pythia-6.9b をベースとした、パラメータ数が 69 億の指示追従型大規模言語モデルです。指示/レスポンス形式のファインチューニングデータセット databricks-dolly-15k を用いてトレーニングされており、ブレインストーミング、分類、質問と回答、テキスト生成、情報抽出、要約などのタスクを実行できます。
huggingface-textgeneration-dolly-v2-12b-bf16 Dolly12B

Dolly 12B は、pythia-12b をベースとした、パラメータ数が 120 億の指示追従型大規模言語モデルです。指示/レスポンス形式のファインチューニングデータセット databricks-dolly-15k を用いてトレーニングされており、ブレインストーミング、分類、質問と回答、テキスト生成、情報抽出、要約などのタスクを実行できます。
huggingface-llm-falcon-7b-bf16 Falcon7B

Falcon 7B は、パラメータ数が 70 億の因果的大規模言語モデルで、厳選されたコーパスで強化された 1 兆 5,000 億個のトークンを用いてトレーニングされています。Falcon-7B は、英語とフランス語のデータでのみトレーニングされており、他の言語に対しては適切に一般化されません。このモデルは大量のウェブデータを用いてトレーニングされているため、オンライン上でよく見られる固定観念やバイアスが伴います。
huggingface-llm-falcon-7b-instruct-bf16 Falcon7BInstruct

Falcon 7B Instruct は、Falcon 7B をベースとした、パラメータ数が 70 億の因果的大規模言語モデルで、チャット/指示形式のデータセットがミックスされた 2 億 5,000 万個のトークンを用いてファインチューニングされています。Falcon 7B Instruct は、主に英語データを用いてトレーニングされており、他の言語に対しては適切に一般化されません。さらに、ウェブという大規模なコーパスを用いてトレーニングされているため、オンライン上で一般的に見られる固定観念やバイアスが伴います。
huggingface-llm-falcon-40b-bf16 Falcon40B

Falcon 40B は、パラメータ数が 400 億の因果的大規模言語モデルで、厳選されたコーパスで強化された 1 兆個のトークンを用いてトレーニングされています。主に英語、ドイツ語、スペイン語、フランス語でトレーニングされており、イタリア語、ポルトガル語、ポーランド語、オランダ語、ルーマニア語、チェコ語、スウェーデン語では機能が制限されています。他の言語に対しては適切に一般化されません。さらに、ウェブという大規模なコーパスを用いてトレーニングされているため、オンライン上で一般的に見られる固定観念やバイアスが伴います。
huggingface-llm-falcon-40b-instruct-bf16 Falcon40BInstruct

Falcon 40B Instruct は、Falcon40B をベースとした、パラメータ数が 400 億の因果的大規模言語モデルで、Baize との混合によってファインチューニングされています。主に英語とフランス語のデータでトレーニングされており、他の言語に対しては適切に一般化されません。さらに、ウェブという大規模なコーパスを用いてトレーニングされているため、オンライン上で一般的に見られる固定観念やバイアスが伴います。
huggingface-text2text-flan-t5-large FlanT5L

Flan-T5 モデルファミリーは、複数のタスクでファインチューニングされ、さらにトレーニングが可能な大規模言語モデルのセットです。これらのモデルは、言語翻訳、テキスト生成、文章の補完、語義の曖昧性解消、要約、質問への回答などのタスクに適しています。Flan T5 L は、多数の言語でトレーニングされた、パラメータ数が 7 億 8,000 万の大規模言語モデルです。Flan T5 L でサポートされている言語のリストについては、JumpStart のモデルテーブルでモデル ID を使って検索を実行し、表示されたモデルの詳細ページを参照してください。
huggingface-text2text-flan-t5-xl FlanT5XL

Flan-T5 モデルファミリーは、複数のタスクでファインチューニングされ、さらにトレーニングが可能な大規模言語モデルのセットです。これらのモデルは、言語翻訳、テキスト生成、文章の補完、語義の曖昧性解消、要約、質問への回答などのタスクに適しています。Flan T5 XL は、多数の言語でトレーニングされた、パラメータ数が 30 億の大規模言語モデルです。Flan T5 XL でサポートされている言語のリストについては、JumpStart のモデルテーブルでモデル ID を使って検索を実行し、表示されたモデルの詳細ページを参照してください。
huggingface-text2text-flan-t5-xxll FlanT5XXL

Flan-T5 モデルファミリーは、複数のタスクでファインチューニングされ、さらにトレーニングが可能な大規模言語モデルのセットです。これらのモデルは、言語翻訳、テキスト生成、文章の補完、語義の曖昧性解消、要約、質問への回答などのタスクに適しています。Flan T5 XXL はパラメータ数が 110 億のモデルです。Flan T5 XXL でサポートされている言語のリストについては、JumpStart のモデルテーブルでモデル ID を使って検索を実行し、表示されたモデルの詳細ページを参照してください。
meta-textgeneration-llama-2-7b Llama2-7B

Llama 2 は、事前にトレーニングされ、かつファインチューニングされた生成テキストモデルのコレクションで、パラメータ数の規模は 70 億 ～ 700 億です。Llama2-7B は、英語での使用を目的としたパラメータ数が 70 億のモデルであり、さまざまな自然言語生成タスクに適応できます。
meta-textgeneration-llama-2-7b-f Llama2-7BChat

Llama 2 は、事前にトレーニングされ、かつファインチューニングされた生成テキストモデルのコレクションで、パラメータ数の規模は 70 億 ～ 700 億です。Llama2-7B は、対話のユースケースに最適化されたパラメータ数が 70 億のチャットモデルです。
meta-textgeneration-llama-2-13b Llama2-13B

Llama 2 は、事前にトレーニングされ、かつファインチューニングされた生成テキストモデルのコレクションで、パラメータ数の規模は 70 億 ～ 700 億です。Llama2-13B は、英語での使用を目的としたパラメータ数が 130 億のモデルであり、さまざまな自然言語生成タスクに適応できます。
meta-textgeneration-llama-2-13b-f Llama2-13BChat

Llama 2 は、事前にトレーニングされ、かつファインチューニングされた生成テキストモデルのコレクションで、パラメータ数の規模は 70 億 ～ 700 億です。Llama2-13B は、対話のユースケースに最適化されたパラメータ数が 130 億のチャットモデルです。
huggingface-llm-mistral-7b Mistral7B

Mistral 7B は、パラメータ数が 70 億の、コードおよび汎用目的の英語テキスト生成モデルです。テキストの要約、分類、テキストの補完、コードの補完など、さまざまなユースケースで使用できます。
huggingface-llm-mistral-7b-instruct Mistral7BInstruct

Mistral 7B Instruct は、会話のユースケース向けに Mistral 7B をファインチューニングしたバージョンです。このモデルは、英語で公開されているさまざまな会話データセットを使用して調整されています。
huggingface-textgeneration1-mpt-7b-bf16 MPT7B

MPT 7B は、67 億のパラメータを持つデコーダースタイルのトランスフォーマー大規模言語モデルで、英語のテキストとコードのトークン 1 兆個を用いてゼロから事前トレーニングされています。長いコンテキストの処理に適しています。
huggingface-textgeneration1-mpt-7b-instruct-bf16 MPT7BInstruct

MPT 7B Instruct は、短い形式の指示追従タスク向けのモデルです。このモデルは、databricks-dolly-15k および Anthropic Helpful and Harmless (HH-RLHF) データセットから派生したデータセットを用いて MPT 7B をファインチューニングすることで構築されています。