SageMaker Canvas 中的生成式 AI 基礎模型 - Amazon SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

SageMaker Canvas 中的生成式 AI 基礎模型

Amazon SageMaker Canvas 提供生成式 AI 基礎模型，您可以使用這些模型開始對話聊天。這些內容產生模型會根據大量的文字資料進行訓練，以學習單字之間的統計模式和關係，並且可以產生與訓練文字在統計學上類似的連貫文字。若要使用此功能來提高生產力，請執行下列操作：

  • 產生內容，例如文件大綱、報告和部落格

  • 將來自大型語料庫的文字進行摘要，例如法說會文字記錄、年度報告或使用者手冊章節

  • 從大型文字段落，例如會議筆記或敘述中提取洞察和關鍵要點

  • 改善文字並抓取語法錯誤或拼寫錯誤

基礎模型是 Amazon SageMaker JumpStart 和 Amazon Bedrock 大型語言模型 (LLM) 的組合。Canvas 提供下列模型：

模型 Type 描述

Amazon Titan

 Amazon Bedrock 模型

Amazon Titan 是功能強大的一般用途語言模型，可用於摘要、文字產生 (例如建立部落格文章)、分類、開放式問答集和資訊擷取等任務。它在大型資料集上進行了預先訓練，因此適用於複雜的任務和推理。為了繼續支援負責任地使用 AI 的最佳實務，Amazon Titan 基礎模型是為了偵測和移除資料中的有害內容、拒絕使用者輸入中的不適當內容，以及篩選包含不適當內容 （例如仇恨語音、褻瀆和暴力） 的模型輸出。

Anthropic Claude Instant

 Amazon Bedrock 模型

Anthropic 的 Claude Instant 是一個更快、更具成本效益，但能力依舊相當好的模型。該模型可以處理一系列任務，包括一般對話、文字分析、摘要和文件問題答案。Claude Instant 就像 Claude-2 一樣，在每個提示中最多可以支援 100,000 個權杖，等同於大約 200 頁的資訊。

Anthropic Claude-2

 Amazon Bedrock 模型

Claude-2 是 Anthropic 最強大的模型，擅長各種包括複雜的對話和創意內容產生到遵循詳細說明等任務。Claude-2 可以在每個提示中最多支援 100,000 個權杖，等同於大約 200 頁的資訊。與以前的版本相比，它可以產生更長的回應。它支援的使用案例諸如問題回答、資訊擷取、移除 PII、內容產生、多重選擇分類、角色扮演、比較文字、摘要以及有引用的文件問答。

Falcon-7B-Instruct

 JumpStart 模型

Falcon-7B-Instruct 具有 70 億個參數，並在聊天和指導資料集的混合中進行微調。它適合作為虛擬助手，並且在遵循說明或進行對話時表現最佳。由於該模型是針對大量英語網路資料進行訓練，因此有線上常見的刻板印象和偏見，並且不適合英語以外的語言。與 Falcon-40B-Instruct 相比，Falcon-7B-Instruct 是一個更小、更精簡的模型。

Falcon-40B-Instruct

 JumpStart 模型

Falcon-40B-Instruct 具有 400 億個參數，並在聊天和指導資料集的混合物進行了微調。它適合作為虛擬助手，並且在遵循說明或進行對話時表現最佳。由於該模型是針對大量英語網路資料進行訓練，因此有線上常見的刻板印象和偏見，並且不適合英語以外的語言。與 Falcon-7B-Instruct 相比，Falcon-40B-Instruct 是一個更大、功能更強的模型。

Jurassic-2 Mid

 Amazon Bedrock 模型

Jurassic-2 Mid 是高效能的文字產生模型，以大量文字組合 （截至 2022 年中） 進行訓練。它具有高度通用的一般用途，並且能夠撰寫類似人類的文字並解決複雜的任務，例如問題答案、文字分類等。該模型提供零樣本指示功能，允許僅使用自然語言進行定向，而無需使用範例。它的執行速度比其前身 Jurassic-1 模型快 30％。

Jurassic-2 Mid 是 AI21 的中型模型號，經過精心設計，旨在在卓越的品質和實惠性之間取得適當平衡。

Jurassic-2 Ultra

 Amazon Bedrock 模型

Jurassic-2 Ultra 是一種高效能的文字產生模型，在大量文字組合 （截至 2022 年中） 上進行訓練。它具有高度通用的一般用途，並且能夠撰寫類似人類的文字並解決複雜的任務，例如問題答案、文字分類等。該模型提供零樣本指示功能，允許僅使用自然語言進行定向，而無需使用範例。它的執行速度比其前身 Jurassic-1 模型快 30％。

與 Jurassic-2 中期相比，Jurassic-2 Ultra 規模稍大，是功能更強大的模型。

Llama-2-7b-Chat

 JumpStart 模型

Llama-2-7b-Chat 是 Meta 的基礎模型，適合進行有意義的連貫對話、產生新內容，以及從現有備註擷取答案。由於模型是針對大量英文網際網路資料進行訓練，因此會帶來常見於線上的偏差和限制，最適合英文的任務。

Llama-2-13B-Chat

 Amazon Bedrock 模型

在網際網路資料初始訓練後，Meta 的 Llama-2-13B-Chat 已根據對話資料進行微調。它針對自然對話和互動聊天功能進行了最佳化，使其非常適合做為對話客服人員。與較小的 Llama-2-7b-Chat, Llama-2-13B-Chat 具有近兩倍的參數，允許它記住更多內容並產生更細微的對話回應。如同 Llama-2-7b-Chat, Llama-2-13B-Chat 已針對英文資料進行訓練，最適合英文任務。

Llama-2-70B-Chat

 Amazon Bedrock 模型

與 Llama-2-7b-Chat 和 Llama-2-13B-Chat 一樣，Meta 的 Llama-2-70B-Chat 模型已針對參與自然且有意義的對話進行最佳化。透過 700 億個參數，相較於更精簡的模型版本，此大型對話模型可以記住更廣泛的內容，並產生高度一致的回應。不過，這會導致回應速度變慢和資源需求增加。Llama-2-70B-Chat 已針對大量英文網際網路資料進行訓練，最適合英文任務。

Mistral-7B

 JumpStart 模型

Mistral-7B by Mistral.AI 是絕佳的一般用途語言模型，適用於各種自然語言 (NLP) 任務，例如文字產生、摘要和問題回答。它利用分組查詢注意力 (GQA)，可實現更快的推論速度，使其與具有兩倍或三倍參數的模型相比效能。其經過了文字資料混合的訓練，包括英文書籍、網站和科學論文，因此最適合英文任務。

Mistral-7B-Chat

 JumpStart 模型

Mistral-7B-Chat 是 Mistral.AI 以 Mistral-7B 為基礎的對話模型。雖然 Mistral-7B 最適合一般 NLP 任務，但 Mistral-7B-Chat 已進一步微調對話資料，以最佳化其自然且引人入勝的聊天功能。因此，Mistral-7B-Chat 會產生更多類似人類的回應，並記住先前回應的內容。如同 Mistral-7B，此模型最適合英文任務。

MPT-7B-Instruct

 JumpStart 模型

MPT-7B-Instruct 是一種用於跟隨任務的長形指令的模型，可以幫助您完成寫作任務，包括文字摘要和問答，以節省您的時間和精力。這個模型是針對大量微調資料進行訓練，可以處理較大的輸入，例如複雜的文件。當您要處理大型文字內文或希望模型產生較長的回應時，請使用此模型。

Amazon Bedrock 的基礎模型目前僅適用於美國東部 (維吉尼亞北部) 和美國西部 (奧勒岡) 區域。此外，使用 Amazon Bedrock 的基礎模型時，會根據每個模型供應商指定的輸入權杖和輸出權杖數量向您收費。如需更多資訊，請參閱 Amazon Bedrock 定價頁面。JumpStart 基礎模型部署在 SageMaker AI Hosting 執行個體上，並根據使用的執行個體類型，向您收取使用期間的費用。如需不同執行個體類型成本的詳細資訊，請參閱 Amazon SageMaker SageMaker AI 託管：即時推論一節。

文件查詢是一項額外功能，您可以使用 Amazon Kendra 從存放在索引中的文件查詢和取得洞察。您可以使用此功能，從這些文件的前後關聯產生內容，並獲得特定於您的商業使用案例的回應，而非針對已訓練基礎模型之大量資料的一般回應。如需 Amazon Kendra 索引的更多相關資訊，請參閱 Amazon Kendra 開發人員指南。

如果您想要從針對資料和使用案例自訂的任何基礎模型取得回應，您可以微調基礎模型。如需進一步了解，請參閱 微調基礎模型。

如果您想要透過應用程式或網站從 Amazon SageMaker JumpStart 基礎模型取得預測，您可以將模型部署到 SageMaker AI 端點。SageMaker AI 端點託管模型，您可以透過應用程式程式碼將請求傳送至端點，以接收模型的預測。如需詳細資訊，請參閱將模型部署到端點。