本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon Titan Multimodal Embeddings G1 模型
Amazon Titan 基金會模型已針對大型資料集進行預先訓練,使其成為功能強大的一般用途模型。按原樣使用它們,或者通過使用您自己的數據對特定任務進行微調模型來自定義它們,而無需註釋大量數據。
有三種類型的 Titan 模型:嵌入,文本生成和圖像生成。
有兩種Titan Multimodal Embeddings G1型號。Titan 多模式嵌入 G1 模型將文本輸入(單詞,短語或可能大單位的文本)轉換為包含文本語義含義的數字表示(稱為嵌入)。雖然此模型不會產生文字,但對於個人化和搜尋等應用程式非常有用。通過比較嵌入,該模型將產生比單詞匹配更具相關性和上下文的響應。多模態嵌入 G1 模型用於像通過文本搜索圖像,通過圖像的相似性,或由文本和圖像的組合用例。它將輸入圖像或文本轉換為包含在同一語義空間中的圖像和文本的語義含義的嵌入。
Titan Text 模型是LLMs為諸如摘要、文字產生、分類、開放式 QnA 和資訊擷取等任務生成的。他們還訓練了許多不同的編程語言,以及富文本格式,如表格JSON,和 .csv 文件,以及其他格式。
Amazon 泰坦多模式嵌入模型 G1-文本模型
模型 ID –
amazon.titan-embed-image-v1
最大輸入文本令牌 — 100
語言-英語(25+ 語言的預覽)
最大輸入影像大小 - 5 MB
輸出向量大小 – 1,024 (預設值)、384、256
推論類型 — 隨需、佈建的輸送量
支援的使用案例 — RAG、文件搜尋、重新排名、分類等。
泰坦文本嵌入 V1 需要作為輸入一個非空字符串,最多 8,192 個令牌,並返回 1,024 維嵌入。英語中的字符與令牌比例為 4.6 字符/令牌。RAG使用案例注意事項:雖然 Titan 文字嵌入 V2 最多可容納 8,192 個記號,但我們建議將文件分割成邏輯區段 (例如段落或區段)。
內嵌長度
設定自訂內嵌長度是選擇性的。內嵌的預設長度為 1024 個字元,適用於大多數使用案例。內嵌長度可以設定為 256、384 或 1024 個字元。較大的內嵌大小會產生更詳細的回應,但也會增加運算時間。較短的內嵌長度較不詳細,但會縮短回應時間。
# EmbeddingConfig Shape { 'outputEmbeddingLength':
int
// Optional, One of: [256, 512, 1024], default: 1024 } # Updated API Payload Example body = json.dumps({ "inputText": "hi", "inputImage": image_string, "embeddingConfig": { "outputEmbeddingLength": 256 } })
微調
輸入到 Amazon Titan Multimodal Embeddings G1 微調是圖像文本對。
圖像格式:PNG,JPEG
輸入影像大小限制:5 MB
影像尺寸:最小 128 像素,最大:4,096 像素
標題中令牌的最大數量:100
訓練資料集大小範圍:1000 - 500,000
驗證資料集大小範圍:8 - 50,000
字幕長度 (以字元為單位):0 - 2,560
每張影像的總像素數上限:2048*2048*3
長寬比 (w/h):最小:0.25,最大:4
準備資料集
對於訓練資料集,請建立包含多JSON行的.jsonl
檔案。每一JSON行都包含類似 Sageemaker 增強資訊清單格式的image-ref
和caption
屬性。驗證資料集是必要的。目前不支援自動字幕。
{"image-ref": "s3://bucket-1/folder1/0001.png", "caption": "some text"} {"image-ref": "s3://bucket-1/folder2/0002.png", "caption": "some text"} {"image-ref": "s3://bucket-1/folder1/0003.png", "caption": "some text"}
對於訓練和驗證資料集,您將建立具有多JSON行的.jsonl
檔案。
Amazon S3 路徑必須位於您已為 Amazon 基岩提供權限的相同資料夾中,方法是將IAM政策附加到 Amazon 基岩服務角色來存取資料。如需授與訓練資料IAM原則的詳細資訊,請參閱授與訓練資料的自訂工作存取權。
超參數
這些值可以針對 Multimodal Embeddings 模型超參數進行調整。預設值適用於大多數使用案例。
-
學習率 - (最小/最大學習速率) — 預設:5.00E-05,最小值:5.00E-08,最大值:1
-
批次大小 - 有效批次大小 — 預設值:576,最小值:256,最大值:9,216
-
最大 epoch — 預設值:"auto",最小值:1,最大值:100