Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Importazione di un modello personalizzato in Amazon Bedrock
Puoi creare un modello personalizzato in Amazon Bedrock utilizzando la funzione Amazon Bedrock Custom Model Import per importare modelli Foundation che hai personalizzato in altri ambienti, come Amazon SageMaker AI. Ad esempio, potresti avere un modello che hai creato in Amazon SageMaker AI con pesi di modello proprietari. Ora puoi importare quel modello in Amazon Bedrock e quindi sfruttare le funzionalità di Amazon Bedrock per effettuare chiamate di inferenza al modello.
Puoi utilizzare un modello importato con velocità effettiva su richiesta. Utilizzate le InvokeModelWithResponseStreamoperazioni InvokeModelo per effettuare chiamate di inferenza al modello. Per ulteriori informazioni, consulta Invia una sola richiesta con InvokeModel.
Amazon Bedrock Custom Model Import è supportato nelle seguenti regioni (per ulteriori informazioni sulle regioni supportate in Amazon Bedrock, consulta Endpoint e quote Amazon Bedrock):
-
Stati Uniti orientali (Virginia settentrionale)
-
US West (Oregon)
Nota
Assicurati che l'importazione e l'utilizzo dei modelli in Amazon Bedrock siano conformi ai termini o alle licenze applicabili ai modelli.
Non puoi utilizzare Custom Model Import con le seguenti funzionalità di Amazon Bedrock.
Inferenza in batch
AWS CloudFormation
Con Custom Model Import è possibile creare un modello personalizzato che supporti i seguenti modelli.
-
Modello di formazione preliminare perfezionato o continuo: è possibile personalizzare i pesi del modello utilizzando dati proprietari, ma mantenendo la configurazione del modello base.
-
Adattamento È possibile personalizzare il modello in base al proprio dominio per i casi d'uso in cui il modello non viene generalizzato correttamente. L'adattamento del dominio modifica un modello per generalizzarlo per un dominio di destinazione e gestire le discrepanze tra i domini, ad esempio un settore finanziario che desidera creare un modello che generalizzi bene i prezzi. Un altro esempio è l'adattamento linguistico. Ad esempio, è possibile personalizzare un modello per generare risposte in portoghese o tamil. Molto spesso, ciò comporta modifiche al vocabolario del modello che si sta utilizzando.
-
Preformato partendo da zero: oltre a personalizzare i pesi e il vocabolario del modello, potete anche modificare i parametri di configurazione del modello, come il numero di punti di attenzione, i livelli nascosti o la lunghezza del contesto.
Argomenti
Architetture supportate
Il modello importato deve essere in una delle seguenti architetture.
-
Mistral— Un'architettura basata solo su decoder Transformer con Sliding Window Attention (SWA) e opzioni per Grouped Query Attention (GQA). Per ulteriori informazioni, consulta Mistral
nella documentazione di Hugging Face. Nota
Amazon Bedrock Custom Model Import non supporta Mistral Nemo
in questo momento. -
Mixtral— Un modello di trasformatore con solo decoder con pochi modelli Mixture of Experts (MoE). Per ulteriori informazioni, consulta Mixtral
nella documentazione di Hugging Face. -
Flan — Una versione migliorata dell'architettura T5, un modello di trasformatore basato su encoder-decoder. Per ulteriori informazioni, consulta Flan T5
nella documentazione di Hugging Face. -
Llama 2, Llama3, Llama3.1, Llama3.2e Llama 3.3— Una versione migliorata di Llama con Grouped Query Attention (GQA). Per ulteriori informazioni, consulta Llama 2
, Llama 3 , Llama 3.1 , Llama 3.2 , e Llama 3.3 nel Hugging Face documentazione.
Nota
Le dimensioni dei pesi dei modelli importati devono essere inferiori a 100 GB per i modelli multimodali e a 200 GB per i modelli testuali.
Amazon Bedrock supporta la versione 4.45.2 del trasformatore. Assicurati di utilizzare la versione 4.45.2 del trasformatore durante la messa a punto del modello.
Fonte di importazione
Importi un modello in Amazon Bedrock creando un processo di importazione del modello nella console o nell'API Amazon Bedrock. Nel job specifichi l'URI di Amazon S3 per l'origine dei file del modello. In alternativa, se hai creato il modello in Amazon SageMaker AI, puoi specificare il modello di SageMaker intelligenza artificiale. Durante l'addestramento del modello, il processo di importazione rileva automaticamente l'architettura del modello.
Se importi da un bucket Amazon S3, devi fornire i file del modello nel Hugging Face formato dei pesi. È possibile creare i file utilizzando la libreria di trasformatori Hugging Face. Per creare file modello per un Llama modello, vedere convert_llama_weights_to_hf.py
Per importare il modello da Amazon S3, sono necessari almeno i seguenti file creati dalla libreria di trasformatori Hugging Face.
-
.safetensor: i pesi del modello in formato Safetensor. Safetensors è un formato creato da Hugging Face che memorizza i pesi di un modello come tensori. È necessario memorizzare i tensori del modello in un file con estensione.
.safetensorsPer ulteriori informazioni, vedete Safetensors.Per informazioni sulla conversione dei pesi dei modelli nel formato Safetensor, consultate Convertire i pesi in sensori di sicurezza. Nota
Attualmente, Amazon Bedrock supporta solo pesi dei modelli con FP32 e FP16 BF16 precisione. Amazon Bedrock rifiuterà i pesi dei modelli se li fornisci con qualsiasi altra precisione. Internamente Amazon Bedrock convertirà FP32 i modelli in modo BF16 preciso.
Amazon Bedrock non supporta l'importazione di modelli quantizzati.
config.json: per esempi, consulta e. LlamaConfigMistralConfig
Nota
Amazon Bedrock sostituisce llama3
rope_scalingvalore con i seguenti valori:-
original_max_position_embeddings=8192 -
high_freq_factor=4 -
low_freq_factor=1 -
factor=8
-
-
tokenizer_config.json Per un esempio, vedi. LlamaTokenizer
tokenizer.json
tokenizer.model
Tokenizzatori supportati
Amazon Bedrock Custom Model Import supporta i seguenti tokenizzatori. Puoi utilizzare questi tokenizzatori con qualsiasi modello.
Tokenizzatore T5
T5 TokenizerFast
LlamaTokenizer
LlamaTokenizerFast
CodeLlamaTokenizer
CodeLlamaTokenizerFast
GPT2Tokenizzatore
GPT2TokenizerFast
GPTNeoXTokenizer
GPTNeoXTokenizerVeloce
PreTrainedTokenizer
PreTrainedTokenizerFast
