Importazione di un modello personalizzato in Amazon Bedrock - Amazon Bedrock
Architetture supportateFonte di importazioneImportazione di un modello

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Importazione di un modello personalizzato in Amazon Bedrock

Custom Model Import è in versione di anteprima per Amazon Bedrock ed è soggetta a modifiche.

Puoi creare un modello personalizzato in Amazon Bedrock utilizzando la funzione Custom Model Import per importare modelli Foundation che hai personalizzato in altri ambienti, come Amazon SageMaker. Ad esempio, potresti avere un modello che hai creato in Amazon SageMaker con pesi di modello proprietari. Ora puoi importare quel modello in Amazon Bedrock e quindi sfruttare le funzionalità di Amazon Bedrock per effettuare chiamate di inferenza al modello.

Puoi utilizzare un modello importato con velocità effettiva su richiesta. Utilizzate le InvokeModelWithResponseStreamoperazioni InvokeModelo per effettuare chiamate di inferenza al modello. Per ulteriori informazioni, consulta Invia un unico prompt con le operazioni InvokeModel API.

Nota

Per la versione di anteprima, Custom Model Import è disponibile solo nelle regioni Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon) AWS . Non puoi utilizzare Custom Model Import con le seguenti funzionalità di Amazon Bedrock.

  • Agenti Amazon Bedrock

  • Basi di conoscenza di Amazon Bedrock

  • Parapetti Amazon Bedrock

  • Inferenza in batch

  • AWS CloudFormation

Prima di poter utilizzare Custom Model Import, è necessario richiedere un aumento della Imported models per account quota. Per ulteriori informazioni, consulta la sezione Richiesta di un aumento di quota.

Con Custom Model Import puoi creare un modello personalizzato che supporti i seguenti modelli.

  • Modello di formazione preliminare perfezionato o continuo: è possibile personalizzare i pesi del modello utilizzando dati proprietari, ma mantenendo la configurazione del modello base.

  • Adattamento È possibile personalizzare il modello in base al proprio dominio per i casi d'uso in cui il modello non viene generalizzato correttamente. L'adattamento del dominio modifica un modello per generalizzarlo per un dominio di destinazione e gestire le discrepanze tra i domini, ad esempio un settore finanziario che desidera creare un modello che generalizzi bene i prezzi. Un altro esempio è l'adattamento linguistico. Ad esempio, è possibile personalizzare un modello per generare risposte in portoghese o tamil. Molto spesso, ciò comporta modifiche al vocabolario del modello che si sta utilizzando.

  • Preformato partendo da zero: oltre a personalizzare i pesi e il vocabolario del modello, potete anche modificare i parametri di configurazione del modello, come il numero di punti di attenzione, i livelli nascosti o la lunghezza del contesto.

Architetture supportate

Il modello importato deve essere in una delle seguenti architetture.

  • Mistral— Un'architettura basata solo su decoder Transformer con Sliding Window Attention (SWA) e opzioni per Grouped Query Attention (). GQA Per ulteriori informazioni, consulta Mistral nella documentazione di Hugging Face.

  • Flan — Una versione migliorata dell'architettura T5, un modello di trasformatore basato su encoder-decoder. Per ulteriori informazioni, consulta Flan T5nella documentazione di Hugging Face.

  • Llama 2 e Llama3— Una versione migliorata di Llama con Grouped Query Attention (GQA). Per ulteriori informazioni, consulta Llama 2 e Llama 3nella documentazione di Hugging Face.

Fonte di importazione

Importi un modello in Amazon Bedrock creando un processo di importazione del modello nella console Amazon Bedrock. Nel processo si specifica Amazon S3 come origine URI dei file del modello. In alternativa, se hai creato il modello in Amazon SageMaker, puoi specificare il SageMaker modello. Durante l'addestramento del modello, il processo di importazione rileva automaticamente l'architettura del modello.

Se importi da un bucket Amazon S3, devi fornire i file del modello nel Hugging Face formato dei pesi. È possibile creare i file utilizzando la libreria di trasformatori Hugging Face. Per creare file modello per un Llama modello, vedere convert_llama_weights_to_hf.py. Per creare i file per un Mistral AI modello, vedere convert_mistral_weights_to_hf.py.

Per importare il modello da Amazon S3, sono necessari almeno i seguenti file creati dalla libreria di trasformatori Hugging Face.

Importazione di un modello

La procedura seguente mostra come creare un modello personalizzato importando un modello già personalizzato. Il processo di importazione del modello può richiedere diversi minuti. Durante il processo di importazione, Amazon Bedrock verifica che il modello utilizzi un'architettura di modello compatibile.

Per inviare un processo di importazione del modello, procedi nel seguente modo.

  1. Richiedete un aumento della Imported models per account quota. Per ulteriori informazioni, consulta la sezione Richiesta di un aumento di quota.

  2. Se stai importando i file del modello da Amazon S3, converti il modello in Hugging Face .

    1. Se il tuo modello è un Mistral AI modello, usa convert_mistral_weights_to_hf.py.

    2. Se il tuo modello è un Llama modello, vedi convert_llama_weights_to_hf.py.

    3. Carica i file del modello in un bucket Amazon S3 nel tuo account. AWS Per ulteriori informazioni, consulta Caricare un oggetto nel bucket.

  3. Accedi all' AWS Management Console utilizzo di un IAMruolo con le autorizzazioni di Amazon Bedrock e apri la console Amazon Bedrock all'indirizzo. https://console.aws.amazon.com/bedrock/

  4. Scegli Modelli importati in Modelli Foundation dal riquadro di navigazione a sinistra.

  5. Scegli la scheda Modelli.

  6. Scegliere Import model (Importa modello).

  7. Nella scheda Importati, scegli Importa modello per aprire la pagina Importa modello.

  8. Nella sezione Dettagli del modello, procedi come segue:

    1. In Nome modello inserite un nome per il modello.

    2. (Facoltativo) Per associare i tag al modello, espandi la sezione Tag e seleziona Aggiungi nuovo tag.

  9. Nella sezione Importa nome del lavoro, effettuate le seguenti operazioni:

    1. In Job name immettete un nome per il processo di importazione del modello.

    2. (Facoltativo) Per associare i tag al modello personalizzato, espandi la sezione Tag e seleziona Aggiungi nuovo tag.

  10. Nelle impostazioni di importazione del modello, selezionate le opzioni di importazione che desiderate utilizzare.

    • Se stai importando i tuoi file di modello da un bucket Amazon S3, scegli il bucket Amazon S3 e inserisci la posizione Amazon S3 nella posizione S3. Facoltativamente, puoi scegliere Browse S3 per scegliere la posizione del file.

    • Se stai importando il tuo modello da Amazon SageMaker, scegli il SageMaker modello Amazon e poi scegli il SageMaker modello che desideri importare nei SageMaker modelli.

  11. Nella sezione Accesso al servizio, seleziona una delle seguenti opzioni:

    • Crea e usa un nuovo ruolo di servizio: immetti un nome per il ruolo di servizio.

    • Usa un ruolo di servizio esistente: seleziona un ruolo di servizio nell'elenco a discesa. Per visualizzare le autorizzazioni necessarie al tuo ruolo di servizio esistente, scegli Visualizza i dettagli delle autorizzazioni.

      Per ulteriori informazioni sulla configurazione di un ruolo di servizio con le autorizzazioni appropriate, consulta. Creare un ruolo di servizio per l'importazione del modello

  12. Seleziona Importa.

  13. Nella pagina Modelli personalizzati, scegli Importati.

  14. Nella sezione Lavori, controlla lo stato del processo di importazione. Il nome del modello che hai scelto identifica il processo di importazione del modello. Il lavoro è completo se il valore di Status per il modello è Complete.

  15. Ottieni l'ID del modello effettuando le seguenti operazioni.

    1. Nella pagina Modelli importati, scegli la scheda Modelli.

    2. Copia il file ARN per il modello che desideri utilizzare dalla ARNcolonna.

  16. Usa il tuo modello per le chiamate di inferenza. Per ulteriori informazioni, consulta Invia un unico prompt con le operazioni InvokeModel API. È possibile utilizzare il modello con velocità effettiva su richiesta.

    Puoi anche usare il tuo modello nel campo di testo di Amazon Bedrock.