Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Risorse per l'utilizzo di Hugging Face con Amazon AI SageMaker
Amazon SageMaker AI consente ai clienti di addestrare, ottimizzare ed eseguire inferenze utilizzando i modelli Hugging Face per il Natural Language Processing (NLP) sull'intelligenza artificiale. SageMaker Puoi utilizzare Hugging Face sia per l’addestramento che per l'inferenza. La sezione seguente fornisce informazioni sui modelli Hugging Face e include materiale di riferimento che puoi usare per imparare a usare Hugging Face with AI. SageMaker
Questa funzionalità è disponibile attraverso lo sviluppo di container AWS per il Deep Learning Hugging Face. Questi container includono la libreria di trasformatori, tokenizer e set di dati Hugging Face, che consente di utilizzare queste risorse per i processi di addestramento e inferenza. Per un elenco completo delle aree e degli URL di immagini disponibili dei container per il Deep Learning, consulta Available Deep Learning Containers Images
Per utilizzare gli Hugging Face Deep Learning Containers con l'SDK SageMaker Python per la formazione, consulta Hugging Face AI Estimator. SageMaker
Per ulteriori informazioni su Hugging Face e sui modelli in esso disponibili, consulta la documentazione su Hugging Face
Addestramento
Per allenarti, usa uno dei migliaia di modelli disponibili in Hugging Face e perfezionali per il tuo caso d'uso con un allenamento aggiuntivo. Con l' SageMaker intelligenza artificiale, puoi utilizzare la formazione standard o sfruttare la formazione SageMaker AI Distributed Data e Model Parallel.
Come altri lavori di SageMaker formazione che utilizzano codice personalizzato, puoi acquisire le tue metriche passando una definizione delle metriche all'SDK Python SageMaker . Per un esempio, vedete Defining Training Metrics (SageMaker Python SDK). Puoi accedere alle metriche acquisite utilizzando CloudWatche come DataFrame Pandas utilizzando il metodo. TrainingJobAnalytics
Come eseguire l'allenamento con lo stimatore Hugging Face
Puoi implementare Hugging Face Estimator per lavori di formazione utilizzando l'SDK AI Python. SageMaker SageMaker Python SDK è una libreria open source per l'addestramento e l'implementazione di modelli di machine learning sull'intelligenza artificiale. SageMaker Per ulteriori informazioni su Hugging Face Estimator, consulta la documentazione di AI SageMaker Python SDK.
Con SageMaker Python SDK, puoi eseguire lavori di formazione utilizzando Hugging Face Estimator nei seguenti ambienti:
-
Amazon SageMaker Studio Classic: Studio Classic è il primo ambiente di sviluppo (IDE) completamente integrato per l'apprendimento automatico (ML). Studio Classic fornisce un'unica interfaccia visiva basata sul Web in cui è possibile eseguire tutte le fasi di sviluppo ML necessarie per:
-
preparare
-
build
-
allenati e sintonizza
-
implementa e gestisci modelli
Per informazioni sull'utilizzo di Jupyter Notebooks in Studio Classic, consulta. Usa i notebook Amazon SageMaker Studio Classic
-
-
SageMakerIstanze notebook: un'istanza Amazon SageMaker Notebook è un'istanza di calcolo di machine learning (ML) che esegue l'app Jupyter Notebook. Questa app consente di eseguire Jupyter Notebooks nell'istanza del notebook per:
-
preparare ed elaborare i dati
-
scrivi codice per addestrare i modelli
-
distribuisci modelli all'hosting SageMaker AI
-
testa o convalida i tuoi modelli senza funzionalità di SageMaker Studio come Debugger, Model Monitoring e un IDE basato sul web
-
-
A livello locale: se disponi di connettività AWS e disponi delle autorizzazioni SageMaker AI appropriate, puoi utilizzare SageMaker Python SDK localmente. Con l'uso locale, puoi avviare lavori di formazione e inferenza a distanza per Hugging Face in AI on. SageMaker AWS Funziona sul tuo computer locale, così come su altri AWS servizi con un SDK SageMaker Python connesso e autorizzazioni appropriate.
Inferenza
Per l'inferenza, puoi utilizzare il tuo modello Hugging Face addestrato o uno dei modelli Hugging Face preaddestrati per implementare un lavoro di inferenza con l'intelligenza artificiale. SageMaker Grazie a questa collaborazione, è sufficiente una sola riga di codice per implementare sia i modelli addestrati che i modelli preaddestrati con intelligenza artificiale. SageMaker Puoi anche eseguire processi di inferenza senza dover scrivere alcun codice di inferenza personalizzato. Con il codice di inferenza personalizzato, puoi personalizzare la logica di inferenza fornendo il tuo script Python.
Come implementare un processo di inferenza utilizzando i container per il Deep Learning Hugging Face
Hai due opzioni per eseguire l'inferenza con l'intelligenza artificiale. SageMaker Puoi eseguire l'inferenza utilizzando un modello che hai addestrato o implementare un modello Hugging Face pre-addestrato.
-
Esegui l'inferenza con il tuo modello addestrato: hai due opzioni per eseguire l'inferenza con il tuo modello addestrato:
-
Esegui l'inferenza con un modello che hai addestrato utilizzando un modello Hugging Face esistente con l'AI SageMaker Hugging Face Deep Learning Containers.
-
Porta il tuo modello Hugging Face esistente e implementalo utilizzando l'intelligenza artificiale. SageMaker
Quando esegui l'inferenza con un modello che hai addestrato con SageMaker AI Hugging Face Estimator, puoi implementare il modello immediatamente dopo il completamento dell'addestramento. Puoi anche caricare il modello addestrato in un bucket Amazon S3 e inserirlo quando esegui l'inferenza in un secondo momento.
Se porti il tuo modello Hugging Face esistente, devi caricare il modello addestrato in un bucket Amazon S3. Quindi si inserisce quel bucket durante l'esecuzione dell'inferenza, come mostrato in Deploy your Hugging Face
Transformers per l'esempio di inferenza. -
-
Esegui l'inferenza con un HuggingFace modello pre-addestrato: puoi utilizzare uno delle migliaia di modelli Hugging Face pre-addestrati per eseguire i tuoi lavori di inferenza senza bisogno di formazione aggiuntiva. Per eseguire l'inferenza, seleziona il modello pre-addestrato dall'elenco dei modelli Hugging Face, come descritto in Deploy pre-training Hugging
Face Transformers per l'esempio di inferenza.
Cosa desideri fare?
I seguenti taccuini nell'archivio Hugging Face notebooks mostrano come utilizzare gli Hugging Face Deep Learning Containers con AI in vari casi d'uso. SageMaker
- Voglio addestrare e implementare un modello di classificazione del testo utilizzando Hugging Face in AI con. SageMaker PyTorch
-
Per un esempio di Jupyter Notebook, guarda la demo introduttiva. PyTorch
- Voglio addestrare e implementare un modello di classificazione del testo utilizzando Hugging Face in AI con. SageMaker TensorFlow
-
Per un esempio di Jupyter Notebook, vedi l'esempio Getting Started. TensorFlow
- Voglio eseguire una formazione distribuita con parallelismo dei dati utilizzando SageMaker Hugging Face e AI Distributed.
-
Per un esempio di notebook Jupyter, consulta l'esempio di addestramento distribuito
. - Voglio eseguire una formazione distribuita con parallelismo dei modelli utilizzando SageMaker Hugging Face e AI Distributed.
-
Per un esempio di notebook Jupyter, consulta l'esempio del parallelismo dei modelli
. - Voglio usare un'istanza spot per addestrare e implementare un modello utilizzando Hugging Face nell'intelligenza artificiale. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio di istanze spot.
- Voglio acquisire metriche personalizzate e utilizzare SageMaker AI Checkpointing durante l'addestramento di un modello di classificazione del testo utilizzando Hugging Face nell'intelligenza artificiale. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio training with Custom Metrics.
- Voglio addestrare un TensorFlow modello distribuito di risposta alle domande utilizzando Hugging Face nell'intelligenza artificiale. SageMaker
-
Per un esempio di Jupyter Notebook, vedi l'esempio Distributed Training. TensorFlow
- Voglio addestrare un modello di riepilogo distribuito utilizzando Hugging Face nell'intelligenza artificiale. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio di addestramento distribuito di riepilogo
. - Voglio addestrare un modello di classificazione delle immagini usando Hugging Face nell'intelligenza artificiale. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio di addestramento Vision Transformer
. - Voglio implementare il mio modello Hugging Face addestrato nell'intelligenza artificiale. SageMaker
-
Per un esempio di notebook Jupyter, consulta l’esempio Deploy your Hugging Face Transformers for inference
. - Voglio implementare un modello Hugging Face pre-addestrato nell'intelligenza artificiale. SageMaker
-
Per un esempio di Jupyter Notebook, consulta l’esempio Deploy your Hugging Face Transformers for inference
.
