Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Risorse per usare Hugging Face con Amazon SageMaker
Amazon SageMaker consente ai clienti di addestrare, ottimizzare ed eseguire inferenze utilizzando i modelli Hugging Face per Natural Language Processing () on. NLP SageMaker Puoi utilizzare Hugging Face sia per l’addestramento che per l'inferenza. La sezione seguente fornisce informazioni sui modelli Hugging Face e include materiale di riferimento che puoi usare per imparare a usare Hugging Face con. SageMaker
Questa funzionalità è disponibile attraverso lo sviluppo di container AWS per il Deep Learning Hugging Face. Questi container includono la libreria di trasformatori, tokenizer e set di dati Hugging Face, che consente di utilizzare queste risorse per i processi di addestramento e inferenza. Per un elenco completo delle aree e degli URL di immagini disponibili dei container per il Deep Learning, consulta Available Deep Learning Containers Images
Per utilizzare gli Hugging Face Deep Learning Containers con SageMaker Python SDK per la formazione, consulta Hugging Face Estimator. SageMaker
Per ulteriori informazioni su Hugging Face e sui modelli in esso disponibili, consulta la documentazione su Hugging Face
Addestramento
Per allenarti, usa uno dei migliaia di modelli disponibili in Hugging Face e perfezionali per il tuo caso d'uso con un allenamento aggiuntivo. Con SageMaker, puoi utilizzare la formazione standard o sfruttare la formazione SageMaker Distributed Data e Model Parallel.
Come altri lavori di SageMaker formazione che utilizzano codice personalizzato, puoi acquisire le tue metriche passando una definizione delle metriche a Python SageMaker . SDK Per un esempio, vedete Defining Training Metrics (SageMaker SDKPython). Puoi accedere alle metriche acquisite utilizzando CloudWatche come DataFrame Pandas utilizzando il metodo. TrainingJobAnalytics
Come eseguire l'allenamento con lo stimatore Hugging Face
È possibile implementare l'Hugging Face Estimator per i lavori di formazione utilizzando Python. SageMaker SDK SageMaker Python SDK è una libreria open source per l'addestramento e la distribuzione di modelli di machine learning. SageMaker Per ulteriori informazioni su Hugging Face Estimator, consulta la documentazione di Python. SageMaker SDK
Con SageMaker PythonSDK, puoi eseguire lavori di formazione utilizzando Hugging Face Estimator nei seguenti ambienti:
-
Amazon SageMaker Studio Classic: Studio Classic è il primo ambiente di sviluppo completamente integrato (IDE) per l'apprendimento automatico (ML). Studio Classic fornisce un'unica interfaccia visiva basata sul Web in cui è possibile eseguire tutte le fasi di sviluppo ML necessarie per:
-
preparare
-
build
-
allenati e sintonizza
-
implementa e gestisci modelli
Per informazioni sull'utilizzo di Jupyter Notebooks in Studio Classic, vedere. Usa i notebook Amazon SageMaker Studio Classic
-
-
SageMakerIstanze notebook: un'istanza Amazon SageMaker Notebook è un'istanza di calcolo di machine learning (ML) che esegue l'app Jupyter Notebook. Questa app consente di eseguire Jupyter Notebooks nell'istanza del notebook per:
-
preparare ed elaborare i dati
-
scrivi codice per addestrare i modelli
-
distribuisci i modelli all'hosting SageMaker
-
testa o convalida i tuoi modelli senza funzionalità di SageMaker Studio come Debugger, Model Monitoring e una soluzione basata sul web IDE
-
-
Localmente: se disponi di connettività AWS e disponi SageMaker delle autorizzazioni appropriate, puoi usare SageMaker SDK Python localmente. Con l'uso locale, puoi avviare corsi di formazione e inferenza a distanza per Hugging Face in on. SageMaker AWS Funziona sul tuo computer locale, così come su altri AWS servizi con un SageMaker Python connesso SDK e autorizzazioni appropriate.
Inferenza
Per l'inferenza, puoi utilizzare il tuo modello Hugging Face addestrato o uno dei modelli Hugging Face preaddestrati con cui implementare un lavoro di inferenza. SageMaker Grazie a questa collaborazione, è sufficiente una sola riga di codice per distribuire sia i modelli addestrati che i modelli preaddestrati. SageMaker Puoi anche eseguire processi di inferenza senza dover scrivere alcun codice di inferenza personalizzato. Con il codice di inferenza personalizzato, puoi personalizzare la logica di inferenza fornendo il tuo script Python.
Come implementare un processo di inferenza utilizzando i container per il Deep Learning Hugging Face
Sono disponibili due opzioni con cui eseguire l'inferenza. SageMaker Puoi eseguire l'inferenza utilizzando un modello che hai addestrato o implementare un modello Hugging Face pre-addestrato.
-
Esegui l'inferenza con il tuo modello addestrato: hai due opzioni per eseguire l'inferenza con il tuo modello addestrato:
-
Esegui l'inferenza con un modello che hai addestrato utilizzando un modello Hugging Face esistente con gli Hugging Face Deep Learning SageMaker Containers.
-
Porta il tuo modello Hugging Face esistente e implementalo utilizzando. SageMaker
Quando esegui l'inferenza con un modello che hai addestrato con SageMaker Hugging Face Estimator, puoi implementare il modello immediatamente dopo il completamento dell'addestramento. Puoi anche caricare il modello addestrato in un bucket Amazon S3 e inserirlo quando esegui l'inferenza in un secondo momento.
Se porti il tuo modello Hugging Face esistente, devi caricare il modello addestrato in un bucket Amazon S3. Quindi si inserisce quel bucket durante l'esecuzione dell'inferenza, come mostrato in Deploy your Hugging Face
Transformers per l'esempio di inferenza. -
-
Esegui l'inferenza con un HuggingFace modello pre-addestrato: puoi utilizzare uno delle migliaia di modelli Hugging Face pre-addestrati per eseguire i tuoi lavori di inferenza senza bisogno di formazione aggiuntiva. Per eseguire l'inferenza, seleziona il modello pre-addestrato dall'elenco dei modelli Hugging Face, come descritto in Deploy pre-training Hugging
Face Transformers per l'esempio di inferenza.
Cosa desideri fare?
I seguenti taccuini nell'archivio Hugging Face notebooks mostrano come utilizzare gli Hugging Face Deep Learning Containers in vari casi d'uso. SageMaker
- Voglio addestrare e implementare un modello di classificazione del testo utilizzando Hugging Face in with. SageMaker PyTorch
-
Per un esempio di Jupyter Notebook, guarda la demo introduttiva. PyTorch
- Voglio addestrare e implementare un modello di classificazione del testo utilizzando Hugging Face in with. SageMaker TensorFlow
-
Per un esempio di Jupyter Notebook, vedi l'esempio Getting Started. TensorFlow
- Voglio eseguire una formazione distribuita con parallelismo dei dati utilizzando SageMaker Hugging Face e Distributed.
-
Per un esempio di notebook Jupyter, consulta l'esempio di addestramento distribuito
. - Voglio eseguire una formazione distribuita con parallelismo dei modelli utilizzando SageMaker Hugging Face e Distributed.
-
Per un esempio di notebook Jupyter, consulta l'esempio del parallelismo dei modelli
. - Voglio usare un'istanza spot per addestrare e distribuire un modello usando Hugging Face in. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio di istanze spot.
- Voglio acquisire metriche personalizzate e utilizzare SageMaker Checkpointing durante l'addestramento di un modello di classificazione del testo utilizzando Hugging Face in. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio training with Custom Metrics.
- Voglio addestrare un TensorFlow modello distribuito di risposta alle domande usando Hugging Face in. SageMaker
-
Per un esempio di Jupyter Notebook, vedi l'esempio Distributed Training. TensorFlow
- Voglio addestrare un modello di riepilogo distribuito usando Hugging Face in. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio di addestramento distribuito di riepilogo
. - Voglio addestrare un modello di classificazione delle immagini usando Hugging Face in. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio di addestramento Vision Transformer
. - Voglio implementare il mio modello Hugging Face addestrato in. SageMaker
-
Per un esempio di notebook Jupyter, consulta l’esempio Deploy your Hugging Face Transformers for inference
. - Voglio implementare un modello Hugging Face pre-addestrato in. SageMaker
-
Per un esempio di Jupyter Notebook, consulta l’esempio Deploy your Hugging Face Transformers for inference
.
