Risorse per l'utilizzo di Hugging Face con Amazon AI SageMaker - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Risorse per l'utilizzo di Hugging Face con Amazon AI SageMaker

Amazon SageMaker AI consente ai clienti di addestrare, ottimizzare ed eseguire inferenze utilizzando i modelli Hugging Face per il Natural Language Processing (NLP) sull'intelligenza artificiale. SageMaker Puoi utilizzare Hugging Face sia per l’addestramento che per l'inferenza. La sezione seguente fornisce informazioni sui modelli Hugging Face e include materiale di riferimento che puoi usare per imparare a usare Hugging Face with AI. SageMaker

Questa funzionalità è disponibile attraverso lo sviluppo di container AWS per il Deep Learning Hugging Face. Questi container includono la libreria di trasformatori, tokenizer e set di dati Hugging Face, che consente di utilizzare queste risorse per i processi di addestramento e inferenza. Per un elenco completo delle aree e degli URL di immagini disponibili dei container per il Deep Learning, consulta Available Deep Learning Containers Images. Queste immagini dei container per il Deep Learning vengono gestire e aggiornate regolarmente con patch di sicurezza.

Per utilizzare gli Hugging Face Deep Learning Containers con l'SDK SageMaker Python per la formazione, consulta Hugging Face AI Estimator. SageMaker Con Hugging Face Estimator, puoi utilizzare i modelli Hugging Face come faresti con qualsiasi altro AI Estimator. SageMaker Tuttavia, l'utilizzo dell'SDK SageMaker Python è facoltativo. Puoi anche orchestrare l'uso degli Hugging Face Deep Learning Containers con la mano. AWS CLI AWS SDK for Python (Boto3)

Per ulteriori informazioni su Hugging Face e sui modelli in esso disponibili, consulta la documentazione su Hugging Face.

Addestramento

Per allenarti, usa uno dei migliaia di modelli disponibili in Hugging Face e perfezionali per il tuo caso d'uso con un allenamento aggiuntivo. Con l' SageMaker intelligenza artificiale, puoi utilizzare la formazione standard o sfruttare la formazione SageMaker AI Distributed Data e Model Parallel.

Come altri lavori di SageMaker formazione che utilizzano codice personalizzato, puoi acquisire le tue metriche passando una definizione delle metriche all'SDK Python SageMaker . Per un esempio, vedete Defining Training Metrics (SageMaker Python SDK). Puoi accedere alle metriche acquisite utilizzando CloudWatche come DataFrame Pandas utilizzando il metodo. TrainingJobAnalytics Dopo aver addestrato e perfezionato il modello, puoi utilizzarlo come qualsiasi altro modello per eseguire lavori di inferenza.

Come eseguire l'allenamento con lo stimatore Hugging Face

Puoi implementare Hugging Face Estimator per lavori di formazione utilizzando l'SDK AI Python. SageMaker SageMaker Python SDK è una libreria open source per l'addestramento e l'implementazione di modelli di machine learning sull'intelligenza artificiale. SageMaker Per ulteriori informazioni su Hugging Face Estimator, consulta la documentazione di AI SageMaker Python SDK.

Con SageMaker Python SDK, puoi eseguire lavori di formazione utilizzando Hugging Face Estimator nei seguenti ambienti:

  • Amazon SageMaker Studio Classic: Studio Classic è il primo ambiente di sviluppo (IDE) completamente integrato per l'apprendimento automatico (ML). Studio Classic fornisce un'unica interfaccia visiva basata sul Web in cui è possibile eseguire tutte le fasi di sviluppo ML necessarie per:

    • preparare

    • build

    • allenati e sintonizza

    • implementa e gestisci modelli

    Per informazioni sull'utilizzo di Jupyter Notebooks in Studio Classic, consulta. Usa i notebook Amazon SageMaker Studio Classic

  • SageMakerIstanze notebook: un'istanza Amazon SageMaker Notebook è un'istanza di calcolo di machine learning (ML) che esegue l'app Jupyter Notebook. Questa app consente di eseguire Jupyter Notebooks nell'istanza del notebook per:

    • preparare ed elaborare i dati

    • scrivi codice per addestrare i modelli

    • distribuisci modelli all'hosting SageMaker AI

    • testa o convalida i tuoi modelli senza funzionalità di SageMaker Studio come Debugger, Model Monitoring e un IDE basato sul web

  • A livello locale: se disponi di connettività AWS e disponi delle autorizzazioni SageMaker AI appropriate, puoi utilizzare SageMaker Python SDK localmente. Con l'uso locale, puoi avviare lavori di formazione e inferenza a distanza per Hugging Face in AI on. SageMaker AWS Funziona sul tuo computer locale, così come su altri AWS servizi con un SDK SageMaker Python connesso e autorizzazioni appropriate.

Inferenza

Per l'inferenza, puoi utilizzare il tuo modello Hugging Face addestrato o uno dei modelli Hugging Face preaddestrati per implementare un lavoro di inferenza con l'intelligenza artificiale. SageMaker Grazie a questa collaborazione, è sufficiente una sola riga di codice per implementare sia i modelli addestrati che i modelli preaddestrati con intelligenza artificiale. SageMaker Puoi anche eseguire processi di inferenza senza dover scrivere alcun codice di inferenza personalizzato. Con il codice di inferenza personalizzato, puoi personalizzare la logica di inferenza fornendo il tuo script Python.

Come implementare un processo di inferenza utilizzando i container per il Deep Learning Hugging Face

Hai due opzioni per eseguire l'inferenza con l'intelligenza artificiale. SageMaker Puoi eseguire l'inferenza utilizzando un modello che hai addestrato o implementare un modello Hugging Face pre-addestrato.

  • Esegui l'inferenza con il tuo modello addestrato: hai due opzioni per eseguire l'inferenza con il tuo modello addestrato:

    • Esegui l'inferenza con un modello che hai addestrato utilizzando un modello Hugging Face esistente con l'AI SageMaker Hugging Face Deep Learning Containers.

    • Porta il tuo modello Hugging Face esistente e implementalo utilizzando l'intelligenza artificiale. SageMaker

    Quando esegui l'inferenza con un modello che hai addestrato con SageMaker AI Hugging Face Estimator, puoi implementare il modello immediatamente dopo il completamento dell'addestramento. Puoi anche caricare il modello addestrato in un bucket Amazon S3 e inserirlo quando esegui l'inferenza in un secondo momento.

    Se porti il tuo modello Hugging Face esistente, devi caricare il modello addestrato in un bucket Amazon S3. Quindi si inserisce quel bucket durante l'esecuzione dell'inferenza, come mostrato in Deploy your Hugging Face Transformers per l'esempio di inferenza.

  • Esegui l'inferenza con un HuggingFace modello pre-addestrato: puoi utilizzare uno delle migliaia di modelli Hugging Face pre-addestrati per eseguire i tuoi lavori di inferenza senza bisogno di formazione aggiuntiva. Per eseguire l'inferenza, seleziona il modello pre-addestrato dall'elenco dei modelli Hugging Face, come descritto in Deploy pre-training Hugging Face Transformers per l'esempio di inferenza.

Cosa desideri fare?

I seguenti taccuini nell'archivio Hugging Face notebooks mostrano come utilizzare gli Hugging Face Deep Learning Containers con AI in vari casi d'uso. SageMaker

Voglio addestrare e implementare un modello di classificazione del testo utilizzando Hugging Face in AI con. SageMaker PyTorch

Per un esempio di Jupyter Notebook, guarda la demo introduttiva. PyTorch

Voglio addestrare e implementare un modello di classificazione del testo utilizzando Hugging Face in AI con. SageMaker TensorFlow

Per un esempio di Jupyter Notebook, vedi l'esempio Getting Started. TensorFlow

Voglio eseguire una formazione distribuita con parallelismo dei dati utilizzando SageMaker Hugging Face e AI Distributed.

Per un esempio di notebook Jupyter, consulta l'esempio di addestramento distribuito.

Voglio eseguire una formazione distribuita con parallelismo dei modelli utilizzando SageMaker Hugging Face e AI Distributed.

Per un esempio di notebook Jupyter, consulta l'esempio del parallelismo dei modelli.

Voglio usare un'istanza spot per addestrare e implementare un modello utilizzando Hugging Face nell'intelligenza artificiale. SageMaker

Per un esempio di notebook Jupyter, consulta l'esempio di istanze spot.

Voglio acquisire metriche personalizzate e utilizzare SageMaker AI Checkpointing durante l'addestramento di un modello di classificazione del testo utilizzando Hugging Face nell'intelligenza artificiale. SageMaker

Per un esempio di notebook Jupyter, consulta l'esempio training with Custom Metrics.

Voglio addestrare un TensorFlow modello distribuito di risposta alle domande utilizzando Hugging Face nell'intelligenza artificiale. SageMaker

Per un esempio di Jupyter Notebook, vedi l'esempio Distributed Training. TensorFlow

Voglio addestrare un modello di riepilogo distribuito utilizzando Hugging Face nell'intelligenza artificiale. SageMaker

Per un esempio di notebook Jupyter, consulta l'esempio di addestramento distribuito di riepilogo.

Voglio addestrare un modello di classificazione delle immagini usando Hugging Face nell'intelligenza artificiale. SageMaker

Per un esempio di notebook Jupyter, consulta l'esempio di addestramento Vision Transformer.

Voglio implementare il mio modello Hugging Face addestrato nell'intelligenza artificiale. SageMaker

Per un esempio di notebook Jupyter, consulta l’esempio Deploy your Hugging Face Transformers for inference.

Voglio implementare un modello Hugging Face pre-addestrato nell'intelligenza artificiale. SageMaker

Per un esempio di Jupyter Notebook, consulta l’esempio Deploy your Hugging Face Transformers for inference.