As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Recursos para usar o Hugging Face com a Amazon AI SageMaker
A Amazon SageMaker AI permite que os clientes treinem, ajustem e executem inferências usando modelos Hugging Face para Processamento de Linguagem Natural (NLP) em IA. SageMaker Você pode usar Hugging Face tanto para treinamento como para inferência. A seção a seguir fornece informações sobre os modelos Hugging Face e inclui material de referência que você pode usar para aprender a usar o Hugging Face com IA. SageMaker
Essa funcionalidade está disponível por meio do desenvolvimento dos AWS Contêiner de Aprendizado Profundo do Hugging Face. Esses contêineres incluem Transformadores, Tokenizers e a biblioteca de banco de dados do Hugging Face, que permite que você use esses recursos para seus trabalhos de treinamento e inferência. Para obter uma lista completa das imagens dos Contêiner de Aprendizado Profundo disponíveis, consulte Imagens dos Contêiner de Aprendizado Profundo disponíveis
Para usar os Hugging Face Deep Learning Containers com o SageMaker Python SDK para treinamento, consulte o Hugging Face AI Estimator. SageMaker
Para obter mais informações sobre o Hugging Face e os modelos disponíveis nele, consulte a documentação do Hugging Face.
Treinamento
Para realizar o treinamento, use qualquer um dos milhares de modelos disponíveis no Hugging Face e ajuste-os para seu caso de uso com treinamento adicional. Com a SageMaker IA, você pode usar o treinamento padrão ou aproveitar as vantagens do treinamento em SageMaker IA Distributed Data e Model Parallel.
Como outros trabalhos de SageMaker treinamento usando código personalizado, você pode capturar suas próprias métricas passando uma definição de métricas para o SDK do SageMaker Python. Para ver um exemplo, consulte Definição de métricas de treinamento (SageMaker Python SDK). Você pode acessar as métricas capturadas usando CloudWatche como Pandas DataFrame usando o TrainingJobAnalytics
Como executar o treinamento com o estimador do Hugging Face
Você pode implementar o Hugging Face Estimator para trabalhos de treinamento usando o SDK AI Python. SageMaker O SageMaker Python SDK é uma biblioteca de código aberto para treinar e implantar modelos de aprendizado de máquina em IA. SageMaker Para obter mais informações sobre o Hugging Face Estimator, consulte a documentação do AI Python SDK. SageMaker
Com o SDK do SageMaker Python, você pode executar trabalhos de treinamento usando o Hugging Face Estimator nos seguintes ambientes:
-
Amazon SageMaker Studio Classic: O Studio Classic é o primeiro ambiente de desenvolvimento (IDE) totalmente integrado para aprendizado de máquina (ML). O Studio Classic fornece uma interface visual única, baseada na web, na qual você pode realizar todas as etapas de desenvolvimento de ML necessárias para:
-
preparar
-
build
-
treinar e ajustar;
-
implantar e gerenciar modelos.
Para obter informações sobre como usar os cadernos Jupyter no Studio Classic, consulte Use notebooks Amazon SageMaker Studio Classic.
-
-
SageMakerInstâncias de notebook: uma instância de SageMaker notebook da Amazon é uma instância de computação de aprendizado de máquina (ML) que executa o aplicativo Jupyter Notebook. Esse aplicação permite que você execute cadernos Jupyter em sua instância de caderno para:
-
preparar e processar dados;
-
escrever código para treinar modelos;
-
implante modelos na hospedagem de SageMaker IA
-
teste ou valide seus modelos sem os recursos do SageMaker Studio, como depurador, monitoramento de modelos e um IDE baseado na web
-
-
Localmente: se você tiver conectividade AWS e tiver as permissões de SageMaker IA apropriadas, poderá usar o SDK do SageMaker Python localmente. Com o uso local, você pode iniciar trabalhos remotos de treinamento e inferência para Hugging Face in AI on. SageMaker AWS Isso funciona em sua máquina local, bem como em outros AWS serviços com um SDK SageMaker Python conectado e as permissões apropriadas.
Inferência
Para inferência, você pode usar seu modelo treinado do Hugging Face ou um dos modelos pré-treinados do Hugging Face para implantar um trabalho de inferência com IA. SageMaker Com essa colaboração, você só precisa de uma linha de código para implantar seus modelos treinados e modelos pré-treinados com SageMaker IA. Você também pode executar trabalhos de inferência sem precisar escrever nenhum código de inferência personalizado. Com o código de inferência personalizado, você pode personalizar a lógica de inferência fornecendo seu próprio script Python.
Como implantar um trabalho de inferência usando os Contêiner de Aprendizado Profundo do Hugging Face
Você tem duas opções para executar inferência com SageMaker IA. Você pode executar inferências usando um modelo que você treinou ou implantar um modelo pré-treinado do Hugging Face.
-
Executar inferências com seu modelo treinado: você tem duas opções para executar inferências com seu próprio modelo treinado.
-
Execute inferências com um modelo que você treinou usando um modelo existente do Hugging Face com os AI SageMaker Hugging Face Deep Learning Containers.
-
Traga seu próprio modelo existente do Hugging Face e implante-o usando IA. SageMaker
Ao executar a inferência com um modelo que você treinou com o SageMaker AI Hugging Face Estimator, você pode implantar o modelo imediatamente após a conclusão do treinamento. Você também pode carregar o modelo treinado em um bucket do Amazon S3 e ingeri-lo ao executar a inferência posteriormente.
Se você trouxer seu próprio modelo existente do Hugging Face, deverá carregar o modelo treinado em um bucket do Amazon S3. Em seguida, ingira o bucket ao executar a inferência, conforme mostrado em Exemplo de como implementar seus transformadores do Hugging Face para inferência
. -
-
Execute inferência com um HuggingFace modelo pré-treinado: você pode usar um dos milhares de modelos pré-treinados do Hugging Face para executar seus trabalhos de inferência sem a necessidade de treinamento adicional. Para executar a inferência, selecione o modelo pré-treinado na lista de modelos do Hugging Face
, conforme descrito em Exemplo de como implantar transformadores pré-treinados do Hugging Face .
O que você deseja fazer?
Os cadernos a seguir no repositório de cadernos Hugging Face mostram como usar os Hugging Face Deep Learning Containers com IA em vários casos de uso. SageMaker
- Quero treinar e implantar um modelo de classificação de texto usando Hugging Face em IA com. SageMaker PyTorch
-
Para ver uma amostra do Jupyter Notebook, consulte a demonstração de PyTorch introdução
. - Quero treinar e implantar um modelo de classificação de texto usando Hugging Face em IA com. SageMaker TensorFlow
-
Para ver uma amostra do Jupyter Notebook, consulte o exemplo de TensorFlow introdução
. - Quero realizar um treinamento distribuído com paralelismo de dados usando Hugging Face e AI Distributed. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de treinamento distribuído
. - Quero realizar um treinamento distribuído com paralelismo de modelos usando Hugging Face e AI Distributed. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de paralelismo de modelos
. - Quero usar uma instância spot para treinar e implantar um modelo usando Hugging Face na IA. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de instâncias spot
. - Quero capturar métricas personalizadas e usar o SageMaker AI Checkpointing ao treinar um modelo de classificação de texto usando Hugging Face na IA. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de treinamento com métricas personalizadas
. - Quero treinar um TensorFlow modelo distribuído de respostas a perguntas usando Hugging Face na IA. SageMaker
-
Para obter uma amostra do Jupyter Notebook, consulte o exemplo de TensorFlow treinamento distribuído
. - Quero treinar um modelo de resumo distribuído usando Hugging Face na IA. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo distribuído de treinamento de sumarização
. - Quero treinar um modelo de classificação de imagens usando Hugging Face em IA. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de treinamento do Transformador de visão
. - Quero implantar meu modelo treinado de Hugging Face em IA. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de implantação dos seus Transformadores do Hugging Face para inferência
. - Quero implantar um modelo pré-treinado de Hugging Face em IA. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de implantação dos seus Transformadores pré-treinados do Hugging Face para inferência
.
