As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Recursos para usar o Hugging Face com a Amazon AI SageMaker
A SageMaker IA da Amazon permite que os clientes treinem, ajustem e executem inferências usando modelos Hugging Face para processamento de linguagem natural (PNL) em IA. SageMaker Você pode usar Hugging Face tanto para treinamento como para inferência. A seção a seguir fornece informações sobre os modelos do Hugging Face e inclui material de referência que você pode usar para aprender a usar o Hugging Face com IA. SageMaker
Essa funcionalidade está disponível por meio do desenvolvimento dos AWS Contêiner de Aprendizado Profundo do Hugging Face. Esses contêineres incluem Transformadores, Tokenizers e a biblioteca de banco de dados do Hugging Face, que permite que você use esses recursos para seus trabalhos de treinamento e inferência. Para obter uma lista completa das imagens dos Contêiner de Aprendizado Profundo disponíveis, consulte Imagens dos Contêiner de Aprendizado Profundo disponíveis
Para usar os contêineres de aprendizado profundo do Hugging Face com o SDK do SageMaker Python para treinamento, consulte a IA do Hugging Face. SageMaker ModelTrainer
Para obter mais informações sobre o Hugging Face e os modelos disponíveis nele, consulte a documentação do Hugging Face.
Treinamento
Para realizar o treinamento, use qualquer um dos milhares de modelos disponíveis no Hugging Face e ajuste-os para seu caso de uso com treinamento adicional. Com a SageMaker IA, você pode usar o treinamento padrão ou aproveitar o treinamento de dados distribuídos e modelos paralelos de SageMaker IA.
Assim como outros trabalhos de SageMaker treinamento usando código personalizado, você pode capturar suas próprias métricas passando uma definição de métricas para o SDK do SageMaker Python. Para ver um exemplo, consulte Definindo métricas de treinamento (SDK do SageMaker Python). Você pode acessar as métricas capturadas usando CloudWatch e como um Pandas DataFrame usando o TrainingJobAnalytics
Como treinar com o Hugging Face ModelTrainer
Você pode implementar o Hugging Face ModelTrainer para trabalhos de treinamento usando o SageMaker AI Python SDK. O SDK do SageMaker Python é uma biblioteca de código aberto para treinar e implantar modelos de aprendizado de máquina em IA. SageMaker Para obter mais informações sobre o Hugging Face ModelTrainer, consulte a documentação do SDK do SageMaker AI Python.
Com o SDK do SageMaker Python, você pode executar trabalhos de treinamento usando o Hugging Face ModelTrainer nos seguintes ambientes:
-
Amazon SageMaker Studio Classic: o Studio Classic é o primeiro ambiente de desenvolvimento (IDE) totalmente integrado para aprendizado de máquina (ML). O Studio Classic fornece uma interface visual única, baseada na web, na qual você pode realizar todas as etapas de desenvolvimento de ML necessárias para:
-
preparar
-
build
-
treinar e ajustar;
-
implantar e gerenciar modelos.
Para obter informações sobre como usar os cadernos Jupyter no Studio Classic, consulte Use notebooks Amazon SageMaker Studio Classic.
-
-
SageMakerInstâncias de notebook: uma instância de SageMaker notebook da Amazon é uma instância de computação de aprendizado de máquina (ML) que executa o aplicativo Jupyter Notebook. Esse aplicação permite que você execute cadernos Jupyter em sua instância de caderno para:
-
preparar e processar dados;
-
escrever código para treinar modelos;
-
implantar modelos em hospedagem de SageMaker IA
-
teste ou valide seus modelos sem os recursos do SageMaker Studio, como Debugger, Model Monitoring e um IDE baseado na web
-
-
Localmente: se você tiver conectividade AWS e permissões de SageMaker IA apropriadas, poderá usar o SDK do SageMaker Python localmente. Com o uso local, você pode iniciar trabalhos remotos de treinamento e inferência para Hugging Face in SageMaker AI on. AWS Isso funciona em sua máquina local, bem como em outros AWS serviços com um SDK SageMaker Python conectado e permissões apropriadas.
Inferência
Para inferência, você pode usar seu modelo treinado do Hugging Face ou um dos modelos pré-treinados do Hugging Face para implantar um trabalho de inferência com a IA. SageMaker Com essa colaboração, você só precisa de uma linha de código para implantar seus modelos treinados e modelos pré-treinados com SageMaker IA. Você também pode executar trabalhos de inferência sem precisar escrever nenhum código de inferência personalizado. Com o código de inferência personalizado, você pode personalizar a lógica de inferência fornecendo seu próprio script Python.
Como implantar um trabalho de inferência usando os Contêiner de Aprendizado Profundo do Hugging Face
Você tem duas opções para executar a inferência com a SageMaker IA. Você pode executar inferências usando um modelo que você treinou ou implantar um modelo pré-treinado do Hugging Face.
-
Executar inferências com seu modelo treinado: você tem duas opções para executar inferências com seu próprio modelo treinado.
-
Faça inferências com um modelo que você treinou usando um modelo existente do Hugging Face com os contêineres de aprendizado profundo SageMaker AI Hugging Face.
-
Traga seu próprio modelo existente de Hugging Face e implante-o usando SageMaker IA.
Ao executar a inferência com um modelo que você treinou com o SageMaker AI Hugging Face ModelTrainer, você pode implantar o modelo imediatamente após a conclusão do treinamento. Você também pode carregar o modelo treinado em um bucket do Amazon S3 e ingeri-lo ao executar a inferência posteriormente.
Se você trouxer seu próprio modelo existente do Hugging Face, deverá carregar o modelo treinado em um bucket do Amazon S3. Em seguida, ingira o bucket ao executar a inferência, conforme mostrado em Exemplo de como implementar seus transformadores do Hugging Face para inferência
. -
-
Execute inferências com um HuggingFace modelo pré-treinado: você pode usar um dos milhares de modelos pré-treinados do Hugging Face para executar seus trabalhos de inferência sem a necessidade de treinamento adicional. Para executar a inferência, selecione o modelo pré-treinado na lista de modelos do Hugging Face
, conforme descrito em Exemplo de como implantar transformadores pré-treinados do Hugging Face .
O que você deseja fazer?
Os seguintes cadernos no repositório de cadernos Hugging Face mostram como usar os contêineres de aprendizado profundo Hugging Face com IA em vários casos de uso. SageMaker
- Quero treinar e implantar um modelo de classificação de texto usando o Hugging Face na SageMaker IA com. PyTorch
-
Para ver um exemplo do Jupyter Notebook, consulte a demonstração de PyTorch introdução.
- Quero treinar e implantar um modelo de classificação de texto usando o Hugging Face na SageMaker IA com. TensorFlow
-
Para ver um exemplo do Jupyter Notebook, consulte o exemplo de TensorFlow introdução.
- Quero realizar um treinamento distribuído com paralelismo de dados usando o Hugging Face e o AI Distributed. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de treinamento distribuído
. - Quero realizar um treinamento distribuído com paralelismo de modelos usando o Hugging Face e o AI Distributed. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de paralelismo de modelos
. - Quero usar uma instância spot para treinar e implantar um modelo usando o Hugging Face na SageMaker IA.
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de instâncias spot
. - Quero capturar métricas personalizadas e usar o SageMaker AI Checkpointing ao treinar um modelo de classificação de texto usando o Hugging Face na IA. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de treinamento com métricas personalizadas
. - Quero treinar um TensorFlow modelo distribuído de resposta a perguntas usando o Hugging Face na IA. SageMaker
-
Para ver um exemplo do Jupyter Notebook, consulte o exemplo de TensorFlow treinamento distribuído.
- Quero treinar um modelo de resumo distribuído usando o Hugging Face na IA. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo distribuído de treinamento de sumarização
. - Quero treinar um modelo de classificação de imagens usando o Hugging Face na SageMaker IA.
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de treinamento do Transformador de visão
. - Quero implantar meu modelo treinado de Hugging Face em SageMaker IA.
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de implantação dos seus Transformadores do Hugging Face para inferência
. - Quero implantar um modelo pré-treinado de Hugging Face em IA. SageMaker
-
Para obter uma amostra do Caderno Jupyter, consulte o exemplo de implantação dos seus Transformadores pré-treinados do Hugging Face para inferência
.
