Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Amazon SageMaker AI permite a los clientes entrenar, ajustar y ejecutar inferencias mediante modelos Hugging Face para el procesamiento del lenguaje natural (NLP) en IA. SageMaker Puede usar Hugging Face tanto para el entrenamiento como para la inferencia. La siguiente sección proporciona información sobre los modelos de Hugging Face e incluye material de referencia que puede utilizar para aprender a utilizar Hugging SageMaker Face con IA.
Esta funcionalidad está disponible a través del desarrollo de Contenedores de aprendizaje profundo de AWS de Hugging Face. Estos contenedores incluyen Transformers, Tokenizers y la biblioteca Datasets de Hugging Face, que le permiten utilizar estos recursos para sus trabajos de entrenamiento e inferencia. Para ver una lista completa de las imágenes disponibles de contenedores de aprendizaje profundo, consulte Available Deep Learning Containers Images
Para utilizar los contenedores de aprendizaje profundo Hugging Face con el SDK de SageMaker Python con fines de formación, consulta el estimador de IA SageMaker Hugging Face
Para obtener más información sobre Hugging Face y los modelos disponibles en él, consulte la documentación de Hugging Face
Formación
Para el entrenamiento, puede usar cualquiera de los miles de modelos disponibles en Hugging Face y afinarlos para su caso de uso con entrenamiento adicional. Con la SageMaker IA, puede utilizar la formación estándar o aprovechar la formación paralela sobre datos distribuidos y modelos paralelos de SageMaker IA.
Al igual que otros trabajos de SageMaker formación que utilizan código personalizado, puedes capturar tus propias métricas pasando una definición de métricas al SDK de SageMaker Python. Para ver un ejemplo, consulte Definir métricas de entrenamiento (SDK de SageMaker Python). Puedes acceder a las métricas capturadas usando el método CloudWatchy como Pandas DataFrame usando TrainingJobAnalytics
Entrenamiento con el estimador de Hugging Face
Puedes implementar el Hugging Face Estimator para trabajos de entrenamiento con el SDK de Python para SageMaker IA. El SDK de SageMaker Python es una biblioteca de código abierto para entrenar e implementar modelos de aprendizaje automático en SageMaker IA. Para obtener más información sobre el estimador Hugging Face, consulta la documentación del SDK de Python para SageMaker IA
Con el SDK de SageMaker Python, puedes ejecutar trabajos de entrenamiento con el Hugging Face Estimator en los siguientes entornos:
-
Amazon SageMaker Studio Classic: Studio Classic es el primer entorno de desarrollo (IDE) totalmente integrado para el aprendizaje automático (ML). Studio Classic proporciona una única interfaz visual basada en web en la que puede realizar todos los pasos de desarrollo de ML necesarios para:
-
preparación
-
build
-
entrenar y afinar
-
implementar y administrar modelos
Para obtener más información sobre el uso de los cuadernos de Jupyter en Studio Classic, consulte Usa las libretas clásicas de Amazon SageMaker Studio.
-
-
SageMakerInstancias de Notebook: una instancia de Amazon SageMaker Notebook es una instancia de cómputo de aprendizaje automático (ML) que ejecuta la aplicación Jupyter Notebook. Esta aplicación le permite ejecutar cuadernos de Jupyter en su instancia de cuaderno para:
-
preparar y procesar datos
-
escribir código para entrenar modelos
-
implementar modelos en el alojamiento de SageMaker IA
-
pruebe o valide sus modelos sin las funciones de SageMaker Studio, como el depurador, la supervisión de modelos y un IDE basado en la web
-
-
Localmente: si tienes conectividad AWS y los permisos de SageMaker IA adecuados, puedes usar el SDK de SageMaker Python localmente. Con el uso local, puedes iniciar trabajos de formación e inferencia a distancia para Hugging Face in SageMaker AI on. AWS Esto funciona en tu máquina local, así como en otros AWS servicios con un SDK de SageMaker Python conectado y los permisos adecuados.
Inferencia
A modo de inferencia, puedes usar tu modelo Hugging Face entrenado o uno de los modelos Hugging Face previamente entrenados para implementar un trabajo de inferencia con IA. SageMaker Con esta colaboración, solo necesitarás una línea de código para implementar tanto tus modelos entrenados como los modelos previamente entrenados con IA. SageMaker También puede ejecutar trabajos de inferencia sin tener que escribir ningún código de inferencia personalizado. Con el código de inferencia personalizado, puede personalizar la lógica de inferencia si proporciona su propio script de Python.
Cómo implementar un trabajo de inferencia con los contenderos de aprendizaje profundo de Hugging Face
Dispone de dos opciones para realizar inferencias con SageMaker IA. Puede realizar inferencias con un modelo que haya entrenado o implementar un modelo de Hugging Face previamente entrenado.
-
Ejecute la inferencia con su modelo entrenado: tiene dos opciones para ejecutar la inferencia con su propio modelo entrenado:
-
Realice inferencias con un modelo que haya entrenado utilizando un modelo Hugging Face existente con los contenedores de aprendizaje profundo AI SageMaker Hugging Face.
-
Traiga su propio modelo de Hugging Face existente e impleméntelo SageMaker mediante IA.
Cuando realizas inferencias con un modelo que has entrenado con el calculador Hugging Face de SageMaker IA, puedes implementar el modelo inmediatamente después de completar el entrenamiento. También puede cargar el modelo entrenado en un bucket de Amazon S3 e ingerirlo cuando ejecute la inferencia más adelante.
Si trae su propio modelo de Hugging Face existente, debe cargar el modelo entrenado en un bucket de Amazon S3. A continuación, ingiera ese bucket al ejecutar la inferencia, como se muestra en el ejemplo Deploy your Hugging Face Transformers for inference
. -
-
Realiza inferencias con un HuggingFace modelo previamente entrenado: puedes usar uno de los miles de modelos de Hugging Face previamente entrenados para ejecutar tus trabajos de inferencia sin necesidad de capacitación adicional. Para realizar una inferencia, seleccione el modelo previamente entrenado de la lista de modelos de Hugging Face
, como se describe en el ejemplo Deploy pre-trained Hugging Face Transformers for inference .
¿Qué quiere hacer?
Los siguientes cuadernos del repositorio de libretas Hugging Face muestran cómo utilizar los contenedores de Deep Learning Hugging Face SageMaker con IA en varios casos de uso.
- Quiero entrenar e implementar un modelo de clasificación de textos utilizando Hugging Face SageMaker in AI PyTorch con.
-
Para ver un ejemplo de Jupyter Notebook, consulta la demostración de PyTorch introducción
. - Quiero entrenar e implementar un modelo de clasificación de textos utilizando Hugging Face SageMaker in AI TensorFlow con.
-
Para ver un ejemplo de Jupyter Notebook, consulta el ejemplo de TensorFlow introducción
. - Quiero realizar un entrenamiento distribuido con paralelismo de datos utilizando Hugging Face y AI Distributed. SageMaker
-
Para ver un ejemplo de cuaderno de Jupyter, consulte el ejemplo de entrenamiento distribuido
. - Quiero realizar un entrenamiento distribuido con paralelismo de modelos utilizando Hugging Face y AI Distributed. SageMaker
-
Para ver un ejemplo de cuaderno de Jupyter, consulte el ejemplo de paralelismo de modelos
. - Quiero usar una instancia puntual para entrenar e implementar un modelo con Hugging Face SageMaker en IA.
-
Para ver un ejemplo de cuaderno de Jupyter, consulte el ejemplo de instancias de spot
. - Quiero capturar métricas personalizadas y usar SageMaker AI Checkpoints cuando entreno un modelo de clasificación de textos con Hugging Face en IA. SageMaker
-
Para ver un ejemplo de cuaderno de Jupyter, consulte el ejemplo de entrenamiento con métricas personalizadas
. - Quiero entrenar un TensorFlow modelo distribuido de preguntas y respuestas utilizando Hugging Face en IA. SageMaker
-
Para ver un ejemplo de Jupyter Notebook, consulta el ejemplo de formación distribuida. TensorFlow
- Quiero entrenar un modelo de resumen distribuido usando Hugging Face en IA. SageMaker
-
Para ver un ejemplo de cuaderno de Jupyter, consulte el ejemplo de entrenamiento de resumen distribuido
. - Quiero entrenar un modelo de clasificación de imágenes usando Hugging Face SageMaker en IA.
-
Para ver un ejemplo de cuaderno de Jupyter, consulte el ejemplo de entrenamiento de transformadores de visión
. - Quiero implementar mi modelo de Hugging Face entrenado SageMaker en IA.
-
Para ver un ejemplo de cuaderno de Jupyter, consulte el ejemplo de implementación de transformadores de Hugging Face para inferencia
. - Quiero implementar un modelo de Hugging Face previamente entrenado en IA. SageMaker
-
Para ver un ejemplo de cuaderno de Jupyter, consulte el ejemplo de implementación de transformadores de Hugging Face previamente entrenados para inferencia
.
