Entrenamiento de modelos

Prepare los datos: antes del entrenamiento, debe haber terminado la limpieza de datos y la ingeniería de las características durante la etapa de preparación de los datos. SageMaker cuenta con varias herramientas de etiquetado e ingeniería de características que le ayudarán. Consulte Etiquetar datos, Preparar y analizar conjuntos de datos, Procesar datos y Crear, almacenar y compartir funciones para obtener más información.

Elija un algoritmo o marco: según el grado de personalización que necesite, existen diferentes opciones de algoritmos y marcos.

Gestione el almacenamiento de datos: comprenda el mapeo entre el almacenamiento de datos (como Amazon S3EFS, Amazon o AmazonFSx) y el contenedor de entrenamiento que se ejecuta en la instancia de EC2 cómputo de Amazon. SageMaker ayuda a mapear las rutas de almacenamiento y las rutas locales en el contenedor de entrenamiento. También puede especificarlos manualmente. Una vez realizado el mapeo, considere la posibilidad de utilizar uno de los modos de transmisión de datos: archivo, canalización y FastFile modo. Para obtener información sobre cómo SageMaker mapear las rutas de almacenamiento, consulte Capacitación sobre las carpetas de almacenamiento.

Configure el acceso a los datos de formación: utilice el SageMaker dominio de Amazon, un perfil de usuario de dominio IAMVPC, Amazon y cumpla con los requisitos de las organizaciones más sensibles AWS KMS a la seguridad.

Transmita sus datos de entrada: SageMaker proporciona tres modos de entrada de datos: File, Pipe y FastFile. El modo de entrada predeterminado es el modo File, que carga todo el conjunto de datos durante la inicialización del trabajo de entrenamiento. Para obtener información sobre las prácticas recomendadas generales para transmitir datos desde su almacenamiento de datos al contenedor de entrenamiento, consulte Acceder a datos de entrenamiento.

En el caso del modo Pipe, también puede considerar la posibilidad de utilizar un archivo de manifiesto aumentado para transmitir sus datos directamente desde Amazon Simple Storage Service (Amazon S3) y formar a su modelo. El uso del modo pipe reduce el espacio en disco, ya que Amazon Elastic Block Store solo necesita almacenar los artefactos finales del modelo, en lugar de almacenar todo el conjunto de datos de entrenamiento. Para obtener más información consulte Proporcionar metadatos del conjunto de datos a trabajos de entrenamiento con un archivo de manifiesto aumentado.

Analice sus datos para detectar sesgos: antes del entrenamiento, puede analizar su conjunto de datos y su modelo para detectar sesgos en relación con un grupo desfavorecido, de modo que pueda comprobar que su modelo aprende un conjunto de datos imparcial mediante SageMaker Clarify.

Elija cuál SageMaker SDK usar: Hay dos formas de iniciar un trabajo de formación SageMaker: utilizando SageMaker Python SDK de alto nivel o utilizando el nivel bajo SageMaker APIs SDK para Python (Boto3) o el. AWS CLI SageMaker Python SDK abstrae el nivel bajo SageMaker API para proporcionar herramientas prácticas. Como se mencionó anteriormenteLa arquitectura básica de SageMaker Training, también puede optar por opciones sin código o con un código mínimo utilizando SageMaker Canvas, JumpStart en SageMaker Studio Classic, o Autopilot. SageMaker

Configure la infraestructura: elija el tipo de instancia y las herramientas de administración de infraestructura adecuados para su caso de uso. Puede empezar desde una instancia pequeña y ampliarla en función de su carga de trabajo. Para entrenar un modelo en un conjunto de datos tabular, comience con la CPU instancia más pequeña de las familias de instancias C4 o C5. Para entrenar un modelo grande para la visión artificial o el procesamiento del lenguaje natural, comienza con la GPU instancia más pequeña de las familias de instancias P2, P3, G4dn o G5. También puedes combinar distintos tipos de instancias en un clúster o mantener las instancias en grupos cálidos con las siguientes herramientas de administración de instancias que ofrece. SageMaker También puede utilizar la caché persistente para reducir la latencia y el tiempo facturable en los trabajos de entrenamiento iterativos, en lugar de reducir la latencia únicamente en los grupos cálidos. Para obtener más información, consulte los temas siguientes.

Debe tener una cuota suficiente para realizar un trabajo de entrenamiento. Si realiza su trabajo de entrenamiento en una instancia en el que su cuota es insuficiente, recibirá un error ResourceLimitExceeded. Para comprobar las cuotas actualmente disponibles en su cuenta, utilice la consola Service Quotas. Para obtener más información sobre cómo solicitar un aumento de cuotas, consulte Cuotas y regiones compatibles. Además, para encontrar información sobre los precios y los tipos de instancias disponibles en función de Regiones de AWS ellos, consulta las tablas de la página de SageMaker precios de Amazon.

Ejecute un trabajo de formación desde un código local: puede anotar su código local con un decorador remoto para ejecutar el código como un trabajo de SageMaker formación desde Amazon SageMaker Studio Classic, un SageMaker bloc de notas de Amazon o desde su entorno de desarrollo integrado local. Para obtener más información, consulte Ejecuta tu código local como un trabajo SageMaker de formación.

Realice un seguimiento de los trabajos de formación: supervise y realice un seguimiento de sus trabajos de formación mediante SageMaker Experiments, SageMaker Debugger o Amazon CloudWatch. Puedes ver el rendimiento del modelo en términos de precisión y convergencia, y realizar un análisis comparativo de las métricas entre varios trabajos de formación mediante SageMaker experimentos. Puede ver la tasa de utilización de los recursos informáticos utilizando las herramientas de creación de perfiles de SageMaker Debugger o Amazon. CloudWatch Para obtener más información, consulte los temas siguientes.

Además, para las tareas de aprendizaje profundo, utilice las herramientas de SageMaker depuración del modelo Amazon Debugger y las reglas integradas para identificar problemas más complejos en los procesos de convergencia de modelos y actualización de peso.

Formación distribuida: si su trabajo de formación va a pasar a una fase estable y no se interrumpe debido a una mala configuración de la infraestructura de formación o a out-of-memory problemas, tal vez le interese buscar más opciones para escalar su trabajo y prolongarlo durante un período de tiempo prolongado, durante días e incluso meses. Cuando esté preparado para ampliarlo, considere la posibilidad de impartir formación distribuida. SageMaker ofrece varias opciones para la computación distribuida, desde cargas de trabajo ligeras de aprendizaje automático hasta cargas de trabajo pesadas de aprendizaje profundo.

Para las tareas de aprendizaje profundo que implican el entrenamiento de modelos muy grandes en conjuntos de datos muy grandes, considere la posibilidad de utilizar una de las estrategias de entrenamiento SageMaker distribuidas para escalar y lograr el paralelismo de datos, el paralelismo de modelos o una combinación de ambos. También puedes usar SageMaker Training Compiler para compilar y optimizar gráficos de modelos en instancias. GPU Estas SageMaker funciones son compatibles con marcos de aprendizaje profundo como PyTorch TensorFlow, y Hugging Face Transformers.

Ajuste de hiperparámetros del modelo: ajuste los hiperparámetros del modelo mediante el ajuste automático del modelo con. SageMaker SageMaker proporciona métodos de ajuste de hiperparámetros, como la búsqueda en cuadrículas y la búsqueda bayesiana, y lanza trabajos de ajuste de hiperparámetros paralelos con una funcionalidad de parada temprana para trabajos de ajuste de hiperparámetros que no mejoran.

Control y ahorro de costes con instancias de Spot: si el tiempo de entrenamiento no es un problema importante, podría considerar la posibilidad de optimizar los costes de entrenamiento de modelos con instancias de Spot gestionadas. Tenga en cuenta que debe activar los puntos de control para que el entrenamiento de Spot siga recuperándose de las pausas intermitentes de los trabajos debidas a la sustitución de instancias de Spot. También puede utilizar la función de puntos de control para hacer copias de seguridad de sus modelos en caso de que termine inesperadamente su trabajo de entrenamiento. Para obtener más información, consulte los temas siguientes.

Obtenga el modelo de referencia: una vez que tenga el artefacto del modelo, puede configurarlo como modelo de referencia. Tenga en cuenta las siguientes acciones posteriores a la formación y el uso de SageMaker las funciones antes de pasar del despliegue del modelo a la producción.

Examine el rendimiento del modelo y compruebe si hay sesgos: utilice Amazon CloudWatch Metrics y SageMaker Clarify para detectar el sesgo posterior al entrenamiento para detectar cualquier sesgo en los datos entrantes y modelar a lo largo del tiempo con respecto a la línea base. Debe evaluar sus nuevos datos y modelar las predicciones comparándolos con los nuevos datos de forma regular o en tiempo real. Con estas funciones, puede recibir alertas sobre cualquier cambio o anomalía aguda, así como sobre cambios o desviaciones graduales en los datos y el modelo.

También puede utilizar la funcionalidad de entrenamiento incremental SageMaker para cargar y actualizar su modelo (o ajustarlo) con un conjunto de datos ampliado.

Para organizar todo el ciclo de vida del aprendizaje automático, puedes registrar el entrenamiento con modelos como parte de tu SageMaker proceso de trabajo o como parte de SageMaker otras funciones de flujo de trabajo que ofrece.