¿Por qué debería utilizarla MLOps? - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

¿Por qué debería utilizarla MLOps?

A medida que deja de utilizar la inteligencia artificial individual y el aprendizaje automático (AI/ML) projects to using AI/ML to transform your business at scale, the discipline of ML Operations (MLOps) can help. MLOps accounts for the unique aspects of AI/ML projects in project management, CI/CDy el control de calidad), le ayuda a mejorar el tiempo de entrega, reducir los defectos y hacer que la ciencia de datos sea más productiva. MLOps se refiere a una metodología que se basa en la aplicación de DevOps prácticas a las cargas de trabajo del aprendizaje automático. Para un análisis de DevOps los principios, consulte el documento técnico Introduction to DevOps on AWS. Para obtener más información sobre la implementación mediante AWS servicios, consulte Practicar la CI/CD AWS y la infraestructura como código.

Por ejemplo DevOps, MLOps se basa en un enfoque colaborativo y simplificado del ciclo de vida del desarrollo del aprendizaje automático, en el que la intersección de las personas, los procesos y la tecnología optimiza las end-to-end actividades necesarias para desarrollar, crear y operar las cargas de trabajo del aprendizaje automático.

MLOps se centra en la intersección de la ciencia de datos y la ingeniería de datos en combinación con DevOps las prácticas existentes para agilizar la entrega de modelos a lo largo del ciclo de vida del desarrollo del aprendizaje automático. MLOps es la disciplina que consiste en integrar las cargas de trabajo de aprendizaje automático en la gestión de versiones, la CI/CD y las operaciones. MLOps requiere la integración del desarrollo de software, las operaciones, la ingeniería de datos y la ciencia de datos.

Desafíos con MLOps

Si bien MLOps puede proporcionar herramientas valiosas para ayudarlo a escalar su negocio, es posible que se enfrente a ciertos problemas a medida que MLOps se integre en sus cargas de trabajo de aprendizaje automático.

Administración de proyectos

  • En los proyectos de ML participan científicos de datos, un rol relativamente nuevo y que no suele integrarse en equipos multifuncionales. Estos nuevos miembros del equipo suelen hablar un lenguaje técnico muy diferente al de los propietarios de productos y los ingenieros de software, lo que agrava el problema habitual de traducir los requisitos empresariales en requisitos técnicos.

Comunicación y colaboración

  • Aumentar la visibilidad de los proyectos de aprendizaje automático y permitir la colaboración entre las diferentes partes interesadas, como ingenieros de datos, científicos de datos e ingenieros de aprendizaje automático, DevOps es cada vez más importante para garantizar resultados satisfactorios.

Todo es código

  • Uso de los datos de producción en las actividades de desarrollo, ciclos de vida de experimentación más prolongados, dependencias de las canalizaciones de datos, reentrenamiento de canalizaciones de implementación y métricas únicas para evaluar el rendimiento de un modelo.

  • Los modelos suelen tener un ciclo de vida independiente de las aplicaciones y los sistemas que se integran con esos modelos.

  • Todo el end-to-end sistema se puede reproducir mediante código versionado y artefactos. DevOps los proyectos utilizan Infrastructure-as-Code (IaC) y Configuration-as-Code (CaC) para crear entornos, y Pipelines-as-Code (PaC) para garantizar una CI/CD patterns. The pipelines have to integrate with Big Data and ML training workflows. That often means that the pipeline is a combination of a traditional CI/CD herramienta coherente y otro motor de flujo de trabajo. Muchos proyectos de ML presentan importantes preocupaciones en materia de política, por lo que es posible que la canalización también tenga que hacer cumplir esas políticas. Los datos de entrada sesgados producen resultados sesgados, lo que preocupa cada vez más a las partes interesadas de la empresa.

CI/CD

  • En MLOps, los datos de origen son una entrada de primera clase, junto con el código fuente. Por MLOps eso, es necesario versionar los datos de origen e iniciar la ejecución de la canalización cuando cambien los datos de origen o de inferencia.

  • Las canalizaciones también deben versionar los modelos de ML, junto con las entradas y otras salidas, a fin de garantizar la trazabilidad.

  • Las pruebas automatizadas deben incluir la validación adecuada del modelo de ML durante las fases de construcción y cuando el modelo está en producción.

  • Las fases de creación pueden incluir el entrenamiento y el reentrenamiento del modelo, un proceso que requiere mucho tiempo y recursos. Las canalizaciones deben ser lo suficientemente detalladas como para que el ciclo de entrenamiento completo solo se realice cuando cambien los datos de origen o el código de ML, no cuando cambien los componentes relacionados.

  • Como el código de machine learning suele ser una pequeña parte de una solución global, una canalización de implementación también puede incorporar pasos adicionales necesarios para empaquetar un modelo para que se consuma como API en otras aplicaciones y sistemas.

Monitoreo y registro

  • Las fases de ingeniería de características y entrenamiento de modelos son necesarias para capturar las métricas de entrenamiento de los modelos, así como los experimentos con modelos. Para ajustar un modelo de ML, es necesario manipular la forma de los datos de entrada, así como los hiperparámetros del algoritmo, y capturar esos experimentos de forma sistemática. El seguimiento de los experimentos ayuda a los científicos de datos a trabajar de forma más eficaz y proporciona una instantánea de su trabajo que se puede reproducir.

  • Los modelos de ML implementados requieren la supervisión de los datos que se transmiten al modelo para su inferencia, junto con las métricas estándar de estabilidad y rendimiento de los puntos de conexión. El sistema de supervisión también debe capturar la calidad de la salida del modelo, que se evalúa mediante una métrica de ML adecuada.

Ventajas de MLOps

La adopción de MLOps prácticas le permite acelerar time-to-market los proyectos de aprendizaje automático al ofrecer los siguientes beneficios.

  • Productividad: proporcionar entornos de autoservicio con acceso a conjuntos de datos seleccionados permite a los ingenieros y científicos de datos actuar con mayor rapidez y perder menos tiempo con datos ausentes o no válidos.

  • Repetibilidad: la automatización de todos los pasos del MLDC ayuda a garantizar un proceso que se puede repetir, incluida la forma en que se entrena, se evalúa, se controlan las versiones y se implementa el modelo.

  • Fiabilidad: la incorporación de prácticas de CI/CD permite no solo realizar una implementación rápida, sino también con mayor calidad y coherencia.

  • Auditabilidad: el control de versiones de todas las entradas y salidas, desde los experimentos de ciencia de datos hasta los datos de origen y el modelo entrenado, permite demostrar exactamente cómo se creó el modelo y dónde se implementó.

  • Calidad de los datos y los modelos: nos MLOps permite aplicar políticas que protegen contra los sesgos del modelo y realizar un seguimiento de los cambios en las propiedades estadísticas de los datos y en la calidad del modelo a lo largo del tiempo.