SageMaker Kits de herramientas de formación e inferencia - Amazon SageMaker AI
SageMaker Estructura de contenedores de kits de herramientas de IAContenedores individuales frente a contenedores múltiples

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

SageMaker Kits de herramientas de formación e inferencia

Los kits de herramientas de SageMaker formación e inferencia de SageMaker IA implementan la funcionalidad que necesita para adaptar sus contenedores a fin de ejecutar scripts, entrenar algoritmos e implementar modelos en IA. SageMaker Cuando se instala, la biblioteca define lo siguiente para los usuarios:

  • Las ubicaciones para almacenar código y otros recursos.

  • El punto de entrada que contiene el código que se ejecutará al iniciarse el contenedor. Su Dockerfile debe copiar el código que debe ejecutarse en la ubicación esperada por un contenedor que sea compatible con la IA. SageMaker

  • Otra información que un contenedor necesita para gestionar implementaciones para entrenamiento e inferencia.

SageMaker Estructura de contenedores de kits de herramientas de IA

Cuando la SageMaker IA entrena un modelo, crea la siguiente estructura de carpetas de archivos en el /opt/ml directorio del contenedor.

/opt/ml
├── input
│   ├── config
│   │   ├── hyperparameters.json
│   │   └── resourceConfig.json
│   └── data
│       └── <channel_name>
│           └── <input data>
├── model
│
├── code
│
├── output
│
└── failure

Cuando ejecutas un trabajo de entrenamiento de modelos, el contenedor de SageMaker IA usa el /opt/ml/input/ directorio, que contiene los archivos JSON que configuran los hiperparámetros del algoritmo y el diseño de red utilizado para el entrenamiento distribuido. El /opt/ml/input/ directorio también contiene archivos que especifican los canales a través de los cuales la SageMaker IA accede a los datos, que se almacenan en Amazon Simple Storage Service (Amazon S3). La biblioteca de contenedores de SageMaker IA coloca los scripts que el contenedor ejecutará en el /opt/ml/code/ directorio. Su script debe escribir el modelo generado por su algoritmo en el directorio /opt/ml/model/. Para obtener más información, consulte Contenedores con algoritmos de entrenamiento personalizados.

Cuando alojas un modelo entrenado en SageMaker IA para hacer inferencias, implementas el modelo en un punto final HTTP. El modelo hace predicciones en tiempo real en respuesta a solicitudes de inferencia. El contenedor debe contener una pila de distribución para procesar estas solicitudes.

En un contenedor de transformación por lotes o alojamiento, los archivos del modelo se encuentran en la misma carpeta en la que se escribieron durante la entrenamiento.

/opt/ml/model
│
└── <model files>

Para obtener más información, consulte Contenedores con código de inferencia personalizado.

Contenedores individuales frente a contenedores múltiples

Puede proporcionar imágenes de Docker independientes para el algoritmo de entrenamiento y código de inferencia, o puede utilizar una única imagen de Docker para ambos. Al crear imágenes de Docker para usarlas con SageMaker IA, tenga en cuenta lo siguiente:

  • Proporcionar dos imágenes de Docker puede aumentar los requisitos de almacenamiento y el costo, ya que las bibliotecas comunes pueden duplicarse.

  • Por regla general, los contenedores más pequeños se inician más rápido para el alojamiento y la capacitación. Los modelos realizan una capacitación más rápida y el servicio de alojamiento puede reaccionar a los aumentos de tráfico mediante un escalado automático más rápido.

  • Es posible que pueda escribir un contenedor de inferencias que sea significativamente más pequeño que el contenedor de capacitación. Esto es especialmente común cuando se utiliza GPUs para entrenamiento, pero el código de inferencia está optimizado para ello. CPUs

  • SageMaker La IA requiere que los contenedores Docker se ejecuten sin acceso privilegiado.

  • Tanto los contenedores Docker que usted cree como los que proporciona la SageMaker IA pueden enviar mensajes a los archivos Stdout yStderr. SageMaker La IA envía estos mensajes a CloudWatch los registros de Amazon de tu AWS cuenta.

Para obtener más información sobre cómo crear contenedores de SageMaker IA y cómo se ejecutan los scripts en ellos, consulte los repositorios del kit de herramientas de formación sobre SageMaker IA y del kit de herramientas de inferencia de SageMaker IA en. GitHub También proporcionan listas de variables ambientales importantes y de las variables ambientales que proporcionan los contenedores de IA. SageMaker