Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Encontrará más información y referencias sobre el uso de Amazon SageMaker Debugger en los siguientes temas.
Temas
Amazon SageMaker Debugger APIs
Amazon SageMaker Debugger tiene operaciones de API en varias ubicaciones que se utilizan para implementar su supervisión y análisis del entrenamiento de modelos.
Amazon SageMaker Debugger también proporciona el SDK de sagemaker-debugger
Python
El Amazon SageMaker AI Python SDKSMDebug
Python para monitorear y analizar estos tensores mediante estimadores de SageMaker IA.
Debugger ha agregado operaciones y tipos a la SageMaker API de Amazon que permiten a la plataforma usar Debugger al entrenar un modelo y administrar la configuración de entradas y salidas.
-
CreateTrainingJob
yUpdateTrainingJob
utilice el siguiente depurador APIs para configurar las colecciones de tensores, las reglas, las imágenes de reglas y las opciones de creación de perfiles: -
DescribeTrainingJob
proporciona una descripción completa de un trabajo de entrenamiento, que incluye las siguientes configuraciones del depurador y los estados de evaluación de las reglas:
Las operaciones de la API de configuración de reglas utilizan la funcionalidad de SageMaker procesamiento al analizar el entrenamiento de un modelo. Para obtener más información sobre SageMaker el procesamiento, consulteCargas de trabajo de transformación de datos con procesamiento SageMaker .
Imágenes de Docker para reglas del depurador
Amazon SageMaker AI proporciona dos conjuntos de imágenes de Docker para las reglas: un conjunto para evaluar las reglas proporcionadas por la SageMaker IA (reglas integradas) y otro conjunto para evaluar las reglas personalizadas proporcionadas en los archivos fuente de Python.
Si usa el SDK de Amazon SageMaker PythonConfigureTrainingJob
Si no está utilizando el SDK de SageMaker Python, debe recuperar una imagen base de contenedor prediseñada relevante para las reglas del depurador. Amazon SageMaker Debugger proporciona imágenes de Docker prediseñadas para reglas integradas y personalizadas, y las imágenes se almacenan en Amazon Elastic Container Registry (Amazon ECR). Para extraer una imagen de un repositorio de Amazon ECR (o para insertar una imagen en uno), utilice la URL de registro del nombre completo de la imagen mediante la CreateTrainingJob
API. SageMaker AI utiliza los siguientes patrones de URL para la dirección de registro de imágenes del contenedor de reglas del depurador.
<account_id>.dkr.ecr.<Region>.amazonaws.com/<ECR repository name>:<tag>
Para conocer el ID de cuenta de cada AWS región, el nombre del repositorio de Amazon ECR y el valor de la etiqueta, consulte los siguientes temas.
Temas
Imagen de Amazon SageMaker Debugger URIs para evaluadores de reglas integrados
Utilice los siguientes valores para los componentes del registro URLs de las imágenes que proporcionan reglas integradas para Amazon SageMaker Debugger. Para obtener información sobre la cuenta IDs, consulte la siguiente tabla.
Nombre del repositorio de ECR: sagemaker-debugger-rules
Etiqueta: última
Ejemplo de una dirección URL completa del registro:
904829902805.dkr.ecr.ap-south-1.amazonaws.com/sagemaker-debugger-rules:latest
Tenga en cuenta IDs las imágenes del contenedor de reglas integradas por región AWS
Región | account_id |
---|---|
af-south-1 |
314341159256 |
ap-east-1 |
199566480951 |
ap-northeast-1 |
430734990657 |
ap-northeast-2 |
578805364391 |
ap-south-1 |
904829902805 |
ap-southeast-1 |
972752614525 |
ap-southeast-2 |
184798709955 |
ca-central-1 |
519511493484 |
cn-north-1 |
618459771430 |
cn-northwest-1 |
658757709296 |
eu-central-1 |
482524230118 |
eu-north-1 |
314864569078 |
eu-south-1 |
563282790590 |
eu-west-1 |
929884845733 |
eu-west-2 |
250201462417 |
eu-west-3 |
447278800020 |
me-south-1 |
986000313247 |
sa-east-1 |
818342061345 |
us-east-1 |
503895931360 |
us-east-2 |
915447279597 |
us-west-1 |
685455198987 |
us-west-2 |
895741380848 |
us-gov-west-1 |
515509971035 |
Imagen de Amazon SageMaker Debugger URIs para evaluadores de reglas personalizados
Utilice los siguientes valores para los componentes de la URL del registro para las imágenes que proporcionan evaluadores de reglas personalizados para Amazon SageMaker Debugger. Para obtener información sobre IDs la cuenta, consulte la siguiente tabla.
Nombre del repositorio de ECR: sagemaker-debugger-rule-evaluator
Etiqueta: última
Ejemplo de una dirección URL completa del registro:
552407032007.dkr.ecr.ap-south-1.amazonaws.com/sagemaker-debugger-rule-evaluator:latest
Tenga en cuenta IDs las imágenes del contenedor de reglas personalizadas por región AWS
Región | account_id |
---|---|
af-south-1 |
515950693465 |
ap-east-1 |
645844755771 |
ap-northeast-1 |
670969264625 |
ap-northeast-2 |
326368420253 |
ap-south-1 |
552407032007 |
ap-southeast-1 |
631532610101 |
ap-southeast-2 |
445670767460 |
ca-central-1 |
105842248657 |
cn-north-1 |
617202126805 |
cn-northwest-1 |
658559488188 |
eu-central-1 |
691764027602 |
eu-north-1 |
091235270104 |
eu-south-1 |
335033873580 |
eu-west-1 |
606966180310 |
eu-west-2 |
074613877050 |
eu-west-3 |
224335253976 |
me-south-1 |
050406412588 |
sa-east-1 |
466516958431 |
us-east-1 |
864354269164 |
us-east-2 |
840043622174 |
us-west-1 |
952348334681 |
us-west-2 |
759209512951 |
us-gov-west-1 |
515361955729 |
Excepciones de Amazon SageMaker Debugger
Amazon SageMaker Debugger está diseñado para tener en cuenta que es posible que los tensores necesarios para ejecutar una regla no estén disponibles en todos los pasos. Como resultado, plantea algunas excepciones que le permiten controlar lo que sucede cuando falta un tensor. Estas excepciones están disponibles en el módulo smdebug.exceptions
from smdebug.exceptions import *
Están disponibles las siguientes excepciones:
-
TensorUnavailableForStep
: el tensor solicitado no está disponible para el paso. Esto podría significar que el enlace podría no guardar este paso o que este paso podría haber guardado algunos tensores pero el tensor solicitado no forma parte de ellos. Tenga en cuenta que cuando vea esta excepción, significa que este tensor nunca podrá estar disponible para este paso en el futuro. Si el tensor tiene reducciones guardadas para el paso, le notifica que se pueden consultar. -
TensorUnavailable
: este tensor no se está guardando o no lo ha guardado la APIsmdebug
. Esto significa que este tensor nunca se verá para ningún paso ensmdebug
. -
StepUnavailable
: el paso no se guardó y el depurador no tiene datos del paso. -
StepNotYetAvailable
:smdebug
aún no ha visto el paso. Es posible que esté disponible en el futuro si el entrenamiento aún continúa. El depurador carga automáticamente los datos nuevos en cuanto están disponibles. -
NoMoreData
: se planteó cuando termina el entrenamiento. Una vez que vea esto, sabe que no hay más pasos y no hay más tensores que guardar. -
IndexReaderException
: el lector de índices no es válido. -
InvalidWorker
: se invocó un trabajador que no era válido. -
RuleEvaluationConditionMet
: la evaluación de la regla en el paso dio lugar a que se cumpliera la condición. -
InsufficientInformationForRuleInvocation
: no se proporcionó suficiente información para invocar la regla.
Capacitación distribuida respaldada por Amazon SageMaker Debugger
La siguiente lista muestra el alcance de la validez y las consideraciones a la hora de utilizar el depurador en trabajos de entrenamiento con marcos de aprendizaje profundo y diversas opciones de entrenamiento distribuido.
-
Horovod
Ámbito de validez del uso del depurador para trabajos de entrenamiento con Horovod
Marco de aprendizaje profundo Apache MXNet TensorFlow 1.x TensorFlow 2.x TensorFlow 2.x con Keras PyTorch Cuellos de botella del sistema de monitorización Sí Sí Sí Sí Sí Operaciones del marco de creación de perfiles No No No Sí Sí Depuración de tensores de salida de modelos Sí Sí Sí Sí Sí -
SageMaker Datos distribuidos de IA en paralelo
Ámbito de validez del uso de Debugger para trabajos de formación con SageMaker IA distribuida de datos en paralelo
Marco de aprendizaje profundo TensorFlow 2.x TensorFlow 2.x con Keras PyTorch Cuellos de botella del sistema de monitorización Sí Sí Sí Operaciones del marco de creación de perfiles No* No** Sí Depuración de tensores de salida de modelos Sí Sí Sí * El depurador no admite la creación de perfiles de framework para la versión 2.x. TensorFlow
** Los datos distribuidos paralelos de SageMaker IA no admiten la versión TensorFlow 2.x con la implementación de Keras.
-
SageMaker Modelo distribuido de IA en paralelo: el depurador no admite el entrenamiento en paralelo de modelos distribuidos de SageMaker IA.
-
Entrenamiento distribuido con puntos de control de SageMaker IA: el depurador no está disponible para trabajos de formación cuando están habilitados tanto la opción de entrenamiento distribuido como los puntos de control de SageMaker IA. Es posible que aparezca un error como el siguiente:
SMDebug Does Not Currently Support Distributed Training Jobs With Checkpointing Enabled
Para utilizar Debugger para tareas de formación con opciones de formación distribuidas, debes desactivar los puntos de control de SageMaker IA y añadir funciones de puntos de control manuales a tu guion de entrenamiento. Para obtener más información sobre el uso del depurador con opciones de entrenamiento y puntos de control distribuidos, consulte Uso de datos distribuidos de SageMaker IA en paralelo con Amazon SageMaker Debugger y puntos de control y Guardar puntos de control.
-
Servidor de parámetros: el depurador no admite el entrenamiento distribuido basado en un servidor de parámetros.
-
La creación de perfiles de las operaciones del marco de entrenamiento distribuido, como la
AllReduced
operación de datos distribuidos de SageMaker IA en paralelo y las operaciones de Horovod, no está disponible.