Seleccione sus preferencias de cookies

Usamos cookies esenciales y herramientas similares que son necesarias para proporcionar nuestro sitio y nuestros servicios. Usamos cookies de rendimiento para recopilar estadísticas anónimas para que podamos entender cómo los clientes usan nuestro sitio y hacer mejoras. Las cookies esenciales no se pueden desactivar, pero puede hacer clic en “Personalizar” o “Rechazar” para rechazar las cookies de rendimiento.

Si está de acuerdo, AWS y los terceros aprobados también utilizarán cookies para proporcionar características útiles del sitio, recordar sus preferencias y mostrar contenido relevante, incluida publicidad relevante. Para aceptar o rechazar todas las cookies no esenciales, haga clic en “Aceptar” o “Rechazar”. Para elegir opciones más detalladas, haga clic en “Personalizar”.

Referencias de Amazon SageMaker Debugger

Modo de enfoque
Referencias de Amazon SageMaker Debugger - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Encontrará más información y referencias sobre el uso de Amazon SageMaker Debugger en los siguientes temas.

Amazon SageMaker Debugger APIs

Amazon SageMaker Debugger tiene operaciones de API en varias ubicaciones que se utilizan para implementar su supervisión y análisis del entrenamiento de modelos.

Amazon SageMaker Debugger también proporciona el SDK de sagemaker-debugger Python de código abierto que se utiliza para configurar reglas integradas, definir reglas personalizadas y registrar enlaces para recopilar datos de tensores de salida de los trabajos de entrenamiento.

El Amazon SageMaker AI Python SDK es un SDK de alto nivel centrado en la experimentación con aprendizaje automático. El SDK se puede usar para implementar reglas integradas o personalizadas definidas con la biblioteca de SMDebug Python para monitorear y analizar estos tensores mediante estimadores de SageMaker IA.

Debugger ha agregado operaciones y tipos a la SageMaker API de Amazon que permiten a la plataforma usar Debugger al entrenar un modelo y administrar la configuración de entradas y salidas.

Las operaciones de la API de configuración de reglas utilizan la funcionalidad de SageMaker procesamiento al analizar el entrenamiento de un modelo. Para obtener más información sobre SageMaker el procesamiento, consulteCargas de trabajo de transformación de datos con procesamiento SageMaker .

Imágenes de Docker para reglas del depurador

Amazon SageMaker AI proporciona dos conjuntos de imágenes de Docker para las reglas: un conjunto para evaluar las reglas proporcionadas por la SageMaker IA (reglas integradas) y otro conjunto para evaluar las reglas personalizadas proporcionadas en los archivos fuente de Python.

Si usa el SDK de Amazon SageMaker Python, simplemente puede usar las operaciones de la API Debugger de alto nivel de SageMaker IA con las operaciones de la API SageMaker AI Estimator, sin tener que recuperar manualmente las imágenes de Docker del Debugger y configurar la API. ConfigureTrainingJob

Si no está utilizando el SDK de SageMaker Python, debe recuperar una imagen base de contenedor prediseñada relevante para las reglas del depurador. Amazon SageMaker Debugger proporciona imágenes de Docker prediseñadas para reglas integradas y personalizadas, y las imágenes se almacenan en Amazon Elastic Container Registry (Amazon ECR). Para extraer una imagen de un repositorio de Amazon ECR (o para insertar una imagen en uno), utilice la URL de registro del nombre completo de la imagen mediante la CreateTrainingJob API. SageMaker AI utiliza los siguientes patrones de URL para la dirección de registro de imágenes del contenedor de reglas del depurador.

<account_id>.dkr.ecr.<Region>.amazonaws.com/<ECR repository name>:<tag>

Para conocer el ID de cuenta de cada AWS región, el nombre del repositorio de Amazon ECR y el valor de la etiqueta, consulte los siguientes temas.

Imagen de Amazon SageMaker Debugger URIs para evaluadores de reglas integrados

Utilice los siguientes valores para los componentes del registro URLs de las imágenes que proporcionan reglas integradas para Amazon SageMaker Debugger. Para obtener información sobre la cuenta IDs, consulte la siguiente tabla.

Nombre del repositorio de ECR: sagemaker-debugger-rules

Etiqueta: última

Ejemplo de una dirección URL completa del registro:

904829902805.dkr.ecr.ap-south-1.amazonaws.com/sagemaker-debugger-rules:latest

Tenga en cuenta IDs las imágenes del contenedor de reglas integradas por región AWS

Región account_id
af-south-1

314341159256

ap-east-1

199566480951

ap-northeast-1

430734990657

ap-northeast-2

578805364391

ap-south-1

904829902805

ap-southeast-1

972752614525

ap-southeast-2

184798709955

ca-central-1

519511493484

cn-north-1

618459771430

cn-northwest-1

658757709296

eu-central-1

482524230118

eu-north-1

314864569078

eu-south-1

563282790590

eu-west-1

929884845733

eu-west-2

250201462417

eu-west-3

447278800020

me-south-1

986000313247

sa-east-1

818342061345

us-east-1

503895931360

us-east-2

915447279597

us-west-1

685455198987

us-west-2

895741380848

us-gov-west-1

515509971035

Imagen de Amazon SageMaker Debugger URIs para evaluadores de reglas personalizados

Utilice los siguientes valores para los componentes de la URL del registro para las imágenes que proporcionan evaluadores de reglas personalizados para Amazon SageMaker Debugger. Para obtener información sobre IDs la cuenta, consulte la siguiente tabla.

Nombre del repositorio de ECR: sagemaker-debugger-rule-evaluator

Etiqueta: última

Ejemplo de una dirección URL completa del registro:

552407032007.dkr.ecr.ap-south-1.amazonaws.com/sagemaker-debugger-rule-evaluator:latest

Tenga en cuenta IDs las imágenes del contenedor de reglas personalizadas por región AWS

Región account_id
af-south-1

515950693465

ap-east-1

645844755771

ap-northeast-1

670969264625

ap-northeast-2

326368420253

ap-south-1

552407032007

ap-southeast-1

631532610101

ap-southeast-2

445670767460

ca-central-1

105842248657

cn-north-1

617202126805

cn-northwest-1

658559488188

eu-central-1

691764027602

eu-north-1

091235270104

eu-south-1

335033873580

eu-west-1

606966180310

eu-west-2

074613877050

eu-west-3

224335253976

me-south-1

050406412588

sa-east-1

466516958431

us-east-1

864354269164

us-east-2

840043622174

us-west-1

952348334681

us-west-2

759209512951

us-gov-west-1

515361955729

Excepciones de Amazon SageMaker Debugger

Amazon SageMaker Debugger está diseñado para tener en cuenta que es posible que los tensores necesarios para ejecutar una regla no estén disponibles en todos los pasos. Como resultado, plantea algunas excepciones que le permiten controlar lo que sucede cuando falta un tensor. Estas excepciones están disponibles en el módulo smdebug.exceptions. Puede importarlos de la siguiente manera:

from smdebug.exceptions import *

Están disponibles las siguientes excepciones:

  • TensorUnavailableForStep: el tensor solicitado no está disponible para el paso. Esto podría significar que el enlace podría no guardar este paso o que este paso podría haber guardado algunos tensores pero el tensor solicitado no forma parte de ellos. Tenga en cuenta que cuando vea esta excepción, significa que este tensor nunca podrá estar disponible para este paso en el futuro. Si el tensor tiene reducciones guardadas para el paso, le notifica que se pueden consultar.

  • TensorUnavailable: este tensor no se está guardando o no lo ha guardado la API smdebug. Esto significa que este tensor nunca se verá para ningún paso en smdebug.

  • StepUnavailable: el paso no se guardó y el depurador no tiene datos del paso.

  • StepNotYetAvailable: smdebug aún no ha visto el paso. Es posible que esté disponible en el futuro si el entrenamiento aún continúa. El depurador carga automáticamente los datos nuevos en cuanto están disponibles.

  • NoMoreData: se planteó cuando termina el entrenamiento. Una vez que vea esto, sabe que no hay más pasos y no hay más tensores que guardar.

  • IndexReaderException: el lector de índices no es válido.

  • InvalidWorker: se invocó un trabajador que no era válido.

  • RuleEvaluationConditionMet: la evaluación de la regla en el paso dio lugar a que se cumpliera la condición.

  • InsufficientInformationForRuleInvocation: no se proporcionó suficiente información para invocar la regla.

Capacitación distribuida respaldada por Amazon SageMaker Debugger

La siguiente lista muestra el alcance de la validez y las consideraciones a la hora de utilizar el depurador en trabajos de entrenamiento con marcos de aprendizaje profundo y diversas opciones de entrenamiento distribuido.

  • Horovod

    Ámbito de validez del uso del depurador para trabajos de entrenamiento con Horovod

    Marco de aprendizaje profundo Apache MXNet TensorFlow 1.x TensorFlow 2.x TensorFlow 2.x con Keras PyTorch
    Cuellos de botella del sistema de monitorización
    Operaciones del marco de creación de perfiles No No No
    Depuración de tensores de salida de modelos
  • SageMaker Datos distribuidos de IA en paralelo

    Ámbito de validez del uso de Debugger para trabajos de formación con SageMaker IA distribuida de datos en paralelo

    Marco de aprendizaje profundo TensorFlow 2.x TensorFlow 2.x con Keras PyTorch
    Cuellos de botella del sistema de monitorización
    Operaciones del marco de creación de perfiles No* No**
    Depuración de tensores de salida de modelos

    * El depurador no admite la creación de perfiles de framework para la versión 2.x. TensorFlow

    ** Los datos distribuidos paralelos de SageMaker IA no admiten la versión TensorFlow 2.x con la implementación de Keras.

  • SageMaker Modelo distribuido de IA en paralelo: el depurador no admite el entrenamiento en paralelo de modelos distribuidos de SageMaker IA.

  • Entrenamiento distribuido con puntos de control de SageMaker IA: el depurador no está disponible para trabajos de formación cuando están habilitados tanto la opción de entrenamiento distribuido como los puntos de control de SageMaker IA. Es posible que aparezca un error como el siguiente:

    SMDebug Does Not Currently Support Distributed Training Jobs With Checkpointing Enabled

    Para utilizar Debugger para tareas de formación con opciones de formación distribuidas, debes desactivar los puntos de control de SageMaker IA y añadir funciones de puntos de control manuales a tu guion de entrenamiento. Para obtener más información sobre el uso del depurador con opciones de entrenamiento y puntos de control distribuidos, consulte Uso de datos distribuidos de SageMaker IA en paralelo con Amazon SageMaker Debugger y puntos de control y Guardar puntos de control.

  • Servidor de parámetros: el depurador no admite el entrenamiento distribuido basado en un servidor de parámetros.

  • La creación de perfiles de las operaciones del marco de entrenamiento distribuido, como la AllReduced operación de datos distribuidos de SageMaker IA en paralelo y las operaciones de Horovod, no está disponible.

PrivacidadTérminos del sitioPreferencias de cookies
© 2025, Amazon Web Services, Inc o sus afiliados. Todos los derechos reservados.