Configuração do estimador com parâmetros para criação de perfil básica usando os módulos Python do Amazon SageMaker Debugger

Por padrão, o perfil básico do SageMaker Debugger está ativado por padrão e monitora as métricas de utilização de recursos, como utilização da CPU, utilização da GPU, utilização da memória da GPU, rede e tempo de I/O espera, de todos os trabalhos de treinamento enviados usando o SDK do Amazon Python. SageMaker SageMaker SageMaker O Debugger coleta essas métricas de utilização de recursos a cada 500 milissegundos. Você não precisa fazer alterações adicionais em seu código, script de treinamento ou iniciador de trabalho para rastrear a utilização de recursos básicos. Se quiser alterar o intervalo de coleta de métricas para a criação de perfil básica, você pode especificar Debugger-specific parâmetros ao criar um lançador de tarefas de SageMaker treinamento usando o SDK do SageMaker Python AWS SDK para Python (Boto3), ou AWS Command Line Interface (CLI). Neste guia, nos concentramos em como alterar as opções de criação de perfil usando o Amazon SageMaker Python SDK. Esta página fornece modelos de referência para configurar esse objeto estimador.

Se quiser acessar o painel de métricas de utilização de recursos do seu trabalho de treinamento no SageMaker Studio, você pode acessar o. UI SageMaker do Amazon Debugger em experimentos clássicos do Amazon Studio SageMaker

Se você quiser ativar as regras que detectam problemas de utilização de recursos do sistema automaticamente, você pode adicionar o parâmetro rules no objeto estimador para ativar as regras.

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Modelo de código para configurar um objeto estimador de SageMaker IA com os módulos do SageMaker Debugger Python no SDK do AI Python SageMaker

Para ajustar a configuração básica de criação de perfil (profiler_config) ou adicionar as regras do criador de perfil (rules), use o modelo a seguir para configurar um trabalho de treinamento de SageMaker IA. Nas páginas seguintes, você pode encontrar mais informações sobre como configurar os dois parâmetros:

# An example of creating a training job with profiler configuration
import boto3
from sagemaker.core import image_uris
from sagemaker.core.resources import TrainingJob
from sagemaker.core.shapes import (
    AlgorithmSpecification,
    ResourceConfig,
    OutputDataConfig,
    StoppingCondition,
    ProfilerConfig as CoreProfilerConfig,
    ProfilerRuleConfiguration,
)

session=boto3.session.Session()
region=session.region_name

# Retrieve the training image for your framework
# Change framework to "tensorflow", "mxnet", "xgboost", etc. as needed
training_image = image_uris.retrieve(
    framework="pytorch",  # or "tensorflow", "mxnet", "xgboost"
    region=region,
    version="1.12.0",
    py_version="py37",
    instance_type="ml.p3.2xlarge",
    image_scope="training"
)

profiler_config=CoreProfilerConfig(...)
profiler_rule_configurations=[
    ProfilerRuleConfiguration(
        rule_configuration_name="BuiltInRule",
        rule_evaluator_image="rule-evaluator-image-uri",
    )
]

TrainingJob.create(
    training_job_name="debugger-profiling-demo",
    algorithm_specification=AlgorithmSpecification(
        training_image=training_image,
        training_input_mode="File",
    ),
    role_arn="arn:aws:iam::123456789012:role/SageMakerRole",
    resource_config=ResourceConfig(instance_type="ml.p3.2xlarge", instance_count=1, volume_size_in_gb=30),
    output_data_config=OutputDataConfig(s3_output_path="s3://bucket/output"),
    stopping_condition=StoppingCondition(max_runtime_in_seconds=3600),

    # SageMaker Debugger parameters
    profiler_config=profiler_config,
    profiler_rule_configurations=profiler_rule_configurations,
)

A seguir, são apresentadas breves descrições dos parâmetros.

Consulte os tópicos a seguir para descobrir como configurar os Debugger-specific parâmetros em detalhes.