Configurazione dello stimatore con parametri per la profilazione di base utilizzando i moduli Amazon SageMaker Debugger Python

Per impostazione predefinita, la profilazione di base di SageMaker Debugger è attiva per impostazione predefinita e monitora i parametri di utilizzo delle risorse, come l'utilizzo della CPU, l'utilizzo della GPU, l'utilizzo della memoria GPU, la rete e il tempo di I/O attesa, di tutti i lavori di formazione inviati utilizzando l'Amazon Python SDK. SageMaker SageMaker SageMaker Debugger raccoglie queste metriche di utilizzo delle risorse ogni 500 millisecondi. Non è necessario apportare ulteriori modifiche al codice, allo script di addestramento o all’utilità di avvio del processo per tenere traccia dell'utilizzo di base delle risorse. Se desideri modificare l'intervallo di raccolta delle metriche per la profilazione di base, puoi specificare i Debugger-specific parametri durante la creazione di un SageMaker training job launcher utilizzando Python SDK o (CLI). SageMaker AWS SDK per Python (Boto3) AWS Command Line Interface In questa guida, ci concentriamo su come modificare le opzioni di profilazione utilizzando l'SDK Amazon Python. SageMaker Questa pagina fornisce modelli di riferimento per la configurazione di questo oggetto di stima.

Se desideri accedere alla dashboard delle metriche di utilizzo delle risorse relative al tuo lavoro di formazione in SageMaker Studio, puoi passare al. Interfaccia utente SageMaker di Amazon Debugger in Amazon SageMaker Studio Classic Experiments

Se desideri attivare automaticamente le regole che rilevano automaticamente i problemi di utilizzo delle risorse di sistema, puoi aggiungere il parametro rules nell'oggetto dello strumento di valutazione per l'attivazione delle regole.

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Modello di codice per configurare un oggetto di stima SageMaker AI con i moduli Debugger Python nell'AI Python SDK SageMaker SageMaker

Per modificare la configurazione di base del profilo (profiler_config) o aggiungere le regole del profiler (rules), usa il seguente modello per impostare un lavoro di formazione sull'intelligenza artificiale. SageMaker Nelle pagine successive, puoi trovare ulteriori informazioni su come configurare i due parametri.

# An example of creating a training job with profiler configuration
import boto3
from sagemaker.core import image_uris
from sagemaker.core.resources import TrainingJob
from sagemaker.core.shapes import (
    AlgorithmSpecification,
    ResourceConfig,
    OutputDataConfig,
    StoppingCondition,
    ProfilerConfig as CoreProfilerConfig,
    ProfilerRuleConfiguration,
)

session=boto3.session.Session()
region=session.region_name

# Retrieve the training image for your framework
# Change framework to "tensorflow", "mxnet", "xgboost", etc. as needed
training_image = image_uris.retrieve(
    framework="pytorch",  # or "tensorflow", "mxnet", "xgboost"
    region=region,
    version="1.12.0",
    py_version="py37",
    instance_type="ml.p3.2xlarge",
    image_scope="training"
)

profiler_config=CoreProfilerConfig(...)
profiler_rule_configurations=[
    ProfilerRuleConfiguration(
        rule_configuration_name="BuiltInRule",
        rule_evaluator_image="rule-evaluator-image-uri",
    )
]

TrainingJob.create(
    training_job_name="debugger-profiling-demo",
    algorithm_specification=AlgorithmSpecification(
        training_image=training_image,
        training_input_mode="File",
    ),
    role_arn="arn:aws:iam::123456789012:role/SageMakerRole",
    resource_config=ResourceConfig(instance_type="ml.p3.2xlarge", instance_count=1, volume_size_in_gb=30),
    output_data_config=OutputDataConfig(s3_output_path="s3://bucket/output"),
    stopping_condition=StoppingCondition(max_runtime_in_seconds=3600),

    # SageMaker Debugger parameters
    profiler_config=profiler_config,
    profiler_rule_configurations=profiler_rule_configurations,
)

Di seguito vengono fornite brevi descrizioni dei parametri.

Consulta i seguenti argomenti per scoprire come configurare i parametri in dettaglio. Debugger-specific