Estimator-Konfiguration mit Parametern für die grundlegende Profilerstellung mithilfe der Amazon SageMaker Debugger-Python-Module

Standardmäßig ist die grundlegende Profilerstellung von SageMaker Debugger standardmäßig aktiviert und überwacht Kennzahlen zur Ressourcenauslastung wie CPU-Auslastung, GPU-Auslastung, GPU-Speicherauslastung, Netzwerk und I/O Wartezeit aller SageMaker Trainingsaufträge, die mit dem Amazon Python SDK eingereicht wurden. SageMaker SageMaker Der Debugger erfasst diese Metriken zur Ressourcenauslastung alle 500 Millisekunden. Sie müssen keine zusätzlichen Änderungen an Ihrem Code, Trainingsskript oder dem Job Launcher vornehmen, um die grundlegende Ressourcenauslastung zu verfolgen. Wenn Sie das Metrikerfassungsintervall für die grundlegende Profilerstellung ändern möchten, können Sie Debugger-specific Parameter angeben, während Sie mithilfe des SageMaker Python-SDK oder (CLI) einen SageMaker Trainingsauftragsstarter erstellen. AWS SDK für Python (Boto3) AWS Command Line Interface In diesem Handbuch konzentrieren wir uns darauf, wie Sie die Profilerstellungsoptionen mithilfe des Amazon SageMaker Python SDK ändern. Diese Seite enthält Referenzvorlagen für die Konfiguration dieses Schätzobjekts.

Wenn Sie in SageMaker Studio auf das Dashboard mit den Kennzahlen zur Ressourcenauslastung Ihres Trainingsjobs zugreifen möchten, können Sie auf das Amazon SageMaker Debugger-Benutzeroberfläche in Amazon SageMaker Studio Classic Experiments wechseln.

Wenn Sie die Regeln aktivieren möchten, die Probleme mit der Systemressourcenauslastung automatisch erkennen, können Sie den rules Parameter zum Aktivieren der Regeln im Estimator-Objekt hinzufügen.

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Codevorlage für die Konfiguration eines SageMaker AI-Schätzobjekts mit den SageMaker Debugger-Python-Modulen im AI Python SDK SageMaker

Verwenden Sie die folgende Vorlage für die Einrichtung eines AI-Trainingsjobs, um die grundlegende Profiling-Konfiguration (profiler_configrules) anzupassen () oder die Profiler-Regeln hinzuzufügen (). SageMaker Auf den nachfolgenden Seiten finden Sie mehr Informationen darüber, wie Sie die beiden Parameter konfigurieren.

# An example of creating a training job with profiler configuration
import boto3
from sagemaker.core import image_uris
from sagemaker.core.resources import TrainingJob
from sagemaker.core.shapes import (
    AlgorithmSpecification,
    ResourceConfig,
    OutputDataConfig,
    StoppingCondition,
    ProfilerConfig as CoreProfilerConfig,
    ProfilerRuleConfiguration,
)

session=boto3.session.Session()
region=session.region_name

# Retrieve the training image for your framework
# Change framework to "tensorflow", "mxnet", "xgboost", etc. as needed
training_image = image_uris.retrieve(
    framework="pytorch",  # or "tensorflow", "mxnet", "xgboost"
    region=region,
    version="1.12.0",
    py_version="py37",
    instance_type="ml.p3.2xlarge",
    image_scope="training"
)

profiler_config=CoreProfilerConfig(...)
profiler_rule_configurations=[
    ProfilerRuleConfiguration(
        rule_configuration_name="BuiltInRule",
        rule_evaluator_image="rule-evaluator-image-uri",
    )
]

TrainingJob.create(
    training_job_name="debugger-profiling-demo",
    algorithm_specification=AlgorithmSpecification(
        training_image=training_image,
        training_input_mode="File",
    ),
    role_arn="arn:aws:iam::123456789012:role/SageMakerRole",
    resource_config=ResourceConfig(instance_type="ml.p3.2xlarge", instance_count=1, volume_size_in_gb=30),
    output_data_config=OutputDataConfig(s3_output_path="s3://bucket/output"),
    stopping_condition=StoppingCondition(max_runtime_in_seconds=3600),

    # SageMaker Debugger parameters
    profiler_config=profiler_config,
    profiler_rule_configurations=profiler_rule_configurations,
)

Im Folgenden finden Sie eine kurze Beschreibung der Parameter.

In den folgenden Themen erfahren Sie, wie Sie die Debugger-specific Parameter im Detail konfigurieren.