Amazon SageMaker Debugger Python 모듈을 사용하여 기본 프로파일링을 위한 파라미터로 예측기 구성

기본적으로 SageMaker Debugger 기본 프로파일링은 기본적으로 켜져 있으며 Amazon SageMaker Python SDK를 사용하여 제출된 모든 SageMaker 훈련 작업의 CPU 사용률, GPU 사용률, GPU 메모리 사용률, 네트워크 및 I/O 대기 시간과 같은 리소스 사용률 지표를 모니터링합니다. SageMaker Debugger는 이러한 리소스 사용률 지표를 500밀리초마다 수집합니다. 기본 리소스 사용률을 추적하기 위해 코드, 훈련 스크립트 또는 작업 시작 프로그램을 추가로 변경할 필요가 없습니다. 기본 프로파일링을 위한 지표 수집 간격을 변경하려면 SageMaker Python SDK AWS SDK for Python (Boto3)또는 AWS Command Line Interface (CLI)를 사용하여 SageMaker 훈련 작업 시작 관리자를 생성하는 동안 Debugger별 파라미터를 지정할 수 있습니다. 이 안내서에서는 Amazon SageMaker Python SDK를 사용하여 프로파일링 옵션을 변경하는 방법을 중점적으로 다룹니다. 이 페이지에서는 이 예측기 객체를 구성하기 위한 참조 템플릿을 제공합니다.

SageMaker Studio에서 훈련 작업의 리소스 사용률 지표 대시보드에 액세스하려면 Amazon SageMaker Studio Classic 실험에서 Amazon SageMaker Debugger UI로 이동할 수 있습니다.

시스템 리소스 사용률 문제를 자동으로 감지하는 규칙을 활성화하려는 경우, 규칙을 활성화하기 위해 예측기 객체에 rules 파라미터를 추가할 수 있습니다.

import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

SageMaker AI Python SDK의 SageMaker Debugger Python 모듈을 사용하여 SageMaker AI 예측기 객체를 구성하기 위한 코드 템플릿

기본 프로파일링 구성(profiler_config)을 조정하거나 프로파일러 규칙(rules)을 추가하려면 다음 템플릿을 사용하여 SageMaker AI 훈련 작업을 설정합니다. 다음 페이지에서 두 파라미터를 구성하는 방법에 대한 자세한 내용을 볼 수 있습니다.

# An example of creating a training job with profiler configuration
import boto3
from sagemaker.core import image_uris
from sagemaker.core.resources import TrainingJob
from sagemaker.core.shapes import (
    AlgorithmSpecification,
    ResourceConfig,
    OutputDataConfig,
    StoppingCondition,
    ProfilerConfig as CoreProfilerConfig,
    ProfilerRuleConfiguration,
)

session=boto3.session.Session()
region=session.region_name

# Retrieve the training image for your framework
# Change framework to "tensorflow", "mxnet", "xgboost", etc. as needed
training_image = image_uris.retrieve(
    framework="pytorch",  # or "tensorflow", "mxnet", "xgboost"
    region=region,
    version="1.12.0",
    py_version="py37",
    instance_type="ml.p3.2xlarge",
    image_scope="training"
)

profiler_config=CoreProfilerConfig(...)
profiler_rule_configurations=[
    ProfilerRuleConfiguration(
        rule_configuration_name="BuiltInRule",
        rule_evaluator_image="rule-evaluator-image-uri",
    )
]

TrainingJob.create(
    training_job_name="debugger-profiling-demo",
    algorithm_specification=AlgorithmSpecification(
        training_image=training_image,
        training_input_mode="File",
    ),
    role_arn="arn:aws:iam::123456789012:role/SageMakerRole",
    resource_config=ResourceConfig(instance_type="ml.p3.2xlarge", instance_count=1, volume_size_in_gb=30),
    output_data_config=OutputDataConfig(s3_output_path="s3://bucket/output"),
    stopping_condition=StoppingCondition(max_runtime_in_seconds=3600),

    # SageMaker Debugger parameters
    profiler_config=profiler_config,
    profiler_rule_configurations=profiler_rule_configurations,
)

다음은 파라미터에 대한 간략한 설명을 제공합니다.

디버거 관련 파라미터를 구성하는 방법을 자세히 알아보려면 다음 주제를 참조하세요.