SageMaker Profiler UI에서 시각화된 프로파일 출력 데이터 탐색

GPU 활성 시간 - 이 원형 차트는 GPU 활성 시간 대 GPU 유휴 시간의 백분율을 보여줍니다. 전체 훈련 작업에서 유휴 상태보다 활성 GPUs 상태인지 확인할 수 있습니다. GPU 활성 시간은 사용률이 0%보다 큰 프로필 데이터 포인트를 기반으로 하는 반면, GPU 유휴 시간은 사용률이 0%인 프로필 데이터 포인트입니다.

GPU 시간 경과에 따른 사용률 - 이 타임라인 그래프는 노드당 시간 경과에 따른 평균 GPU 사용률을 보여주며, 모든 노드를 단일 차트로 집계합니다. 특정 시간 간격 동안 GPUs에 불균형한 워크로드, 사용 부족 문제, 병목 현상 또는 유휴 문제가 있는지 확인할 수 있습니다. 개별 GPU 수준 및 관련 커널 실행에서 사용률을 추적하려면 를 사용합니다타임라인 인터페이스. GPU 활동 모음은 훈련 스크립트SMProf.start_profiling()에 프로파일러 스타터 함수를 추가한 곳에서 시작하여 에서 중지됩니다SMProf.stop_profiling().

CPU 활성 시간 - 이 원형 차트는 CPU 활성 시간 대 CPU 유휴 시간의 백분율을 보여줍니다. 전체 훈련 작업에서 유휴 상태보다 활성 CPUs 상태인지 확인할 수 있습니다. CPU 활성 시간은 사용률이 0%보다 큰 프로파일링된 데이터 포인트를 기반으로 하는 반면, CPU 유휴 시간은 사용률이 0%인 프로파일링된 데이터 포인트를 기반으로 합니다.

CPU 시간 경과에 따른 사용률 - 이 타임라인 그래프는 노드당 시간 경과에 따른 평균 CPU 사용률을 보여주며 단일 차트에서 모든 노드를 집계합니다. 특정 시간 간격 동안 가 병목 현상CPUs이 발생했는지 또는 제대로 활용되지 않았는지 확인할 수 있습니다. 개별 사용률 및 커널 실행과 CPUs 일치하는 의 GPU 사용률을 추적하려면 를 사용합니다타임라인 인터페이스. 참고로 사용률 지표는 작업 초기화 시점부터 시작됩니다.

모든 커널에서 소요된 시간 GPU - 이 파이 차트는 훈련 작업 전체에서 작동하는 모든 GPU 커널을 보여줍니다. 기본적으로 상위 GPU 15개 커널을 개별 섹터로 표시하고 한 섹터의 다른 모든 커널을 표시합니다. 섹터 위로 마우스를 가져가면 더 자세한 정보를 볼 수 있습니다. 값은 작동GPU되는 커널의 총 시간을 초 단위로 표시하며 백분율은 프로파일의 전체 시간을 기준으로 합니다.

상위 GPU 15개 커널에서 소요된 시간 - 이 파이 차트는 훈련 작업 전반에 걸쳐 운영되는 모든 GPU 커널을 보여줍니다. 상위 GPU 15개 커널을 개별 섹터로 표시합니다. 섹터 위로 마우스를 가져가면 더 자세한 정보를 볼 수 있습니다. 값은 작동GPU되는 커널의 총 시간을 초 단위로 표시하며 백분율은 프로파일의 전체 시간을 기준으로 합니다.

모든 커널의 시작 수 GPU - 이 원형 차트는 훈련 작업 동안 시작된 모든 GPU 커널의 수를 보여줍니다. 상위 GPU 15개 커널을 개별 섹터로 표시하고 한 섹터의 다른 모든 커널을 표시합니다. 섹터 위로 마우스를 가져가면 더 자세한 정보를 볼 수 있습니다. 값은 시작된 GPU 커널의 총 개수를 나타내며 백분율은 모든 커널의 전체 개수를 기반으로 합니다.

상위 GPU 15개 커널의 시작 수 - 이 원형 차트는 훈련 작업 동안 시작된 모든 GPU 커널의 수를 보여줍니다. 상위 GPU 15개의 커널을 보여줍니다. 섹터 위로 마우스를 가져가면 더 자세한 정보를 볼 수 있습니다. 값은 시작된 GPU 커널의 총 개수를 나타내며 백분율은 모든 커널의 전체 개수를 기반으로 합니다.

단계 시간 분포 - 이 히스토그램은 의 단계 지속 시간 분포를 보여줍니다GPUs. 이 플롯은 훈련 스크립트에 단계 주석자를 추가한 후에만 생성됩니다.

커널 정밀도 분포 - 이 파이 차트는 FP32, , FP16INT32, 와 같은 다양한 데이터 유형에서 커널을 실행하는 데 소요된 시간의 백분율을 보여줍니다INT8.

GPU 활동 분포 - 이 원형 차트는 커널 실행, 메모리(memcpy 및 memset) 및 동기화()와 같은 GPU 활동에 소요된 시간의 비율을 보여줍니다sync.

GPU 메모리 작업 배포 - 이 원형 차트는 GPU 메모리 작업에 소요된 시간의 백분율을 보여줍니다. 이를 통해 memcopy 활동을 시각화하여 훈련 작업이 특정 메모리 작업에 과도한 시간을 소비하고 있는지 확인할 수 있습니다.

새 히스토그램 생성 - 1단계: SageMaker Profiler Python 모듈을 사용하여 훈련 스크립트 조정 작업 중에 수동으로 주석을 추가한 사용자 지정 지표의 새 다이어그램을 만드세요. 새 히스토그램에 사용자 지정 주석을 추가할 때는 훈련 스크립트에서 추가한 주석의 이름을 선택하거나 입력합니다. 예를 들어, 1단계의 데모 훈련 스크립트에서는 step, Forward, Backward, Optimize, 및 Loss이(가) 사용자 지정 주석입니다. 새 히스토그램을 생성하는 동안 이러한 주석 이름이 지표 선택을 위한 드롭다운 메뉴에 나타나야 합니다. Backward을(를) 선택하는 경우 UI는 프로파일링된 시간 동안 역방향 패스에 소요된 시간의 히스토그램을 대시보드에 추가합니다. 이 유형의 히스토그램은 비정상적으로 시간이 오래 걸리고 병목 현상을 일으키는 특이값이 있는지 확인하는 데 유용합니다.

algo-i_node – 프로비저닝된 인스턴스에 작업을 할당할 SageMaker 태그입니다. 숫자 i_node은(는) 무작위로 할당됩니다. 예를 들어 인스턴스 4개를 사용하는 경우 이 섹션은 algo-1에서 algo-4로 확장됩니다.

앱 자동 종료 활성화 - 지정된 유휴 시간이 지나면 애플리케이션이 자동으로 종료되도록 선택하고 활성화로 설정합니다. 자동 종료 기능을 끄려면 비활성화를 선택합니다.

자동 종료 임곗값(시간) - 앱 자동 종료 활성화에서 활성화를 선택하면 애플리케이션이 자동으로 종료되는 임곗값을 시간 단위로 설정할 수 있습니다. 기본값은 2시간으로 설정되어 있습니다.