Amazon SageMaker Profiler

Amazon SageMaker Profiler は、 での深層学習モデルのトレーニング中にプロビジョニングされたコンピューティングリソースの詳細ビュー SageMaker AWS を提供する Amazon の機能です SageMaker。CPU とGPU使用状況のプロファイリング、カーネルの実行は GPUs、カーネルの起動は CPUs、同期オペレーション、 CPUsと のメモリオペレーションGPUs、カーネル起動と対応する実行の間のレイテンシー、 CPUsと 間のデータ転送に焦点を当てていますGPUs。 SageMaker プロファイラーは、プロファイル 、プロファイルされたイベントの統計概要、およびトレーニングジョブのタイムラインを視覚化してGPUs、 と のイベント時間関係を追跡および理解するためのユーザーインターフェイス (UI) も提供しますCPUs。

データサイエンティスト向け

大規模なコンピューティングクラスターで深層学習モデルをトレーニングすると、ボトルネック、カーネル起動レイテンシー、メモリ制限、リソース使用率の低下など、計算最適化の問題が発生することがよくあります。

このような計算パフォーマンスの問題を特定するには、コンピューティングリソースを詳細に分析して、どのカーネルがレイテンシーを発生させ、どのオペレーションがボトルネックの原因となっているかを理解する必要があります。データサイエンティストは、 SageMaker Profiler UI を使用してトレーニングジョブの詳細プロファイルを視覚化することでメリットを得ることができます。UI は、要約グラフとコンピューティングリソース上のすべてのイベントを追跡するためのタイムラインインターフェースを備えたダッシュボードを提供します。データサイエンティストは、カスタム注釈を追加して、 SageMaker Profiler Python モジュールを使用してトレーニングジョブの特定部分を追跡することもできます。

管理者向け

SageMaker コンソールまたはSageMaker ドメイン の Profiler ランディングページから、 AWS アカウントまたは SageMakerドメインの管理者であれば Profiler アプリケーションユーザーを管理できます。各ドメインユーザーは、付与されたアクセス許可を与えられれば、独自の Profiler アプリケーションにアクセスできます。 SageMaker ドメイン管理者とドメインユーザーは、アクセス許可レベルに応じて Profiler アプリケーションを作成および削除できます。