TensorFlow Training Compiler で SageMaker トレーニングジョブを実行する

SageMaker Training Compiler では、Amazon SageMaker Studio Classic、Amazon SageMaker ノートブックインスタンス、 AWS SDK for Python (Boto3)および のいずれかの SageMaker インターフェイスを使用してトレーニングジョブを実行できます AWS Command Line Interface。

SageMaker Python SDK の使用

SageMaker Training Compiler を有効にするには、 TensorFlow または Hugging Face 推定器に SageMaker compiler_configパラメータを追加します。TrainingCompilerConfig クラスをインポートし、そのインスタンスを compiler_config パラメータに渡します。次のコード例は、 SageMaker Training Compiler がオンになっている SageMaker 推定器クラスの構造を示しています。

ユースケースに適合する情報については、次のいずれかのオプションを参照してください。

次のリストは、コンパイラで SageMaker トレーニングジョブを実行するために必要な最小限のパラメータセットです。

disable_profiler=True,
debugger_hook_config=False

コンパイラを使用したトレーニングジョブが正常に起動すると、ジョブの初期化フェーズで次のログを受け取ります。

SageMaker Python SDK の使用と SageMaker フレームワーク深層学習コンテナの拡張

AWS Deep Learning Containers (DLC) は、オープンソース TensorFlow フレームワークに加えられた変更を含む の TensorFlow適合バージョンで TensorFlow 使用できます。SageMaker Framework Deep Learning Containers は、基盤となる AWS インフラストラクチャと Amazon 用に最適化されています SageMaker。DLCs を使用するという利点により、 SageMaker Training Compiler 統合はネイティブ よりもパフォーマンスが向上します TensorFlow。さらに、DLC イメージを拡張してカスタムトレーニングコンテナを作成できます。

ユースケースに合わせて SageMaker TensorFlow DLCs を拡張およびカスタマイズするには、以下の手順に従います。

Dockerfile を作成する

SageMaker TensorFlow DLC を拡張するには、次の Dockerfile テンプレートを使用します。 SageMaker TensorFlow DLC イメージを Docker コンテナのベースイメージとして使用する必要があります。 SageMaker TensorFlow DLC イメージ URIs「サポートされているフレームワーク」を参照してください。

# SageMaker TensorFlow Deep Learning Container image
FROM 763104351884.dkr.ecr.<aws-region>.amazonaws.com/tensorflow-training:<image-tag>

ENV PATH="/opt/ml/code:${PATH}"

# This environment variable is used by the SageMaker container 
# to determine user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

# Add more code lines to customize for your use-case
...

詳細については、「Step 2: Create and upload the Dockerfile and Python training scripts」を参照してください。

SageMaker フレームワーク DLCs次の落とし穴を考慮してください。

例えば、テンソルフロー/モデルとテンソルフロー/テキストライブラリが常にオープンソース の再インストール TensorFlowを試みるという既知の問題があります。ユースケースに合わせて特定のバージョンを選択するためにこれらのライブラリをインストールする必要がある場合は、v2.9 以降の SageMaker TensorFlow DLC Dockerfiles を確認することをお勧めします。Dockerfiles へのパスは通常、tensorflow/training/docker/<tensorflow-version>/py3/<cuda-version>/Dockerfile.gpu の形式です。Dockerfiles には、 AWS マネージド TensorFlow バイナリ ( TF_URL環境変数に指定) やその他の依存関係を順番に再インストールするためのコード行があります。再インストールのセクションは次の例のようになります。

# tf-models does not respect existing installations of TensorFlow 
# and always installs open source TensorFlow

RUN pip3 install --no-cache-dir -U \
    tf-models-official==x.y.z

RUN pip3 uninstall -y tensorflow tensorflow-gpu \
  ; pip3 install --no-cache-dir -U \
    ${TF_URL} \
    tensorflow-io==x.y.z \
    tensorflow-datasets==x.y.z

構築して ECR にプッシュする

Docker コンテナをビルドして Amazon ECR にプッシュするには、次のリンクの手順に従ってください。

SageMaker Python SDK 推定器を使用して を実行する

フレームワーク SageMaker TensorFlow 推定器を通常どおりに使用します。image_uri を指定して、Amazon ECR でホストした新しいコンテナを使用する必要があります。

import sagemaker, boto3
from sagemaker import get_execution_role
from sagemaker.tensorflow import TensorFlow, TrainingCompilerConfig

account_id = boto3.client('sts').get_caller_identity().get('Account')
ecr_repository = 'tf-custom-container-test'
tag = ':latest'

region = boto3.session.Session().region_name

uri_suffix = 'amazonaws.com'

byoc_image_uri = '{}.dkr.ecr.{}.{}/{}'.format(
    account_id, region, uri_suffix, ecr_repository + tag
)

byoc_image_uri
# This should return something like
# 111122223333.dkr.ecr.us-east-2.amazonaws.com/tf-custom-container-test:latest

estimator = TensorFlow(
    image_uri=image_uri,
    role=get_execution_role(),
    base_job_name='tf-custom-container-test-job',
    instance_count=1,
    instance_type='ml.p3.8xlarge'
    compiler_config=TrainingCompilerConfig(),
    disable_profiler=True,
    debugger_hook_config=False
)

# Start training
estimator.fit()

CreateTrainingJob API オペレーションを使用して SageMaker SageMaker Training Compiler を有効にする

SageMaker Training Compiler の設定オプションは、 CreateTrainingJob API オペレーション のリクエスト構文の AlgorithmSpecificationおよび HyperParametersフィールドで指定する必要があります。

"AlgorithmSpecification": {
    "TrainingImage": "<sagemaker-training-compiler-enabled-dlc-image>"
},

"HyperParameters": {
    "sagemaker_training_compiler_enabled": "true",
    "sagemaker_training_compiler_debug_mode": "false"
}

SageMaker Training Compiler が実装されている深層学習コンテナイメージ URIs「」を参照してくださいサポートされるフレームワーク。