モデルのトレーニングとデプロイのための Docker コンテナ

構築済み SageMaker アルゴリズム – 組み込みアルゴリズムに付属するイメージを使用します。詳細については、「Amazon SageMaker 組み込みアルゴリズムまたはトレーニング済みモデルを使用する」を参照してください。

構築 SageMaker済みコンテナを使用したカスタムモデル – カスタムモデルをトレーニングまたはデプロイするが、 TensorFlow および を含む構築済み SageMaker コンテナを持つフレームワークを使用する場合は PyTorch、次のいずれかのオプションを選択します。

依存関係をインポートできない場合 — フレームワークに関連する構築済みの Docker イメージを拡張してください。詳細については、「構築済みコンテナを拡張する」を参照してください。

構築済みコンテナの依存関係をインポートすることができず、構築済みコンテナが requirements.txt をサポートする場合 — 必要な依存関係はすべて requirements.txt に追加してください。以下のフレームワークは requirements.txt の使用をサポートしています。

TensorFlow モデルはカスタムモデルです。

TensorFlow モデルは TensorFlow フレームワークに組み込まれるため、 TensorFlow 構築済みのフレームワークコンテナを使用してモデルのトレーニングとホストを行います。

エントリポイントスクリプトまたは推論スクリプトでカスタムパッケージが必要な場合は、構築済みのコンテナを拡張するか、requirements.txt ファイルを使用してランタイム時に依存関係をインストールしてください。

組み込みアルゴリズム SageMaker またはフレームワーク を使用します。ほとんどのユースケースでは、コンテナを気にすることなく、組み込みのアルゴリズムとフレームワークを使用できます。これらのアルゴリズムは、 SageMaker コンソール、 AWS Command Line Interface （AWS CLI）、Python ノートブック、または Amazon SageMaker Python SDKからトレーニングおよびデプロイできます。そのためには、Estimator の作成時にアルゴリズムまたはフレームワークのバージョンを指定してください。使用可能な組み込みアルゴリズムは、「Amazon の組み込みアルゴリズムと事前トレーニング済みモデル SageMaker」トピックで項目別に説明しています。使用可能なフレームワークの詳細については、「ML のフレームワークと言語」を参照してください。 SageMaker ノートブックインスタンスで実行されている Jupyter ノートブックを使用して組み込みアルゴリズムをトレーニングしてデプロイする例については、Amazon のセットアップガイド SageMaker「」トピックを参照してください。

構築済みの SageMaker コンテナイメージ を使用します。または、Docker Containers を使用して組み込みアルゴリズムとフレームワークを使用できます。 は、組み込みアルゴリズム用のコンテナと、Apache MXNet、 TensorFlow PyTorch、Chainer などの最も一般的な機械学習フレームワーク用の事前構築済みの Docker イメージ SageMaker を提供します。使用可能な SageMaker イメージの完全なリストについては、「使用可能な深層学習コンテナイメージ」を参照してください。また、scikit-learn や SparkML などの機械学習ライブラリもサポートしています。Amazon SageMaker Python SDKを使用する場合は、コンテナ全体をそれぞれの SageMaker SDKEstimatorクラスURIに渡すことでコンテナをデプロイできます。現在 でサポートされている深層学習フレームワークの完全なリストについては SageMaker、「」を参照してください深層学習用の構築済み SageMaker Docker イメージ。scikit-learn および SparkML の構築済みコンテナイメージの詳細については、「Scikit-learn と Spark ML の Docker イメージへのアクセス」を参照してください。Amazon SageMaker Python SDKでフレームワークを使用する方法の詳細については、 のそれぞれのトピックを参照してください機械学習フレームワークと言語。

構築済みの SageMaker コンテナイメージ を拡張します。構築済みの SageMaker アルゴリズムまたはモデル Docker イメージを拡張する場合は、ニーズに合わせて SageMaker イメージを変更できます。例については、 PyTorch 「コンテナの拡張」を参照してください。

既存のコンテナイメージを適応させる: 既存のコンテナイメージを と連携させる場合は SageMaker、 SageMaker トレーニングツールキットまたは推論ツールキットを有効にするように Docker コンテナを変更する必要があります。独自のコンテナを構築してアルゴリズムをトレーニングまたはホストする方法を示す例については、「Bring Your Own R Algorithm」を参照してください。

エラー: SageMaker は を失いました Docker デーモン。

このエラーを修正するには、次のコマンドを使用して Docker を再起動します。

sudo service docker restart

エラー: の/tmpディレクトリ Docker コンテナの容量が不足しています。

Docker コンテナは /と /tmp パーティションを使用してコードを保存します。ローカルモードで大きなコードモジュールを使用すると、これらのパーティションはすぐにいっぱいになります。Python SageMakerは、この問題を回避するために、ローカルモードのルートディレクトリのカスタム一時ディレクトリの指定SDKをサポートしています。

Amazon Elastic Block Store ボリュームストレージでカスタム一時ディレクトリを指定するには、次のパスでファイルを作成し~/.sagemaker/config.yaml、次の設定を追加します。container_root として指定するディレクトリは既存であることが必要です。Python SageMakerSDKは作成しようとしません。

local:
  container_root: /home/ec2-user/SageMaker/temp

この設定では、ローカルモードが使用するのは /temp ディレクトリで、デフォルトの /tmp ディレクトリではありません。

SageMaker ノートブックインスタンスの低スペースエラー

A Docker SageMaker ノートブックインスタンスで実行されるコンテナは、デフォルトでノートブックインスタンスのルート Amazon EBSボリュームを使用します。低スペースエラーを解決するには、ノートブックインスタンスにアタッチされた Amazon EBSボリュームのパスを のボリュームパラメータの一部として指定します。Docker コマンド。

docker run -v EBS-volume-path:container-path