翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon SageMaker がトレーニング情報を提供する方法

このセクションでは、 SageMaker がトレーニングデータ、ハイパーパラメータ、その他の設定情報などのトレーニング情報を Docker コンテナで使用できるようにする方法を説明します。

モデルトレーニング SageMaker を開始するCreateTrainingJobリクエストを に送信するときは、トレーニングアルゴリズムを含む Docker イメージの Amazon Elastic Container Registry (Amazon ECR) パスを指定します。また、トレーニングデータが保存される Amazon Simple Storage Service (Amazon S3) の場所とアルゴリズム固有のパラメータを指定します。 SageMaker は、トレーニングアルゴリズムがこの情報を使用できるように、この情報を Docker コンテナで利用できるようにします。このセクションでは、この情報を Docker コンテナで利用できるようにする方法を説明します。トレーニングジョブの作成方法については、「CreateTrainingJob」を参照してください。 SageMaker コンテナが情報を整理する方法の詳細については、「」を参照してくださいSageMaker トレーニングと推論ツールキット。

ハイパーパラメータ

SageMaker は、CreateTrainingJobリクエスト内のハイパーパラメータを /opt/ml/input/config/hyperparameters.jsonファイルの Docker コンテナで利用可能にします。

以下は、 の CreateTrainingJobオペレーションで num_roundと ハイパーパラメータを指定する hyperparameters.json のetaハイパーパラメータ設定の例ですXGBoost。

{
    "num_round": "128",
    "eta": "0.001"
}            

SageMaker 組み込みXGBoostアルゴリズムに使用できるハイパーパラメータの完全なリストについては、XGBoost「ハイパーパラメータ」を参照してください。

調整できるハイパーパラメータは、トレーニングするアルゴリズムによって異なります。 SageMaker 組み込みアルゴリズムで使用できるハイパーパラメータのリストについては、「Amazon 組み込みアルゴリズムを使用する」またはトレーニング済みモデル「アルゴリズムリンク」の「Hyperparameters」にリストされています。 SageMaker

環境可変

SageMaker は、コンテナに次の環境変数を設定します。

入力データ設定

SageMaker は、Docker コンテナの /opt/ml/input/config/inputdataconfig.json ファイルで CreateTrainingJobリクエストの InputDataConfigパラメータのデータチャネル情報を利用できるようにします。

例えば、リクエストで 3 つのデータチャネル (train、evaluation、および validation) を指定するとします。 SageMaker は、次の を提供しますJSON。

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

トレーニングデータ

CreateTrainingJob リクエストの AlgorithmSpecification にある TrainingInputMode パラメータでトレーニングのデータセットを使用可能にする方法を指定します。次の入力モードを使用できます。

SageMaker モデルトレーニングは、ファイルモード、高速ファイルモード、パイプモードのデータ入力場所として、高性能 S3 Express One Zone ディレクトリバケットをサポートします。S3 Express One Zone を使用するには、Amazon S3 汎用バケットの代わりに S3 Express One Zone ディレクトリバケットの場所を入力します。 Amazon S3 IAM ロールARNに必要なアクセスコントロールとアクセス許可ポリシーを に提供します。詳細については、「AmazonSageMakerFullAccesspolicy」を参照してください。 SageMaker 出力データは、Amazon S3 マネージドキー (SSE-S3) によるサーバー側の暗号化でのみディレクトリバケットで暗号化できます。 AWS KMS キー (SSE-KMS) によるサーバー側の暗号化は現在、ディレクトリバケットへの SageMaker 出力データの保存ではサポートされていません。詳細については、「S3 Express One Zone」を参照してください。

分散型トレーニング設定

複数のコンテナで分散トレーニングを実行している場合、 は /opt/ml/input/config/resourceconfig.json ファイルで使用可能なすべてのコンテナに関する情報 SageMaker を作成します。

コンテナ間の通信を有効にするために、このJSONファイルにはすべての Containers の情報が含まれています。 SageMaker は、このファイルを Fileと Pipe モードアルゴリズムの両方で使用できるようにします。ファイルは以下の情報を提供します。

3 ノードクラスターのノード 1 のファイル例を次に示します。

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}