翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

1 つ以上のアルゴリズムのハイパーパラメータ最適化チューニングジョブを作成する (コンソール)

このガイドでは、1 つ以上のアルゴリズムに対して新しいハイパーパラメータ最適化 (HPO) チューニングジョブを作成する方法について説明します。HPO ジョブを作成するには、調整ジョブの設定を定義し、調整するアルゴリズムごとにトレーニングジョブ定義を作成します。次に、そのリソースを設定して、調整ジョブを作成します。以下のセクションでは、各ステップを完了する方法について詳しく説明します。このガイドの最後に、 SDK for Pythonクライアントを使用して SageMaker複数のアルゴリズムを調整する方法の例を示します。

調整ジョブのコンポーネント

調整ジョブには、次の HPO 3 つのコンポーネントが含まれます。

これらのコンポーネントを調整ジョブに含める方法は、調整ジョブに HPO 1 つ以上のトレーニングアルゴリズムが含まれているかどうかによって異なります。以下のガイドでは、各コンポーネントについて説明し、両方のタイプの調整ジョブの例を示します。

HPO 調整ジョブの例

ハイパーパラメータ最適化 (HPO) トレーニングジョブを実行するには、まずチューニングするアルゴリズムごとにトレーニングジョブ定義を作成します。次に、調整ジョブの設定を定義し、調整ジョブのリソースを設定します。最後に、調整ジョブを実行します。

HPO 調整ジョブに 1 つのトレーニングアルゴリズムが含まれている場合、 SageMaker 調整関数は HyperparameterTuner API を直接呼び出してパラメータを渡します。HPO 調整ジョブに複数のトレーニングアルゴリズムが含まれている場合、調整関数は の HyperparameterTuner create関数を呼び出しますAPI。create 関数は、1 つ以上の推定器を含むディクショナリを期待APIするように に指示します。

次のセクションのコード例は、 を使用して 1 つのトレーニングアルゴリズムまたは複数のアルゴリズムを含むジョブを調整する方法を示しています SageMaker Python SDK。

トレーニングジョブの定義を作成する

複数のトレーニングアルゴリズムを含む調整ジョブを作成すると、調整ジョブの構成にトレーニングジョブの推定器とメトリクスおよびその他のパラメータが含まれます。このため、まずトレーニングジョブ定義を作成してから、調整ジョブを設定する必要があります。

次のコード例は、組み込みアルゴリズム XGBoostと を含む 2 つの SageMaker コンテナを取得する方法を示していますLinear Learner。調整ジョブに含まれるトレーニングアルゴリズムが 1 つのみの場合は、いずれかのコンテナといずれかの推定器を省略します。

import sagemaker
from sagemaker import image_uris

from sagemaker.estimator import Estimator

sess = sagemaker.Session()
region = sess.boto_region_name
role = sagemaker.get_execution_role()

bucket = sess.default_bucket()
prefix = "sagemaker/multi-algo-hpo"

# Define the training containers and intialize the estimators
xgb_container = image_uris.retrieve("xgboost", region, "latest")
ll_container = image_uris.retrieve("linear-learner", region, "latest")

xgb_estimator = Estimator(
    xgb_container,
    role=role,
    instance_count=1,
    instance_type="ml.m4.xlarge",
    output_path='s3://{}/{}/xgb_output".format(bucket, prefix)',
    sagemaker_session=sess,
)

ll_estimator = Estimator(
    ll_container,
    role,
    instance_count=1,
    instance_type="ml.c4.xlarge",
    output_path="s3://{}/{}/ll_output".format(bucket, prefix),
    sagemaker_session=sess,
)

# Set static hyperparameters
ll_estimator.set_hyperparameters(predictor_type="binary_classifier")
xgb_estimator.set_hyperparameters(
    eval_metric="auc",
    objective="binary:logistic",
    num_round=100,
    rate_drop=0.3,
    tweedie_variance_power=1.4,
)

次に、次のコード例に示すように、トレーニング、検証、テストのデータセットを指定して入力データを定義します。この例は、複数のトレーニングアルゴリズムを調整する方法を示しています。

training_data = sagemaker.inputs.TrainingInput(
    s3_data="s3://{}/{}/train".format(bucket, prefix), content_type="csv"
)
validation_data = sagemaker.inputs.TrainingInput(
    s3_data="s3://{}/{}/validate".format(bucket, prefix), content_type="csv"
)
test_data = sagemaker.inputs.TrainingInput(
    s3_data="s3://{}/{}/test".format(bucket, prefix), content_type="csv"
)

train_inputs = {
    "estimator-1": {
        "train": training_data,
        "validation": validation_data,
        "test": test_data,
    },
    "estimator-2": {
        "train": training_data,
        "validation": validation_data,
        "test": test_data,
    },
}

調整アルゴリズムに含まれるトレーニングアルゴリズムが 1 つのみの場合は、train_inputs に推定器が 1 つのみ含まれている必要があります。

チューニングジョブで使用する前に、トレーニング、検証、トレーニングデータセットの入力を Amazon S3 HPO バケットにアップロードする必要があります。

調整ジョブのリソースと設定を定義する

このセクションでは、チューナーを初期化し、リソースを定義して、調整ジョブのジョブ設定を指定する方法を説明します。調整ジョブに複数のトレーニングアルゴリズムが含まれている場合、これらの設定は調整ジョブに含まれるすべてのアルゴリズムに適用されます。このセクションでは、チューナーを定義する 2 つのコードサンプルを紹介します。コードサンプルでは、単一のトレーニングアルゴリズムを最適化する方法を示してから、複数のトレーニングアルゴリズムを調整する方法の例を示します。

1 つのトレーニングアルゴリズムを調整する

次のコード例は、チューナーを初期化し、1 つの SageMaker 組み込みアルゴリズム にハイパーパラメータ範囲を設定する方法を示していますXGBoost。

from sagemaker.tuner import HyperparameterTuner
from sagemaker.parameter import ContinuousParameter, IntegerParameter

hyperparameter_ranges = {
    "max_depth": IntegerParameter(1, 10),
    "eta": ContinuousParameter(0.1, 0.3),
}

objective_metric_name = "validation:accuracy"

tuner = HyperparameterTuner(
    xgb_estimator,
    objective_metric_name,
    hyperparameter_ranges,
    objective_type="Maximize",
    max_jobs=5,
    max_parallel_jobs=2,
)       

複数のトレーニングアルゴリズムをチューニングする

トレーニングジョブごとに異なる構成が必要で、これらはディクショナリを使用して指定されます。次のコード例は、2 つの SageMaker 組み込みアルゴリズム、 XGBoostと の設定でチューナーを初期化する方法を示していますLinear Learner。このコードサンプルには、調整戦略やその他のジョブ設定 (調整ジョブのコンピューティングリソースなど) を設定する方法も示されています。以下のコードサンプルでは metric_definitions_dict を使用していますが、これはオプションです。

from sagemaker.tuner import HyperparameterTuner
from sagemaker.parameter import ContinuousParameter, IntegerParameter

# Initialize your tuner
tuner = HyperparameterTuner.create(
    estimator_dict={
        "estimator-1": xgb_estimator,
        "estimator-2": ll_estimator,
    },
    objective_metric_name_dict={
        "estimator-1": "validation:auc",
        "estimator-2": "test:binary_classification_accuracy",
    },
    hyperparameter_ranges_dict={
        "estimator-1": {"eta": ContinuousParameter(0.1, 0.3)},
        "estimator-2": {"learning_rate": ContinuousParameter(0.1, 0.3)},
    },
    metric_definitions_dict={
        "estimator-1": [
            {"Name": "validation:auc", "Regex": "Overall test accuracy: (.*?);"}
        ],
        "estimator-2": [
            {
                "Name": "test:binary_classification_accuracy",
                "Regex": "Overall test accuracy: (.*?);",
            }
        ],
    },
    strategy="Bayesian",
    max_jobs=10,
    max_parallel_jobs=3,
)          

HPO 調整ジョブを実行する

これで、トレーニング入力を HyperparameterTuner クラスの fit 関数に渡すことで調整ジョブを実行できるようになりました。次のコード例は、前のコード例で定義した train_inputs パラメータをチューナーに渡す方法を示しています。

tuner.fit(inputs=train_inputs, include_cls_metadata ={}, estimator_kwargs ={})