本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

定义超参数范围

本指南介绍 SageMaker APIs如何使用定义超参数范围。还将提供您可以使用的超参数标度类型列表。

超参数和范围的选择会对调优作业的性能产生巨大影响。超参数调优通过在您为每个可调超参数指定的值范围内进行搜索，为您的模型找到最佳超参数值。您还可以指定最多 100 个静态超参数，这些超参数在调优作业过程中不会发生变化。您总共可以使用最多 100 个超参数（静态 + 可调）。有关如何选择超参数和范围的指南，请参阅超参数调优的最佳实践。您还可以使用自动调优，查找最佳的调优作业设置。有关更多信息，请参阅以下自动调优部分。

静态超参数

静态超参数用于以下情况： 例如，您可以使用使用（AMT可调参数）和 param1param2（静态参数）来调整模型。如果这样做，那么对于 param1，可使用两个值之间的搜索空间，并将 param2 作为静态超参数传递，如下所示。

param1: ["range_min","range_max"]
param2: "static_value"

静态超参数具有如下结构：

"StaticHyperParameters": {
    "objective" : "reg:squarederror",
    "dropout_rate": "0.3"
}  

您可以使用 Amazon SageMaker API 在传递给CreateHyperParameterTuningJob操作的HyperParameterTrainingJobDefinition参数StaticHyperParameters字段中指定键值对。

动态超参数

您可以使用 SageMaker API来定义超参数范围。在传递给 CreateHyperParameterTuningJob 操作的 HyperParameterTuningJobConfig 参数的 ParameterRanges 字段中，指定超参数的名称和值的范围。

ParameterRanges 字段具有三个子字段：分类、整数和连续。您最多可定义总共 30 个（分类 + 整数 + 连续）可调超参数进行搜索。

静态超参数具有如下结构：

"ParameterRanges": {
    "CategoricalParameterRanges": [
        {
            "Name": "tree_method",
            "Values": ["auto", "exact", "approx", "hist"]
        }
    ],
    "ContinuousParameterRanges": [
        {
            "Name": "eta",
            "MaxValue" : "0.5",
            "MinValue": "0",
            "ScalingType": "Auto"
        }
    ],
    "IntegerParameterRanges": [
        {
            "Name": "max_depth",
            "MaxValue": "10",
            "MinValue": "1",
            "ScalingType": "Auto"
        }
    ]
}

如果您使用 Grid 策略创建调优作业，那么只能指定分类值。您无需提供 MaxNumberofTrainingJobs。此值是根据分类参数可以生成的配置总数推断出来的。如果指定，则 MaxNumberOfTrainingJobs 的值应等于可能的不同分类组合的总数。

自动调优

为了节省搜索超参数范围、资源或目标指标的时间和资源，自动调优功能可以自动猜测某些超参数字段的最佳值。可使用自动调优查找以下字段的最佳值：

要使用自动调优，请执行以下操作：

AMT将确定您的超参数和示例值是否符合自动调整条件。可用在自动调优中的超参数，会自动分配给相应的参数范围类型。然后，AMT使用ValueHint来为您选择最佳范围。您可以使用DescribeHyperParameterTrainingJobAPI来查看这些范围。

以下示例演示了如何配置使用自动调优的调优作业。在配置示例中，超参数 max_depth 具有包含示例值 4 的 ValueHint。

config = {
    'Autotune': {'Mode': 'Enabled'},
    'HyperParameterTuningJobName':'my-autotune-job',
    'HyperParameterTuningJobConfig': {
        'HyperParameterTuningJobObjective': {'Type': 'Minimize', 'MetricName': 'validation:rmse'},
        'ResourceLimits': {'MaxNumberOfTrainingJobs': 5, 'MaxParallelTrainingJobs': 1},
        'ParameterRanges': {       
            'AutoParameters': [
                {'Name': 'max_depth', 'ValueHint': '4'}
            ]
        }
    },
    'TrainingJobDefinition': {
    .... }

继续前面的示例，在对的调用中包含先前的配置之后，就会创建调整作业CreateHyperParameterTuningJobAPI。然后，自动调谐将 max_depth 超参数转换为超参数。 AutoParameters IntegerParameterRanges以下来自 a 的响应DescribeHyperParameterTrainingJobAPI显示最优值介IntegerParameterRangesmax_depth于2和之间8。

{
    'HyperParameterTuningJobName':'my_job',
    'HyperParameterTuningJobConfig': {
        'ParameterRanges': {
            'IntegerParameterRanges': [
                {'Name': 'max_depth', 'MinValue': '2', 'MaxValue': '8'},
            ],
        }
    },
    'TrainingJobDefinition': {
        ...
    },
    'Autotune': {'Mode': 'Enabled'}
    
}

超参数标度类型

对于整数和连续超参数范围，您可以选择希望超参数调优使用的标度。例如，要搜索值范围，可以为超参数范围的 ScalingType 字段指定值。您可从以下超参数标度类型中进行选择：

有关使用超参数缩放的笔记本示例，请参阅上的 Amazon SageMaker 超参数示例。 GitHub