分析模型自定义作业的结果 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

分析模型自定义作业的结果

模型自定义作业完成后，您可以查看您在提交作业时指定的输出 S3 文件夹中的文件来分析训练过程的结果，或者查看有关模型的详细信息。Amazon Bedrock 将您的定制模型存储在 AWS仅限您账户的托管存储空间中。

您还可以运行模型评估作业来评估模型。有关更多信息，请参阅 评估 Amazon Bedrock 资源的性能。

模型自定义作业的 S3 输出包含 S3 文件夹中的以下输出文件：仅当包含验证数据集时，验证构件才会出现。

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

使用 step_wise_training_metrics.csv 和 validation_metrics.csv 文件可分析模型自定义作业，并根据需要借助它们调整模型。

step_wise_training_metrics.csv 文件中的列如下所示。

  • step_number – 训练过程中的步骤。从 0 开始。

  • epoch_number – 训练过程中的纪元。

  • training_loss – 表示模型与训练数据的拟合程度。值越低表示拟合度越高。

  • perplexity – 表示模型预测 Token 序列的能力。值越低表示预测能力越大。

validation_metrics.csv 文件中的列与训练文件相同，唯一的不同是，validation_loss（模型与验证数据的拟合程度）代替了training_loss。

您可以通过直接打开 https://console.aws.amazon.com/s3 或在模型详细信息中找到输出文件夹的链接来查找输出文件。选择您首选方法的选项卡，然后按照以下步骤操作：

Console

  1. AWS Management Console 使用具有 Amazon Bedrock 权限的IAM角色登录，然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/

  2. 在左侧导航窗格的基础模型下，选择自定义模型。

  3. 在模型选项卡上，选择模型以查看其详细信息。作业名称可以在模型详细信息部分中找到。

  4. 要查看输出 S3 文件，请在输出数据部分中选择 S3 位置。

  5. 在名称与模型作业名称一致的文件夹中找到训练指标文件和验证指标文件。

API

要列出有关您的所有自定义模型的信息，请使用 Amazon Bedrock 控制平面终端节点发送请求 ListCustomModels（查看请求和响应格式以及字段详情链接）。ListCustomModels有关可以使用的过滤器，请参阅。

要列出自定义模型的所有标签，请使用 Amazon Bedrock 控制平面终端节点发送ListTagsForResource请求，并附上自定义模型的亚马逊资源名称 (ARN)。

要监控模型自定义任务的状态，请使用带有 Amazon Bedrock 控制平面终端节点的请求发送 GetCustomModel（请求和响应格式以及字段详情参见链接）modelIdentifier，即以下任一方式。

  • 您为模型指定的名称。

  • ARN该模型的。

您可以在GetModelCustomizationJob或GetCustomModel响应中查看模型自定义任务的trainingMetrics和validationMetrics。

要下载训练指标文件和验证指标文件，请按照下载对象中的步骤操作。使用URI您在中提供的 S3 outputDataConfig。

参阅代码示例