本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
测试训练数据
训练完模型后,Amazon Comprehend 会测试自定义分类器模型。如果您不提供测试数据集,Amazon Comprehend 会使用 90% 的训练数据来训练模型。它保留 10% 的训练数据用于测试。如果您确实提供了测试数据集,则测试数据至少包含训练数据集中每个唯一标签的一个示例。
测试模型可为您提供可用于估计模型准确性的指标。控制台在控制台中分类器详细信息页面的分类器性能部分显示指标。它们还会在DescribeDocumentClassifier操作返回的Metrics
字段中返回。
在以下示例训练数据中,有五个标签:DOCUMENTARY、DOCUMENTARY、SCIENCE _ FICTION、DOCUMENTARY、ROMANTIC _ COMEDY。有三个独特的类别:DOCUMENTARY、SCIENCE _ FICTION、ROMANTIC _ COMEDY。
第 1 列 | 第 2 列 |
---|---|
DOCUMENTARY | 文档文本 1 |
DOCUMENTARY | 文档文本 2 |
SCIENCE_FICTION | 文档文本 3 |
DOCUMENTARY | 文档文本 4 |
ROMANTIC_COMEDY | 文档文本 5 |
对于自动拆分(Amazon Comprehend 保留 10% 的训练数据用于测试),如果训练数据包含特定标签的有限示例,则测试数据集可能包含该标签的零个示例。例如,如果训练数据集包含 1000 个DOCUMENTARY类实例、900 个 SCIENCE _ FICTION 实例和一个 ROMANTIC _ COMEDY 类实例,则测试数据集可能包含 100 DOCUMENTARY 和 90 SCIENCE _ 个FICTION实例,但没有 ROMANTIC _ COMEDY 实例,因为只有一个示例可用。
完成模型训练后,训练指标会提供一些信息,您可以根据这些信息来确定模型的准确性,是否可以满足您的需求。