View a markdown version of this page

评估和改进您的适配器 - Amazon Textract

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

评估和改进您的适配器

完成训练过程并创建适配器后,评估适配器从文档中提取信息的效果非常重要。

性能指标

Amazon Textract 控制台中提供了三个指标来帮助您分析适配器的性能:

  1. 精度-精度衡量提取的信息(预测)中正确的百分比。精度等级越高,误报越少。

  2. 召回-召回衡量模型成功识别和提取的相关项目总数的百分比。召回值越高,假阴性就越少。

  3. F1 分数-F1 分数将精度和召回率结合到一个指标中,为整体提取精度提供了平衡的衡量标准。

这些测量值的范围为 0 到 1,其中 1 表示完美提取。

这些指标的计算方法是将适配器的提取结果与测试集上的“真实情况”注释进行比较。通过分析 F1、精度和召回率,您可以确定适配器需要改进的地方。

例如,低精度意味着模型的许多预测都是误报,因此适配器正在提取无关的数据。相比之下,较低的召回值意味着模型缺少相关数据。利用这些见解,您可以完善训练数据并重新训练适配器以提高性能。

您还可以通过使用您指定的新文档和查询来测试模型的性能。使用控制台中的 Try Adap ter 选项来获取这些文档的预测。这样,您就可以用自己的测试查询和文档来评估适配器,并查看适配器性能的真实示例。

您还可以通过使用 SDK 或 CLI 的GetAdapterVersion操作来检索适配器版本的指标。使用 ListAdapterVersionsAPI 操作获取要检索指标的适配器列表。删除DeleteAdapterVersion操作中不再需要的适配器。

改进您的模型

适配器部署是一个迭代过程,因为您可能需要多次重新训练才能达到目标准确性水平。创建和训练适配器后,您需要根据各种指标和查询来测试和评估适配器的性能。

如果您的适配器在任何方面都缺乏准确性,请添加这些文档的新示例,以提高适配器处理这些查询的性能。尝试为适配器提供更多不同的示例,以反映它遇到困难的情况。为您的适配器提供具有代表性的各种文档,使其能够处理各种现实示例。

向训练集添加新文档后,重新训练适配器。然后对您的测试集和查询进行重新评估。重复此过程,直到适配器达到所需的性能水平。精度、召回率和 F1 分数应在连续的训练迭代中逐渐提高。