View a markdown version of this page

評估和改善轉接器 - Amazon Textract

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

評估和改善轉接器

完成訓練程序並建立轉接器後,請務必評估轉接器從文件中擷取資訊的能力。

效能指標

Amazon Textract 主控台提供三種指標,協助您分析轉接器的效能:

  1. 精確度 - 精確度會測量擷取正確資訊 (預測) 的百分比。精確度評分越高,出現的誤報就越少。

  2. 召回 - 召回會測量模型成功識別和擷取之相關項目總數的百分比。召回值越高,出現的偽陰性就越少。

  3. F1 分數 - F1 分數將精確度和召回結合為單一指標,提供整體擷取準確度的平衡測量。

這些測量的值範圍從 0 到 1,1 是完美的擷取。

這些指標的計算方式是將轉接器的擷取與測試集上的「基本真相」註解進行比較。透過分析 F1、精確度和召回,您可以判斷轉接器需要改善的位置。

例如,低精確度表示模型的許多預測都是誤報,因此轉接器正在擷取不相關的資料。相反地,較低的回收值表示模型缺少相關資料。使用這些洞見,您可以精簡訓練資料並重新訓練轉接器以提高效能。

您也可以使用您指定的新文件和查詢來測試模型,以檢查模型的效能。使用 主控台中的 Try Adapter 選項來取得這些文件的預測。如此一來,您可以使用自己的測試查詢和文件來評估轉接器,並查看轉接器執行情況的實際範例。

您也可以使用 SDK 或 CLI 使用 GetAdapterVersion 操作來擷取轉接器版本的指標。使用 ListAdapterVersions API 操作,取得您要擷取指標的轉接器清單。使用 DeleteAdapterVersion 操作刪除不再需要的轉接器。

改善模型

轉接器部署是一個反覆的程序,因為您可能需要重新訓練數次,才能達到目標準確度。建立和訓練轉接器之後,您會想要在各種指標和查詢上測試和評估轉接器的效能。

如果您的轉接器在任何區域中缺乏準確性,請新增這些文件的新範例,以提高轉接器對這些查詢的效能。嘗試為轉接器提供其他、不同的範例,以反映遇到困難的情況。為您的轉接器提供具代表性、多樣化的文件,使其能夠處理各種實際範例。

將新文件新增至訓練集後,請重新訓練轉接器。然後重新評估您的測試集和查詢。重複此程序,直到轉接器達到您想要的效能等級為止。精確度、召回率和 F1 分數應逐漸改善,而非連續的訓練反覆運算。