カスタムエンティティレコグナイザーメトリクス

Amazon Comprehend には、エンティティレコグナイザーが、業務にどの程度役立つかを見積もるのに役立つメトリクスが用意されています。これらはレコグナイザーモデルのトレーニングに基づいているため、トレーニング中のモデルのパフォーマンスを正確に表していますが、エンティティ検出中の API パフォーマンスの概算にすぎません。

メトリクスは、トレーニング済みのエンティティレコグナイザーからメタデータが返されるたびに返されます。

Amazon Comprehend は、一度に最大 25 のカスタムエンティティでモデルのトレーニングをサポートします。トレーニング済みのエンティティレコグナイザーからメトリクスが返されると、レコグナイザー全体 (グローバルメトリクス) と個々のエンティティ (エンティティメトリクス) の両方に対してスコアが計算されます。

グローバルメトリクスとエンティティメトリクスの両方として、次の 3 つのメトリクスを使用できます。

グローバルメトリクスと個別エンティティメトリクス

グローバルエンティティメトリクスと個別エンティティメトリクスの関係は、次の文を場所または人物であるエンティティについて分析するとわかります。

John Washington and his friend Smith live in San Francisco, work in San Diego, and own 
    a house in Seattle.

この例では、モデルは次のような予測を行います。

John Washington = Person
Smith = Place
San Francisco = Place
San Diego = Place
Seattle = Person

しかし、予測は以下のようになっているはずです。

John Washington = Person
Smith = Person  
San Francisco = Place
San Diego = Place
Seattle = Place

この場合の個々のエンティティメトリクスは次のようになります。

entity:  Person
  True positive (TP) = 1 (because John Washington is correctly predicted to be a 
    Person).
  False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person, 
    but is actually a Place).
  False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but 
    is actually a Person).
  Precision = 1 / (1 + 1) = 0.5 or 50%
  Recall = 1 / (1+1) = 0.5 or 50%
  F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50%
  
entity:  Place
  TP = 2 (because San Francisco and San Diego are each correctly predicted to be a 
    Place).
  FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a 
    Person).
  FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a 
    Place).
  Precision = 2 / (2+1) = 0.6667 or 66.67%
  Recall = 2 / (2+1) = 0.6667 or 66.67%
  F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or  66.67%

この場合のグローバルメトリクスは次のようになります。

グローバル:

Global:
  TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly. 
    This is also the sum of all individual entity TP).
  FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual entity FP).
  FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual FN).
  Global Precision = 3 / (3+2) = 0.6 or 60%  
    (Global Precision = Global TP / (Global TP + Global FP))
  Global Recall = 3 / (3+2) = 0.6 or 60% 
    (Global Recall = Global TP / (Global TP + Global FN))
  Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60% 
    (Global F1Score = 2 * Global Precision *  Global Recall / (Global Precision + 
    Global Recall))

カスタムエンティティレコグナイザーのパフォーマンスの向上

これらのメトリクスから、トレーニング済みモデルを使用してエンティティを識別したときに、そのモデルがどの程度正確に機能するかについての洞察が得られます。メトリクスが予想よりも低い場合に、メトリクスを改善するために使用できるオプションをいくつか紹介します。