‏注釈

データには注意して注釈を付け、エンティティについて言及するたびに必ず注釈を付けてください。注釈が不正確だと、結果が不良になる可能性があります。

入力データには、注釈を付ける PDF の複製のように、重複したものを含めないでください。サンプルが重複していると、テストセットが汚染され、トレーニングプロセス、モデルメトリクス、モデルの動作に悪影響を及ぼす可能性があります。

すべてのドキュメントに注釈が付けられていること、および注釈のないドキュメントが正当なエンティティの欠如によるものであって、過失によるものではないことを確認してください。たとえば、「J Doe はエンジニアになってから 14 年になります」というドキュメントがある場合は、「John Doe」だけでなく「J Doe」にも注釈を付ける必要があります。そうしないと、モデルが混乱し、モデルが「J Doe」をエンジニアとして認識しなくなる可能性があります。これは同じドキュメント内でもドキュメント間でも一貫しています。

一般的に、注釈が多いほど良い結果が得られます。

「最小限」 のドキュメントと注釈でモデルをトレーニングできますが、通常はデータを追加することでモデルが改善されます。モデルの精度を上げるために、注釈付きデータの量を 10% 増やすことをお勧めします。テストデータセットに対して推論を実行できます。このデータセットは変更されず、異なるバージョンのモデルでテストできます。その後、後続のモデルバージョンのメトリクスを比較できます。

実際のユースケースにできるだけ類似したドキュメントを提供してください。パターンが繰り返される合成データは避けるべきです。入力データは、過剰適合を避け、基礎となるモデルが実際の例に基づいてより一般化しやすくなるように、できるだけ多様でなければなりません。

ドキュメントは単語数の点で多様であることが重要です。たとえば、トレーニングデータに含まれるすべてのドキュメントが短い場合、生成されるモデルが長いドキュメントに含まれるエンティティを予測するのが難しくなる可能性があります。

カスタムエンティティを実際に検出するとき (推論時間)、使用予定のデータと同じデータをトレーニングに配分してみてください。たとえば、推論時にエンティティを含まないドキュメントを送付する予定であれば、これもトレーニングドキュメントセットの一部にしてください。