調教データのテスト

モデルを調教した後、Amazon Comprehend はカスタム分類子モデルをテストします。テストデータセットを指定しないと、Amazon Comprehend は調教データの 90% を使用してモデルを調教します。調教データの 10% はテスト用に確保されます。テストデータセットを与える場合、テストデータには調教データセット内の固有のラベルごとに少なくとも 1 つの例が含まれている必要があります。

モデルをテストすると、モデルの精度推定に使用できる指標が得られます。コンソールの分類子の詳細ページの分類子パフォーマンスセクションに指標が表示されます。また、 DescribeDocumentClassifierオペレーションによって返されるMetricsフィールドにも返されます。

次のトレーニングデータの例では、、、、SCIENCE_DOCUMENTARY、FICTIONDOCUMENTARY、ROMANTIC_ の 5 DOCUMENTARYつのラベルがありますCOMEDY。、SCIENCE_DOCUMENTARY、FICTIONROMANTIC_ の 3 つの一意のクラスがありますCOMEDY。

自動分割（Amazon Comprehend が調教データの 10% をテスト用に確保）では、調教データに含まれている特定のラベルが限られていると、テストデータセットにはそのラベルの例が全くないという結果になり得ます。例えば、トレーニングデータセットに DOCUMENTARYクラスの 1,000 インスタンス、 SCIENCE_ の 900 インスタンスFICTION、 ROMANTIC_COMEDY クラスの 1 つのインスタンスが含まれている場合、テストデータセットには 100 DOCUMENTARYおよび 90 SCIENCE_FICTION インスタンスが含まれている可能性がありますが、使用可能な例は 1 つあるため、 ROMANTIC_COMEDY インスタンスが含まれていない可能性があります。

モデルの調教が終わると、調教指標で得られる情報から、モデルがニーズに十分合っているかどうかを判断できます。