バイナリの分類

多くのバイナリ分類アルゴリズムの実際の出力は予測スコアです。スコアは、指定された観測が正のクラスに属しているというシステムの確実性を示します。このスコアの利用者として、観察を正または負に分類するかどうかを決定するために、分類しきい値 (カットオフ) を選択してスコアと比較することにより、スコアを解釈します。スコアがしきい値より大きい観測は正のクラスと予測され、スコアがしきい値より小さい場合は、負のクラスとして予測されます。

図 1: バイナリ分類モデルのスコア分布

実際の既知の回答と予測回答に基づいて、予測は以下の 4 つのグループに分類されます: 正しい正の予測 (正しい検出)、正しい負の予測 (正しい非検出)、誤った正の予測 (誤検出) と誤った負の予測 (検出漏れ)。

バイナリ分類精度メトリクスは、2 種類の正しい予測と 2 種類のエラーを定量化します。典型的なメトリクスは、精度 (ACC)、正確さ (precision)、リコール、誤検出率、F1 測定値です。各メトリクスは、予測モデルの異なる面を測定します。精度 (ACC) は正しい予測の割合を測定します。正確さ (Precision) は、正と予測されるこれらの例の中で実際の正の割合を測定します。リコールは、実際の正の割合のうち正と予測されたものの数を測定します。F1 測定値は、正確さとリコールを組み合わせた手法です。

AUC は、別のタイプのメトリクスです。モデルの能力を測定して、正の例についてより高いスコアを予測し負の例と比較します。AUC は選択したしきい値から独立しているため、しきい値を選択せずに AUC メトリクスからモデルの予測パフォーマンスを知ることができます。

ビジネス上の問題によっては、これらのメトリクスの特定のサブセットでうまくいくモデルにもっと興味があるかもしれません。たとえば、2 つのビジネスアプリケーションで、ML モデルの要件が非常に異なる場合があります。

Amazon ML では、観測により、予測された [0,1] の範囲のスコアを取得します。例を 0 または 1 として分類する決定をするためのスコアしきい値は、デフォルトで 0.5 に設定されています。Amazon ML により、異なるスコアしきい値を選択することによる影響を確認でき、ビジネスニーズに合った適切なしきい値を選択できます。