RCF を使用して異常を検出する方法

人間は他のデータと際立っているデータポイントを容易に区別することができます。RCF は、意思決定ツリーの「フォレスト」を構築し、新しいデータポイントがフォレストをどのように変化させるかを監視することで、同じことを行います。

異常は、通常のポイントから注意を引くデータポイントです。黄色の花が咲く野原にある赤い花をイメージしてみてください。この「注意の変位」は、入力点によって占められることになるツリーの (予想される) 位置 (すなわちRCFにおけるモデル) に符号化されます。アイデアは、アルゴリズムをトレーニングするためにサンプリングされたデータのパーティションから各デシジョンツリーが成長するフォレストを作成することです。より技術的に言うと、各ツリーは、サンプル上に特定のタイプのバイナリスペースのパーティショニングツリーを構築します。Amazon QuickSight がデータをサンプリングすると、RCF は各データポイントに異常スコアを割り当てます。それは異常に見えるデータポイントにより高いスコアを与えます。スコアは、概算で、結果として得られるツリー内のポイントの深さに反比例します。Random Cut Forest は、各構成ツリーからの平均スコアを計算し、サンプルサイズに関して結果をスケーリングすることによって、異常スコアを割り当てます。

各モデル自体は弱い予測値であるため、さまざまなモデルの投票数またはスコアが集計されます。Amazon QuickSight は、スコアが最近のポイントと大幅に異なる場合、データポイントを異常と識別します。何が異常として分類されるかは、アプリケーションによって異なります。

ホワイトペーパー Random Cut Forest ベースの、ストリームにおける異常検出 には、この最先端のオンライン異常検出 (時系列異常検出) の複数の例が記載されています。RCF は、隣接するセグメントまたはデータの「こけら板」に使用されます。この場合、直近のセグメントのデータは最新のセグメントのコンテキストとして機能します。RCF ベースの異常検出アルゴリズムの以前のバージョンは、こけら板全体にスコアを付けます。Amazon QuickSight のアルゴリズムは、現在の拡張されたコンテキストにおける異常のおおよその位置も示します。このおおよその場所は、異常の検出に遅延があるシナリオで役立ちます。遅延が発生するのは、任意のアルゴリズムで「以前に見た偏差」を「異常な偏差」に特徴付ける必要があるためです。