TabTransformer の仕組み

TabTransformer は、教師あり学習の新しいディープな表形式データモデリングアーキテクチャです。TabTransformer は、自己アテンションベースの Transformers で構築されています。トランスフォーマーレイヤーは、カテゴリ別特徴の埋め込みを堅牢なコンテキスト埋め込みに変換して、予測精度を高めます。さらに、TabTransformer から学習したコンテキスト埋め込みは、欠落しているデータ特徴とノイズの多いデータ特徴の両方に対して非常に堅牢で、解釈可能性もより優れています。

TabTransformer アルゴリズムは、さまざまなデータ型、関係、分布、および微調整できるさまざまなハイパーパラメータを堅牢に処理できるため、機械学習のコンペティションにおいて優れた結果を出しています。TabTransformer は、回帰、分類 (バイナリとマルチクラス)、ランキングの問題に使用できます。

TabTransformer アーキテクチャを以下に図で示します。

詳細については、「TabTransformer: Tabular Data Modeling Using Contextual Embeddings」を参照してください。