TabPFNやTabICLといったTabular Foundation Modelsは、追加のトレーニングを行うことなく新しいデータセットに対して予測を行う能力を示しており、一連のベンチマークにおいてチューニング済みのXGBoostを上回る結果を出しています。Efrain Garay氏のレポートによると、これらのモデルは大規模言語モデルで知られる手法であるインコンテキスト学習を活用し、1回のフォワードパスで表形式データを処理します。
Grinsztajnベンチマークの14のデータセットに対して実施されたテストにおいて、これらのモデルは一貫した優位性を示しました。観察された主な利点は、単なる精度の向上だけでなく、計算効率にも及びます。チューニング済みのXGBoostはハイパーパラメータ探索に多大な時間を要する一方で、基盤モデルはトレーニング行をコンテキストとして使用することで、ほぼ瞬時に結果を提供します。
性能の優位性は、最大32,000行までのデータセットにおいて安定しています。しかし、これらのモデルは「ワイド（列数が多い）」なテーブルに対して課題を抱えています。419列を持つBioresponseデータセットを用いたテストでは、TabPFNの性能が大幅に低下し、チューニングされていないXGBoostの結果を下回りました。このことは、これらのモデルが長いデータセットをうまく扱える一方で、TransformerのAttentionメカニズムの計算コストにより、列数が多い場合に敏感であることを示唆しています。
出典
- TabPFN and TabICL vs. tuned XGBoost: the model that doesn't train won 14/14 （Hacker News Frontpage, 2026-09-28）