AIによる個別指導、GRE対策において専門家と同等の学習効果を低コストで実現

Curtis Northcutt氏が主導したこの研究では、「AIチューターとの対話」、「人間の専門家によるビデオ通話指導」、「教育ビデオの視聴」という3つの手法の有効性とコストを比較しました。実験には 2,383 名の大人が参加し、数学および言語のGREの問題を解きました。

結果として、数学と言語の合計において、正解数の平均増加量はAIグループが 13.9 ポイント、人間による専門家グループが 15.6 ポイントでした。人間グループの方が平均増加量はわずかに高いものの、その 0.58 ポイントの差は、研究チームが事前に定義した「同等」の範囲である±4.09 ポイント以内に収まっています。ただし、科目別に分析すると、数学については具体的に同等性が確認された一方で、言語スコアについては人間による指導の方が優位な結果となりました。

AIモデルのコスト効率は著しく高いことが示されました。例えば、スコア1ポイント向上あたりのコストを比較すると、Gemma 4 31B は約 $0.0052 と算出されたのに対し、人間の専門家は $4.81 for でした（人間のチュータリング料金を $75 per 時間と想定）。これにより、Gemma 4 31B は人間の指導よりもおよそ 918 倍コストパフォーマンスが高いことになります。他のAIモデルも経済的であることが証明されており、コストはスコア1ポイント向上あたり $0.024 to $1.40 per の範囲でした。