Transformerベースの大規模言語モデル（LLM）は、生成フェーズにおいて過去のトークンから情報を引き出すことができます。開発者が公開した新しいWebツールでは、この注意機構（Attention Mechanism）の働きを視覚的に確認することが可能です。
LLMの注意機構を視覚化するWebツールが公開
このツールはTransformers.jsを利用してブラウザ上でテキストを生成しながら、各トークンの注意の重みを計算して表示します。ユーザーが生成されたテキストのトークンにカーソルを合わせると、その生成に寄与した過去のトークンの不透明度が変化し、どの情報が参照されたかを把握できます。
例えば、住所や日付などの情報を正確に出力する際、ツール上では参照元となるデータが際立って表示されます。また、複数のフレーズから情報を組み合わせて新しい言葉を生成するプロセスも視覚的に確認できます。なお、このツールは可視化に必要なデータを抽出できるよう、カスタマイズされたモデルをHugging Face経由で読み込む仕組みを採用しています。
出典
- Show HN: LLM Attention Visualization （Hacker News Frontpage、2026-09-08）