ジョージア工科大学の研究者たちは、Transformerアーキテクチャの内部メカニズムを可視化するために設計されたインタラクティブなウェブツール「Transformer Explainer」を開発しました。このツールを使用すると、ユーザーはエンベディング、トークン化、自己注意メカニズムなどのさまざまなコンポーネントを通じて、テキストがどのように処理されるかを探求できます。
製品発表GPT-2Transformer Explainer
Transformer ExplainerがTransformerアーキテクチャのインタラクティブな視覚的解説を提供
この記事は翻訳です。 原文を読む
この解説ツールは、パラメータ数1億2400万のライブGPT-2 (small)モデルを搭載しており、ONNX Runtimeを使用してブラウザ上で直接動作します。インターフェースを操作することで、ユーザーは入力テキストがどのように高次元ベクトルに変換されるか、またマルチヘッド自己注意が長期的な依存関係を捉えるためにどのようにアテンションスコアを計算するかを観察できます。
このツールは、Query (Q)、Key (K)、Value (V) ベクトルの役割、多層パーセプトロン (MLP) 層の機能、およびサンプリングプロセスにおけるtemperature、top-k、top-pといったハイパーパラメータの影響を含む、データフローのステップバイステップのガイドを提供します。インターフェースはJavaScript、Svelte、D3.jsを使用して構築されており、ユーザーの入力に基づいて数値値をリアルタイムで更新します。
出典
- Transformers Explained Visually （Hacker News Frontpage, 2026-09-21）