OpenAIが公開したオープンウェイトモデルGPT-OSSの重みを解析する研究が発表されました。研究者は、モデルカードに「STEM・コーディング・一般知識に焦点を当てた数兆トークン」と記載されている学習データの詳細を、重みパラメータから推測できることを示しています。
解析では、GPT-5が使用するo200kトークナイザーの埋め込み行列のL2ノルム分布が確認されました。非常に低いノルムを持つ約936トークンは、学習過程でほとんど出現しなかった特殊トークンや特定バイト列であることが判明しました。これにより、初期化の分散や勾配降下ステップ数の推定が可能になります。
一方、ノルムが高いトークンには英語の頻出語や推論・コーディング関連の語が多く見られました。これはコーディング強化学習が学習プロセスの最終段階であったことを示唆しています。また、非ASCII文字でノルムが高いトークンには、中国語の成人向けサイトや宝くじ関連の語が含まれていました。
これらのトークンはGPT-4o以降のモデルで共通して使用されています。研究者は、GPT-5が成人向けサイトのフレーズを学習した結果として、特定の敵対的入力を提示すると意図しない出力が返される現象も実証しました。
出典: What GPT-OSS leaks about OpenAI's training data（HN 348pt・82コメント）（HN Search (backfill)、2025-10-06）