耶鲁大学研究者从LLM内部调出了隐藏的解题策略

イェール大学の研究者が、LLM(大規模言語モデル)の内部に混ざったまま眠っている「解き方の戦略」を、外から選べる明示的な変数として取り出す手法を発表した(https://arxiv[.]org/pdf/2607.17674)。たとえば「nが偶数ならばn²も偶数であることを証明せよ」という問題に対し、LLMは背理法・帰納法・対偶法・代数的操作など複数の証明方法を知っている。ただし実際にどの戦略で答えを生成しているかは出力の確率分布の中に混ざり込んだままで、外から区別も指定もできない。

著者らは、入力から「どの戦略を使うか」を選ぶルーター(router)と、選ばれた戦略に沿って応答を生成するジェネレーター(generator)へ、事前学習済みモデルを分解しようと試みた。しかしVAE(変分オートエンコーダ)の標準的な学習目的関数であるELBO(Evidence Lower Bound、変分下限)をそのまま使うと、ジェネレーターは戦略変数zを一切参照しなくても元のモデルの出力分布をそのまま再現できてしまう。しかも「zを無視する解」はこの目的関数そのものの最適解でもあり、かつモデルの初期状態(事前学習済みの重みそのもの)からほとんど動かずに実現できてしまう。

そのため学習はzを完全に無視する解に落ち着きやすく、通常のVAEよりもずっと深刻な事後崩壊(posterior collapse、潜在変数が学習で使われなくなる現象)が起きるという。これを防ぐために提案された学習手法は、事前学習済みモデル自身を「基準」として使う。再構成損失をベースモデル自身の応答損失で正規化したうえで、ベースモデルが次のトークンに自信を持てない(サープライザル=驚き度が高い)位置に再構成の圧力を��中させる。

複数の続きがまだあり得るこうした「分岐点」こそ、まさに戦略選択が起きている場所にあたるという発想だ。リスト総和・ソート・グリッド経路探索・一次方程式・進数変換・多桁足し算という6種類の合成タスク(いずれも複数の正しい解き方を持つ)でQwen2.5の0.5B/1.5Bモデルを検証したところ、通常のELBOは出力の正しさ(Distributional Fidelity)は保てても、同じ戦略変数zを別の類題に使い回した時に同じ戦略が再現されるか(Analogical Consistencyという指標で測るStrategy Alignment)は低いまま。ランダム初期化モデルでも504通りの学習設定を網羅的に検証したうえで、提案手法はこの両方を安定して同時に達成したという。

あわせて、どのような条件下でこの潜在変数が真の戦略構造を正しく復元できるかを情報量の観点から保証する理論的な条件も示しているが、著者ら自身これは予備的な解析だと位置づけている。さらに興味深いのは、学習前のベースモデルの隠れ状態だけを使った線形プローブでも、戦略ラベルがかなり予測できてしまう点だ。LLMは戦略の情報をすでに内部に持っているのに、それを取り出して選べる形にはできていなかった、ということかもしれない。