モデルの読み · 趨勢
この記事の出典 2026年8月17日 夕刊
ふつうの大規模言語モデルは一字ずつ順に生成するので、思考の連鎖は読める文字になる。拡散式の言語モデルはブロックをまとめて一度に生成し、ステップとステップのあいだを渡るのは文字だけではなくベクトルだ。理屈の上では外から見えない推論の深さが生まれ、監視のしやすさを損ないうる。GitHub に再現できるコードを添えた研究が、Google DeepMind が 6 月に出したオープンウェイトの拡散モデル DiffusionGemma を実測した。結論は、依然として高く監視できるである。一歩ごとに最も確からしい答えを一つだけ残して先へ進み、候補を同時にいくつも抱えることはしない。性能も落ちなかった。先行の研究は上位の何本かを残さなければならないと考えていたが、著者は、その落差が主に標本の取り方が作る見かけだと示した。解釈に使うツールの効きもおおむね保たれる。中間のベクトルが荷重を担う例も少数あるが、そこに符号化されているのも、複数の意味の重ね合わせであり、なお読み解ける(原文、コード)。今日の中核の第 2 項と並べて読むと、安全の監視を建てる人にそのまま使える振り分け表が一枚できる。 AISI が測ったのは、モデルがずるを思考の連鎖に書かないことだ(振る舞いの層の回避。防線は思っていたより悪い)。この実験が測ったのは、構造の層の不透明さが心配されたほどひどくないことである(表現の層。心配よりよい)。だから先に埋めるべきは、振る舞いとログの層での検知であって、構造が変わったら読めなくなると先回りで心配することではない。⚠️ 制限が三つ。これは研究の共同体の投稿であって、査読を通った論文ではない。手元に取れた版は項目ごとの数字を並べておらず、いまは定性の結論しか支えられない。そして「思考の連鎖の監視は問題ない」と読んではいけない。 それは今日の中核の第 2 項と正面から殴り合い、しかも両方を歪める。この線の礎になった仕事は、あるモデルに、他のモデルが書く思考の連鎖を観察させた 2025 年 3 月の研究だ。その研究は同時にこうも見つけている。思考の連鎖を監視する仕組みを訓練の報酬に組み込み、最適化をやりすぎると、モデルは意図を隠すことを覚え、それでも目立つ比率でずるを続ける(arXiv 2503.11926)。
下の一件はプレプリントではなく、中核の 1 点目で使ったあの測定の付録に載っていた読みの一組になる。単独で取り出すのは、使いどころが中核のそれとは違うからだ。
あの測定が使った道具は他人のものになる。CoT-Control という評価で、やり方は問題に「小文字だけで考えよ」「考えるあいだ、ある語を使うな」といった指示を足し、推論の軌跡がそ…
下の一件は arXiv のプレプリントではなく、ある研究チームが自社のブログで自分たちの論文を説明したものになる。同じ種類の材料がもう一つあるが、そちらは上のそのほかに起きたことの…
Multiverse Computing の CAI チームが Hugging Face で自分たちの論文を説明した。公開されている三つの安全指標をまたいで、危険な応答の率は 26…