モデルの読み · 今日 （計測をめぐる論争、出来事の日は 08-11 から 08-12）
この記事の出典 2026年8月13日 夕刊
蒸留とは、あるモデル(教師)の出力を使って別のモデル(生徒)を訓練することをいう。近ごろ、中国のオープンウェイトモデルが Anthropic の Opus から蒸留したことの証明として、ある論文が広く引かれている。その論文を段ごとに伝えた @bookwormengr が出した数字はこうだ。あるモデルに、Opus と連続 16 トークン完全に同じ推論の過程を生成させるには、理論上どれだけ独立に試す必要があるか——最も取り出しやすいモデルでおよそ 10 の 10 乗回、残りは 10 の 14 乗から 16 乗に落ちる。ところが同じことが目に見える答えの側で起きるには、およそ 10 万回で足りる。二つの経路はおよそ十万倍離れていて、証拠として広まったのは後者のほうだ。伝えた本人は、論文自身の一文も引いている。「these results do not support verbatim memorisation of the reasoning」(これらの結果は、推論が逐語で記憶されていることを支持しない)(原文)。⚠️ 最大の問題は、文のなかに書いておく必要がある。論文の本体を本紙は手にしていない。著者も番号も題名も一つも分からず、数字はすべて立場のはっきりした反対側の一人を経由した伝聞であり、その試行の回数も実際に測ったものではなく理論上の見積もりである。だから結論はこうとしか書けない。「広まったこの証拠は、伝えられた数字のもとでは、あの結論を支えきれない」。「中国のモデルは蒸留していない」と書いてはならない。そのまま持ち帰れるのは三つの検査の問いだ。次に「あるモデルが蒸留であると証明された」を見たら、こう聞く。証拠が乗っているのは推論の経路か、答えの経路か。試験の集合は公開の有名な基準か。同じ系列の内部で対照の基線を取ったか。二つ目の理由はこうだ。試験の集合が公開なら、「訓練のデータにもともとその問題が入っていた」という説明が同じだけ整合し、しかもより単純だからである。直感に反する注意も一つ。あの論文の実験では、ネット上で「自分は Claude だ」と名乗る画面写真が大量に出回った、あのモデルの、トークンの層での取り出しやすさは、むしろきれいだった。自分が誰かを言い間違えることと、重みを写されることは、別々に起こりうる二つの事柄である。
下の一件はプレプリントではなく、中核の 1 点目で使ったあの測定の付録に載っていた読みの一組になる。単独で取り出すのは、使いどころが中核のそれとは違うからだ。
あの測定が使った道具は他人のものになる。CoT-Control という評価で、やり方は問題に「小文字だけで考えよ」「考えるあいだ、ある語を使うな」といった指示を足し、推論の軌跡がそ…
下の一件は arXiv のプレプリントではなく、ある研究チームが自社のブログで自分たちの論文を説明したものになる。同じ種類の材料がもう一つあるが、そちらは上のそのほかに起きたことの…
Multiverse Computing の CAI チームが Hugging Face で自分たちの論文を説明した。公開されている三つの安全指標をまたいで、危険な応答の率は 26…