モデルの読み
この記事の出典 2026年8月9日 夕刊
「第三の軸」は論文自身の分類であり、本紙は裏書きしない。論文〈Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation〉(arXiv 2607.27372)は、計算効率が 4.1 倍、サンプル効率が 6.2 倍だと自ら報じている。元 Meta の研究者 Armen Aghajanyan が指摘した数字の形は、めずらしいほどきれいだ。一歩ごとに生成する候補の数を増やすと、論文が最適化しているその指標は一貫してよくなり(0.0896 → 0.0763 → 0.0703)、汎化の力を本当に表すホールドアウト側の指標は一貫して悪くなる(0.1437 → 0.1631 → 0.1835)。同じつまみ、二つの指標、向きは正反対、しかもどちらも単調である(原文、2026-08-04)。ホールドアウトとは、学習のあいだ一度も見せずに検証のために取り分けておくデータのことだ。学習の分布の上でよくなり、その上で悪くなるのは、「最適化された指標」と「本当に欲しい性質」が外れていく教科書どおりの形である。⚠️ あの反転の数字は単一の出どころが報じたもので、本紙は再現していない。実験の設定が論文のもとの設定と比べられるのかも確かめていない——これはこの一本が自ら批判している誤りの型そのものであり、だからこれは追う値打ちのある手がかりであって、成り立った反証ではない。 論文の本文も本紙は読んでおらず、争点はまさに実験の章にある。持ち帰れる三つの問い(技術の細部が分からなくても問える)。この指標はどこで測ったのか、学習の分布かホールドアウトか。分母から何かが抜かれていないか。これは新しいのか、古いものの名前を替えただけか。効率の主張は、企業価値の見立てにも調達の判断にも入力として入りはじめている。この三つは、それを確かめられる状態へ引き戻す最短の道である。
下の一件はプレプリントではなく、中核の 1 点目で使ったあの測定の付録に載っていた読みの一組になる。単独で取り出すのは、使いどころが中核のそれとは違うからだ。
あの測定が使った道具は他人のものになる。CoT-Control という評価で、やり方は問題に「小文字だけで考えよ」「考えるあいだ、ある語を使うな」といった指示を足し、推論の軌跡がそ…
下の一件は arXiv のプレプリントではなく、ある研究チームが自社のブログで自分たちの論文を説明したものになる。同じ種類の材料がもう一つあるが、そちらは上のそのほかに起きたことの…
Multiverse Computing の CAI チームが Hugging Face で自分たちの論文を説明した。公開されている三つの安全指標をまたいで、危険な応答の率は 26…