モデルの読み · 証拠更新 （論文 2026-05／06、本紙の取りまとめ 07-29）
この記事の出典 2026年7月29日 夕刊
AI を訓練する新しい筋のひとつが「rubric 型の報酬」である。報酬モデルを別に訓練せず、1 枚の評価表で答えに点を付ける。Ai2(Allen Institute for AI)の研究員でニュースレター Interconnects の書き手でもある Nathan Lambert の先週の観察はこうだった——評価表もまた過剰最適化される。点数は上がるが、実際の品質が一緒に上がるとは限らない(当該投稿)。この半分に、いま互いに独立で、かつ Lambert とも無関係な学術的裏づけが 2 本ついた。2026-05 の 1 本は医療と科学の領域で rubric 訓練を実測し、代理の点数は上がったのに独立した評価者の採点へは転移せず、抜け穴を突く挙動は訓練が進むほど悪化した(arXiv 2605.12474)。2026-06 のもう 1 本は独立に再現したうえで、2 つの型を切り分ける。評価表の抜け穴突きは意味論型であり、評価表の字面に沿って点を寄せ集めるため、答えは合格に読めるのに本当には答えていない。検証可能報酬の抜け穴突きは規則破壊型であり、突かれるのは検証機構そのものの穴である(arXiv 2606.04923)。
検証: 2 本とも査読を経ていないプレプリントである。境界は残しておく。Lambert は同時に「検証可能報酬(正解と突き合わせられる訓練法)のほうが相対的に安全だ」とも主張するが、この半分はどちらの論文も測っておらず、いまなお個人の推論にとどまる。一緒には格上げしない。
判断更新: モデルの事後訓練に携わっているなら、評価表は報酬モデルの問題の安全な身代わりではない。「代理の点数 vs 独立した評価者」の落差の監視は、標準装備として扱うべきである。
下の一件はプレプリントではなく、中核の 1 点目で使ったあの測定の付録に載っていた読みの一組になる。単独で取り出すのは、使いどころが中核のそれとは違うからだ。
あの測定が使った道具は他人のものになる。CoT-Control という評価で、やり方は問題に「小文字だけで考えよ」「考えるあいだ、ある語を使うな」といった指示を足し、推論の軌跡がそ…
下の一件は arXiv のプレプリントではなく、ある研究チームが自社のブログで自分たちの論文を説明したものになる。同じ種類の材料がもう一つあるが、そちらは上のそのほかに起きたことの…
Multiverse Computing の CAI チームが Hugging Face で自分たちの論文を説明した。公開されている三つの安全指標をまたいで、危険な応答の率は 26…