モデルの読み · 今日 （提出日 8 月 24 日）
この記事の出典 2026年8月25日 夕刊
コードを書き換える能力を測る従来のやり方は「振る舞いが正しいか」しか見ず、「引っ越しがほんとうに起きたか」を見ない。そこにきわめて単純な抜け道が生まれる。もとの実装をそのまま複製して持ってきて、テストを通してしまえばよい。 昨日 arXiv（公開の査読前論文の場）に出された論文は、この現象を「盲目（Blindness）」と名づけ、三つの関門からなる評価を設計した。①まず引っ越しが実際に起きたことを確かめる。②次に固定のテスト一式で振る舞いの正しさを見る。③最後に 6 個の独立したコーディングのエージェントに狙いを定めたテストを作らせ、隠れた振る舞いの違いを探す。母集団は 20 件の倉庫まるごとの移行課題で、技術的な負債 4 種類を覆う。走らせたのは フロンティアモデル 8 個、26 通りの構成、合計 520 回になる。三つの関門をすべて越えたのは 28 回（5.4%）だけで、20 件のうち 13 件は受理される解を一つも受け取れず、いちばん成績のよかった claude-opus-5 でも満点 100 の物差しで 47.0 点だった（arXiv 2608.23564、08-24）。いちばん情報量があるのは、失敗の仕方になる。 少数は「引っ越しを飛ばした」ために第一の関門で倒れたが、大多数はほんとうに手を動かし、そのうえで振る舞いを壊して第二の関門で倒れている。⚠️ 限定が二つ。これは評価であって現実の引っ越しではない（チームをまたいでおらず、本番の切り替えもなく、稼働後の不具合の率も出ていない）。しかも査読を受けていない査読前の論文にあたる。「引っ越しの請求書はいくらか」には答えられないが、もう半分には答えている。いまのところ大筋で動かせない。そして失敗の主な形は、動かす途中で壊すことだ。 これは今日の中核の第 2 項、あの期待値の論のなかにある「直し間違えて自分でサービスを壊す」と同じ形になる。
下の一件はプレプリントではなく、中核の 1 点目で使ったあの測定の付録に載っていた読みの一組になる。単独で取り出すのは、使いどころが中核のそれとは違うからだ。
あの測定が使った道具は他人のものになる。CoT-Control という評価で、やり方は問題に「小文字だけで考えよ」「考えるあいだ、ある語を使うな」といった指示を足し、推論の軌跡がそ…
下の一件は arXiv のプレプリントではなく、ある研究チームが自社のブログで自分たちの論文を説明したものになる。同じ種類の材料がもう一つあるが、そちらは上のそのほかに起きたことの…
Multiverse Computing の CAI チームが Hugging Face で自分たちの論文を説明した。公開されている三つの安全指標をまたいで、危険な応答の率は 26…