モデルの読み · 今週 （発表日 9 月 1 日）
この記事の出典 2026年9月2日 夕刊
米国のアレン人工知能研究所が 9 月 1 日、BenchMIRT を発表した。項目反応理論の多次元版を使い、ある評価指標が結局のところ何を量っているのかを一問ずつ分解する。もともとは心理検査が、解答の型から能力を推し量るために使ってきた手法になる。100 のモデル × 16 の評価指標 × 3.4 万問超を食わせ、どの評価指標が何を量るかは一切教えないまま走らせたところ、二つの主軸が自ずと出てきた。安全性と、一般的な推論だ。直感に反するのはここからで、社会的な偏りを見る BBQ と、危険な両用の知識を見る WMDP は普通なら安全性の側に置かれるのに、実際には一般的な推論との結び付きのほうがずっと強い。しかも推論が強いほど WMDP の点数は下がる（その評価指標は「答えを拒むこと」を正解として数えているためだ）（Hugging Face のブログ、09-01）。今日の中核 2 点目と合わせて読む。 韓国の配点でいう「ベンチマークが 40 点」の意味は、点数の 4 割が、何を量っているのかまだ解きほぐされていない問題の束によって決まる、ということになる。安全性の評価指標の点数でモデルを選ぼうとしているなら、まずその指標が、答えを拒むことを正解に数えていないか確かめること。そうでないと、選んだのは最も安全なモデルではなく、最も問いを避けるのが上手いモデルかもしれない。⚠️ 訓練に使われたモデルはすべて 2025 年 3 月より前に公開されたもので、新しい世代の振る舞いについては分からない。
下の一件はプレプリントではなく、中核の 1 点目で使ったあの測定の付録に載っていた読みの一組になる。単独で取り出すのは、使いどころが中核のそれとは違うからだ。
あの測定が使った道具は他人のものになる。CoT-Control という評価で、やり方は問題に「小文字だけで考えよ」「考えるあいだ、ある語を使うな」といった指示を足し、推論の軌跡がそ…
下の一件は arXiv のプレプリントではなく、ある研究チームが自社のブログで自分たちの論文を説明したものになる。同じ種類の材料がもう一つあるが、そちらは上のそのほかに起きたことの…
Multiverse Computing の CAI チームが Hugging Face で自分たちの論文を説明した。公開されている三つの安全指標をまたいで、危険な応答の率は 26…