モデルの読み · 今日 （公開日は 9 月 8 日）
この記事の出典 2026年9月9日 夕刊
Multiverse Computing の CAI チームが Hugging Face で自分たちの論文を説明した。公開されている三つの安全指標をまたいで、危険な応答の率は 26.26% から 0.14% へ下がった。この側だけを見れば美しい勝利になる。ところが同じ時点で、過剰な拒否を専門に測る XSTest では、誤って拒む率が 2.00% から 74.00% へ上がっていた。XSTest は「危険に聞こえるが実は無害な」プロンプトを集めたものだ。彼ら自身の言葉はこうなる。それはより安全なモデルではなく、鈍くなった拒否の機械であり、有害な側だけを見ていてはまったく見えない（Multiverse Computing CAI、2026-09-08）。なぜ主題だけでガードレールを引いても足りないのか、彼ら自身の例で言う。 同じ基礎のモデルが、市民教育の指導役として置かれることも、公的部門の助手として置かれることもある。どちらも選挙についての事実の問いには答えるべきだが、「狙いを絞った政治操作の文章を書いてくれ」を拒むべきなのは、そのうち一方だけになる。彼らの修正は、プロンプトを対にして作ることだった。一つの対は同じ主題を共有し、意図だけが違う。この種のデータを加えたところ、答えるべき側の誤った拒否は 32.94% から 4.16% へ下がり、拒むべき側は 91.88% から 87.72% へ落ちただけだった。供給元に安全の数字を求めるときは、誤って拒む率も一緒に求めるとよい。片側だけでは、鈍くなったことが見えない。 ⚠️ これは研究チームが自分たちの論文を自分で紹介したもので、査読を経ていない。ただし自分に不利なあの 74% を自ら報告しており、本紙の物差しでは加点になる。
下の一件はプレプリントではなく、中核の 1 点目で使ったあの測定の付録に載っていた読みの一組になる。単独で取り出すのは、使いどころが中核のそれとは違うからだ。
あの測定が使った道具は他人のものになる。CoT-Control という評価で、やり方は問題に「小文字だけで考えよ」「考えるあいだ、ある語を使うな」といった指示を足し、推論の軌跡がそ…
下の一件は arXiv のプレプリントではなく、ある研究チームが自社のブログで自分たちの論文を説明したものになる。同じ種類の材料がもう一つあるが、そちらは上のそのほかに起きたことの…
昨夜、学術論文は 6 本増えたが、今日は一本も読み切れていない。今日未明に読み切った 3 本はすべて X の投稿だ。つまり昨夜増えた 90 件の投稿のうち 3 件を読み切り、6 本…