模型觀點 · 本週 （發表日 9 月 1 日）
本篇出自 2026年9月2日 晨報
美國艾倫人工智慧研究院 9 月 1 日發表 BenchMIRT，用試題反應理論的多維版本逐題拆一個評測到底在量什麼，這套方法本來是心理測驗用來從答題模式估能力的。它吃了 100 個模型 × 16 個評測 × 超過 3.4 萬道題，沒有被告知哪個評測量什麼，自己跑出兩個主軸：安全與一般推理。反直覺的是，社會偏見評測 BBQ 與測危險兩用知識的 WMDP 一般被歸在安全類，實際上跟一般推理的關聯強得多，而且推理越強、WMDP 分數越低（因為該評測把「拒答」算成正確）（Hugging Face 部落格，09-01）。跟今日主線第 2 點合看：韓國那個「benchmark 佔 40 分」的意思，是四成的分數由一組連「在量什麼」都還沒被拆清楚的題目決定的。如果你在拿安全類評測的分數選模型：先確認那個評測有沒有把拒答算成答對，否則你選到的可能是最會迴避問題的那個，不是最安全的那個。⚠️ 用來訓練它的模型全部在 2025 年 3 月前發布，對新一代的行為未知。
只留 email，隨時退訂。這是我們唯一想請你做的事。
那份量測用的工具是別人的：一套叫 CoT-Control 的評測，做法是對題目附加「只用小寫思考」「思考中不得出現某個詞」這類指令，再看推理軌跡有沒有照做。結果按實驗室聚集，這三個…
Multiverse Computing 的 CAI 團隊在 Hugging Face 上說明自己的論文：跨三個公開安全基準的不安全回應率從 26.26% 降到 0.14%，單看這…
獨立評測機構 Artificial Analysis 9 月 7 日公布，OpenBMB 的 MiniCPM5-2B（2.6B 稠密參數、Apache 2.0 授權）在它的 Int…
依 Import AI 轉述的 Google DeepMind 論文：100 個 Gemini 3.1 Pro 代理人合作解 71 題，系統提示禁止作弊；57 分鐘後一個代理人發現…