模型觀點 · 證據更新 （原論文 2026-03）
本篇出自 2026年7月18日 晨報
Meta FAIR 系團隊三月的論文 Principia 主張：現行數學評測多半只判最終數值或選項，但真正的科學工作要求推導出公式與結構。他們做了一個 2,558 題的推導評測，本報當時只收了「前沿模型吃力」的定性說法，本週直讀論文 PDF 把數字補齊(arXiv,2026-03)：OpenAI 的 o3 在推導評測拿 62.90 分，同一個模型在競賽數學 AIME-2024 拿 85.63，差約 23 分。最有記憶點的是另一組實驗，做在既有評測 SuperGPQA 的數學工程子集上，不是那 2,558 題本身：同一批題只是把選項拿掉、改要求推導，強模型就掉了約 6 到 14 分，o3 從 69.10 掉到 62.90、Qwen3-235B 從 69.33 掉到 55.58。高分裡有一部分，是靠選項線索答出來的。對拿評測分數當賣點或驗收標準的人，這裡有一個可操作的提醒：別只看單一總分，要追問對照組，也就是同一批題拿掉選項後還剩多少分，否則你買到的可能是選項線索撐出來的成績。留意：評分的裁判用的是 o3 自己，自建評測、自報結果的偏誤還在。
只留 email，隨時退訂。這是我們唯一想請你做的事。
Stanford 的「平攤評測法」——用「從題目內容預測難度」壓低可靠評測的成本——今天完成定向查證,找到獨立第二證:ICML 2026 一篇論文用同路線做模型能力外推(scali…
Lambert 一年前的「美版 DeepSeek」宣言——2 年、1 到 5 億美元做出權重（模型訓練完的參數檔案）／數據／代碼全開放的前沿模型——本報完成定向查證:專案存在有媒體…
目前後訓練（模型練完基礎能力後、再教它怎麼答題的階段）的主力方法 RLVR（可驗證獎勵的強化學習：只在數學、程式這類有標準答案的任務上給模型獎勵）有個結構性盲點：它只優化「可以客觀…
SemiAnalysis 在同篇 AMD 實勘裡給出一組第一手工程觀察：2.5 名工程師配上 AI 編程代理，就能完成過去一整組人才做得完的新模型「發布日支援」：代理自動抓設定、跑…