模型觀點 · 量測方法,2026-06-17
本篇出自 2026年7月13日 晨報
Epoch 6 月 17 日釋出一張任務分類法的第一版(原文,2026-06-17):把一家前沿 AI 公司的研究工作拆成 6 大類、60 多項任務,每項用 0 到 5 分評「現在的 AI 能自動化到什麼程度」。它針對的是現有量測的路燈謬誤 — 在路燈下找鑰匙,不是因為鑰匙掉在那,是因為那裡有光:像 METR 那種「AI 能獨立做多長時間的任務」的單軸指標好量,卻漏掉了研究工作真正的複雜結構。(O*NET 是美國勞工部那套職業任務資料庫,Epoch 借它的做法套到 AI 研究上。)和今日主線第 1 點合看:Epoch 這個月在做同一件事 — 把「智能爆炸什麼時候來」從吵架題改造成工程題。但目前只有 Epoch 一家在做,這是不是產業級的量測方法轉向,得等第二家機構跟進才算數。
只留 email，隨時退訂。這是我們唯一想請你做的事。
Stanford 的「平攤評測法」——用「從題目內容預測難度」壓低可靠評測的成本——今天完成定向查證,找到獨立第二證:ICML 2026 一篇論文用同路線做模型能力外推(scali…
Lambert 一年前的「美版 DeepSeek」宣言——2 年、1 到 5 億美元做出權重（模型訓練完的參數檔案）／數據／代碼全開放的前沿模型——本報完成定向查證:專案存在有媒體…
目前後訓練（模型練完基礎能力後、再教它怎麼答題的階段）的主力方法 RLVR（可驗證獎勵的強化學習：只在數學、程式這類有標準答案的任務上給模型獎勵）有個結構性盲點：它只優化「可以客觀…
SemiAnalysis 在同篇 AMD 實勘裡給出一組第一手工程觀察：2.5 名工程師配上 AI 編程代理，就能完成過去一整組人才做得完的新模型「發布日支援」：代理自動抓設定、跑…