模型觀點 · 追蹤更新 趨勢 (對談 07-22,趨勢歸位今日)
本篇出自 2026年7月23日 晨報
本報 7/22 期主線第 3 點寫過 Lambert 反駁流行蒸餾敘事的發言;今天他在播客長談裡把機制攤開:蒸餾(拿強模型的輸出當教材)確實用於監督微調階段,也就是模型「學禮貌、學人格」之處;但能力真正養成在強化學習階段,而那個階段蒸餾難得多——大型強化學習訓練要跑數千萬次嘗試(引 Thinking Machines 自述其近期一次訓練約 2,000 到 4,000 萬次),拿最強模型逐次打分「貴到瘋狂」且可能成為時間瓶頸。他也誠實承認未解之處:「就算給我魔法 API 拿到最強模型的推理過程,我不知道拿去微調自家模型會不會更聰明——這是最狂的未解研究問題之一」(Interconnects,07-22)。這條落在本報追蹤的一條路線之爭上:
並存 ⇄
本報 7/14 已裁的判讀(本期沿用、非今日新裁):「買推理時的思考時間」與「蒸進小模型」按工作型態並存分化——開放性問題買思考,窄域高頻任務蒸小模。什麼會推翻它:蒸餾小模型在開放性任務追平前沿「買思考」模型,判讀作廢;反向若蒸餾模型在窄域外頻繁崩壞,蒸餾路線縮回。檢核期限 2027 年 7 月中。
只留 email,隨時退訂。這是我們唯一想請你做的事。
Stanford 的「平攤評測法」——用「從題目內容預測難度」壓低可靠評測的成本——今天完成定向查證,找到獨立第二證:ICML 2026 一篇論文用同路線做模型能力外推(scali…
Lambert 一年前的「美版 DeepSeek」宣言——2 年、1 到 5 億美元做出權重(模型訓練完的參數檔案)/數據/代碼全開放的前沿模型——本報完成定向查證:專案存在有媒體…
目前後訓練(模型練完基礎能力後、再教它怎麼答題的階段)的主力方法 RLVR(可驗證獎勵的強化學習:只在數學、程式這類有標準答案的任務上給模型獎勵)有個結構性盲點:它只優化「可以客觀…
SemiAnalysis 在同篇 AMD 實勘裡給出一組第一手工程觀察:2.5 名工程師配上 AI 編程代理,就能完成過去一整組人才做得完的新模型「發布日支援」:代理自動抓設定、跑…