模型觀點
本篇出自 2026年7月15日 晨報
新證據(本週):研究者 Charles O'Neill 的受控實驗(2026-07,arXiv 2607.11020;屬尚未經同行評審的 arXiv 預印本、單一受控實驗,證據等級該打折看)把新事實直接寫進模型權重,再持續寫入其他內容,20 次之後原事實只剩 1–46% 存活;同樣的事實改放回提示(context)裡,恢復到 77–80%。同週另兩條:深度學習名家 François Chollet 發布持續學習新基準 Morpheus(2026-07-13,特點是「世界不重置」的持續模擬環境);新創 Engram 完成 $98M 種子輪,執行長 Dan Biderman 在 AI 圈知名科技播客 Latent Space 押相反方向——把知識蒸餾進模型參數(訪談,2026-07-13),其學術先行詞是 Stanford 2025-06 的 Cartridges 論文(arXiv 2506.06266)。
這條趨勢的譜系:「一次看大量資料」的長上下文之戰,(引用既有裁定)已於 2024 定局;現在打的是「記憶之戰」——AI 要跨次對話記住你,是記在外部筆記(context 工程),還是刻進模型參數?
我們的現行判斷(引用既有裁定,非本期新裁):未定局,當前證據傾向外部記憶側——權重側目前連「寫得進去、撐得住」都還沒證明,而 Engram 押的正是它會被解決。反轉條件:12 個月內若有兩家以上前沿實驗室把權重級記憶用上正式產品,此判斷作廢轉向;對答案日約 2027 年中。
做產品的一句話:若你在做需要跨對話記憶的 agent 產品,現階段外部記憶側的證據較硬,押參數化路線(如 Engram)等於賭一個還沒被證明撐得住的技術。
只留 email，隨時退訂。這是我們唯一想請你做的事。
Stanford 的「平攤評測法」——用「從題目內容預測難度」壓低可靠評測的成本——今天完成定向查證,找到獨立第二證:ICML 2026 一篇論文用同路線做模型能力外推(scali…
Lambert 一年前的「美版 DeepSeek」宣言——2 年、1 到 5 億美元做出權重（模型訓練完的參數檔案）／數據／代碼全開放的前沿模型——本報完成定向查證:專案存在有媒體…
目前後訓練（模型練完基礎能力後、再教它怎麼答題的階段）的主力方法 RLVR（可驗證獎勵的強化學習：只在數學、程式這類有標準答案的任務上給模型獎勵）有個結構性盲點：它只優化「可以客觀…
SemiAnalysis 在同篇 AMD 實勘裡給出一組第一手工程觀察：2.5 名工程師配上 AI 編程代理，就能完成過去一整組人才做得完的新模型「發布日支援」：代理自動抓設定、跑…