AI 研究與效率每日追蹤|2026-10-31
今日重點
今天最值得注意的是 Mistral Large 4 在公開預覽約三週後釋出改良版權重:官方報告代理編碼成績提升,同時使用更少輸出 token。這是已可下載的模型,但效能數字仍須連同評測設定看,不能直接換算成實際部署成本。新架構方面,單人研究者的 Metis-1.6 值得留意;它把重複運算放進每個 token 的模型架構,但權重尚未公開。 mistral.ai
重要更新
1. Mistral AI|Mistral Large 4(Le Chonk)|10 月 29 日,開放權重
方法:在 10 月 6 日預覽版之後持續進行約三週強化學習,釋出改良後的多模態 MoE 權重。模型總參數約 1 兆、每 token 啟用約 490 億參數(含嵌入與輸出層約 520 億);模型卡列有 128 個路由專家、每 token 啟用 4 個,並提供三種推理強度。 mistral.ai
數據:Mistral 報告 Terminal-Bench 4.0 從預覽版提高 13 個百分點至 41%,輸出 token 減少 30%;Artificial Analysis Coding Agent Index 為 48%,稱每題平均比其比較對象少用 47% token。這些是特定代理評測的結果;官方公告未完整公布可據以重現速度或成本比較的服務硬體、batch、上下文長度與代理設定。 mistral.ai
實際意義:開發者現在可以下載權重,自行部署或調整模型,而不只試用預覽 API。 mistral.ai
限制與疑點:41% 不代表所有終端任務的通過率,也不能把「少 30% 輸出 token」直接說成「便宜 30%」;仍需相同 harness、推理強度及硬體下的重測。其開放權重授權對經營 Model-as-a-Service 另有商業授權條件。 mistral.ai
一手來源:Mistral 公告、官方模型卡與權重。 mistral.ai
新架構雷達
Giulianno Vollmer/Lernex|Metis-1.6(Think Twice)|10 月 27 日
這是什麼:兩款從頭訓練的模型,讓每個 token 在混合 Mamba-2、注意力與 MoE 的層堆疊中走兩輪,而非只走一次。Logos 為 102.3 億總參數、每輪 11.8 億啟用參數。 arxiv.org
符合的門檻:①提出不同於一般單次前向 Transformer 的遞迴混合架構;②有技術論文,且作者已提交 llama.cpp 支援程式碼。這不是大廠採用:截至查核時,支援仍是未合併的 PR,模型權重也尚未公開。 arxiv.org
廠商/作者宣稱:Logos 在作者選用的 40 項後訓練基準平均 52.93,於其 17 款模型比較組中排名第七;論文也明言程式碼、指令遵循及長上下文表現偏弱。 arxiv.org
第三方驗證:尚未見獨立重測;PR 中的速度數據也是作者在 RTX 5070 Ti 上的測試,不能視為跨架構效能結論。 github.com
一手來源:技術論文、llama.cpp 支援 PR。 arxiv.org
趨勢整理
- 能力與 token 用量一起看:Mistral 這次不只報通過率,也報每題輸出量;比較代理模型時,兩者應放在同一組測試條件下看。 mistral.ai
- 效率路線正在分岔:前幾天 NVIDIA 的擴散模型研究偏向改變生成方式;Metis 則測試「每 token 多走一輪」能否換得更好的能力/啟用參數取捨,目前都仍需要獨立驗證。 arxiv.org
- 可重現性是下一關:Mistral 已提供權重,Metis 尚未提供;兩者現階段可供外界核對的深度不同。 huggingface.co
值得追蹤
- 用相同代理設定與推理強度,重測 Mistral Large 4 的 Terminal-Bench 4.0 成績、輸出 token 與實際服務成本。 mistral.ai
- 看 Metis 權重是否如作者預定於 11 月 1 日公開、llama.cpp PR 是否合併,以及遞迴兩輪在端到端延遲上的代價。 github.com