← 回 AI 研究列表

2026 年 10 月 31 日(六)

Mistral AI Mistral Large 4(Le Chonk)

Mistral AIGiulianno Vollmer/Lernex新架構雷達

AI 研究與效率每日追蹤|2026-10-31

今日重點

今天最值得注意的是 Mistral Large 4 在公開預覽約三週後釋出改良版權重:官方報告代理編碼成績提升,同時使用更少輸出 token。這是已可下載的模型,但效能數字仍須連同評測設定看,不能直接換算成實際部署成本。新架構方面,單人研究者的 Metis-1.6 值得留意;它把重複運算放進每個 token 的模型架構,但權重尚未公開。 mistral.ai

重要更新

1. Mistral AI|Mistral Large 4(Le Chonk)|10 月 29 日,開放權重

方法:在 10 月 6 日預覽版之後持續進行約三週強化學習,釋出改良後的多模態 MoE 權重。模型總參數約 1 兆、每 token 啟用約 490 億參數(含嵌入與輸出層約 520 億);模型卡列有 128 個路由專家、每 token 啟用 4 個,並提供三種推理強度。 mistral.ai
數據:Mistral 報告 Terminal-Bench 4.0 從預覽版提高 13 個百分點至 41%,輸出 token 減少 30%;Artificial Analysis Coding Agent Index 為 48%,稱每題平均比其比較對象少用 47% token。這些是特定代理評測的結果;官方公告未完整公布可據以重現速度或成本比較的服務硬體、batch、上下文長度與代理設定。 mistral.ai
實際意義:開發者現在可以下載權重,自行部署或調整模型,而不只試用預覽 API。 mistral.ai
限制與疑點:41% 不代表所有終端任務的通過率,也不能把「少 30% 輸出 token」直接說成「便宜 30%」;仍需相同 harness、推理強度及硬體下的重測。其開放權重授權對經營 Model-as-a-Service 另有商業授權條件。 mistral.ai
一手來源:Mistral 公告、官方模型卡與權重。 mistral.ai

新架構雷達

Giulianno Vollmer/Lernex|Metis-1.6(Think Twice)|10 月 27 日

這是什麼:兩款從頭訓練的模型,讓每個 token 在混合 Mamba-2、注意力與 MoE 的層堆疊中走兩輪,而非只走一次。Logos 為 102.3 億總參數、每輪 11.8 億啟用參數。 arxiv.org
符合的門檻:①提出不同於一般單次前向 Transformer 的遞迴混合架構;②有技術論文,且作者已提交 llama.cpp 支援程式碼。這不是大廠採用:截至查核時,支援仍是未合併的 PR,模型權重也尚未公開。 arxiv.org
廠商/作者宣稱:Logos 在作者選用的 40 項後訓練基準平均 52.93,於其 17 款模型比較組中排名第七;論文也明言程式碼、指令遵循及長上下文表現偏弱。 arxiv.org
第三方驗證:尚未見獨立重測;PR 中的速度數據也是作者在 RTX 5070 Ti 上的測試,不能視為跨架構效能結論。 github.com
一手來源:技術論文、llama.cpp 支援 PR。 arxiv.org

趨勢整理

值得追蹤