AI 研究與效率每日追蹤|2026-11-01
今日重點
過去 24 小時沒有找到值得列入的重大模型或效率發布;放寬至 72 小時後,有一組測試條件較完整的邊緣推論數據。NVIDIA 在單機、單請求下量到推測解碼加速,但這不是新模型,也不能外推到高併發服務。新架構方面,一篇論文嘗試讓代理先建立可檢查的世界規則,再證明某個目標不可能達成;目前仍是作者自測。 developer.nvidia.com
重要更新
1. NVIDIA|TensorRT Edge-LLM/DSpark 邊緣推論實測|10 月 30 日,技術發布
方法:在 DGX Spark 64GB 上,以 DSpark 推測解碼先提出 3 個候選 token,再交由主模型驗證。這是既有模型的部署與解碼優化,不是新模型。
數據:Nemotron-3.5 Lightning 30B-A3B、NVFP4、batch 1、單一串流請求、輸出上限 128 token;HumanEval 提示平均輸入 139 token,平均生成速度由 73.4 升至 126.9 token/s(約 1.73 倍),中位首 token 延遲由 98.1 變為 98.7 ms。啟用 DSpark 時,含作業系統的峰值記憶體為 27.9GB。 developer.nvidia.com
實際意義:提供小型本地設備開發代理應用時,一組可依設定重測的速度與記憶體參考。
限制與疑點:這是 NVIDIA 自測、單請求且短輸入的結果;官方未公布相應的答案品質差異,也未提供長上下文或高併發下的同條件比較。 developer.nvidia.com
一手來源:NVIDIA 技術文章
新架構雷達
Pan 等研究團隊|Algebraic World Model|10 月 29 日
這是什麼:代理透過探索建立可執行的 Python 規則假說,整理成具型別的物件與規則,再用 Lean 4 證明目標可達或不可能達成。它是神經模型結合符號世界模型的系統架構,不是新的基礎神經網路。
符合的門檻:①不同於單靠傳統 LLM 逐步生成的世界建模與證明架構;②有公開論文及方法細節。未見可重現的完整程式碼或獨立驗證,不把它算進第三項。
作者宣稱:在兩個特製的「不可能通關」關卡中,六次測試均產生 Lean 核心檢查通過的證明;兩個配備程式工具的 LLM 基準合計十二次沒有產生此類證明。這證明的是所學規則與設定條件下的不可能性,規則若學錯,結論不能直接套用到真實環境。 arxiv.org
第三方驗證:尚無獨立重測;不同代理的工具與執行設定也不能簡化成通用能力排名。
一手來源:原始論文
趨勢整理
- 速度要看工作負載:本次推測解碼在 HumanEval 提示得到約 1.73 倍;先前 NVIDIA 的 MoE 測試也顯示,合成負載的增益不能直接代表完整任務的增益。 developer.nvidia.com
- 效率不只靠縮模型:近期的方向包括推測解碼、MoE 執行優化,以及減少代理完成任務所需的輸出 token;各項數字仍須按模型、硬體與任務分開看。 developer.nvidia.com
- 世界模型開始強調可檢查性:RynnWorld-Latent 探索跨機器人動作表示;今天的 AWM 則聚焦於能否檢查學到的規則,並據此提出形式化證明。兩者解決的問題不同,尚不能直接比較效能。 arxiv.org
值得追蹤
- DSpark 在長輸入、多請求及實際代理任務中,能否維持速度增益與答案品質。
- AWM 是否公開完整實作、證明產物,並由第三方測試學錯規則時的失敗情況。
- 昨天提過的 Metis-1.6 權重是否實際開放;目前官方頁面仍標示「Coming soon」。 huggingface.co