← 回 AI 研究列表

2026 年 10 月 17 日（六）

Apple ML Research MLX 分散式大型模型推論

Apple ML ResearchNVIDIALuo 等研究團隊新架構雷達

AI 研究與效率每日追蹤｜2026-10-17

今日重點

今天最值得看的是「把大型模型帶到本地」的兩條路：Apple 用多台 Mac 分攤記憶體與運算，NVIDIA 則把模型壓縮到 24GB。兩者都提供了具體數字，但測的是不同模型、硬體與工作負載，不能直接比較速度。新架構方面，LangDiT 顯示擴散語言模型的骨幹設計仍有改進空間；目前證據仍以作者實驗為主。 machinelearning.apple.com

重要更新

1. Apple ML Research｜MLX 分散式大型模型推論｜10 月 15 日，正式發布

方法：MLX 透過 Thunderbolt RDMA 連接 Mac Studio，使用流水線或張量平行化分攤模型；長上下文預填充可切成區塊，重疊各機運算。 machinelearning.apple.com
數據：四台 M5 Ultra Mac Studio 以 NVFP4 執行 Muse Spark Open（816B、42B active），在 8,192-token 輸入、生成 128 tokens、batch 1 的測試中，解碼達 36.73 tokens/s；兩台張量平行為 24.99 tokens/s。 machinelearning.apple.com
實際意義：原本單台 512GB Mac Studio 放不下的模型，可在本地多機執行。 machinelearning.apple.com
限制與疑點：這是 Apple 自測的特定叢集，不代表單台 Mac 的速度；該組數字也不是 65,536-token 長上下文成績。 machinelearning.apple.com
一手來源：Apple ML Research 技術文章。 machinelearning.apple.com

2. NVIDIA｜Nemotron 3.5 Bolt 74B-A9B-24GB｜10 月 15 日，開源

方法：從先前發布的 Super VL 壓縮至 74B／9B active，再對專家權重做約 2-bit 的 IQ2 量化與精度恢復訓練；這次的新進展是較小的 Bolt 版本，不是重報 Super VL。 huggingface.co
數據：官方模型卡列出 24GB 封裝模型、最高 256K context；其架構搜尋以 batch 1、128K context、低於 24GB 的記憶體預算為目標。NVIDIA 自測 Terminal-Bench 2.1 得 50.98；同款 Bolt 的 BF16 模型卡列 53.93，顯示量化後仍有品質差距。 huggingface.co
實際意義：讓多模態代理模型有機會在較小的本地記憶體預算內部署。 huggingface.co
限制與疑點：24GB 是封裝模型大小與特定設計預算，不能推論所有 256K 上下文或併發設定都能在 24GB 裝置運行。模型卡未公布該 benchmark 的完整硬體、batch、上下文與推論耗時條件；分數也尚非獨立重測。 huggingface.co
一手來源：NVIDIA 模型卡、BF16 對照模型卡。 huggingface.co

新架構雷達

Luo 等研究團隊｜LangDiT｜10 月 15 日

這是什麼：為連續擴散語言模型重新設計 Transformer 骨幹，讓多個 token 位置經由反覆去噪更新，而非傳統逐字自回歸生成。 arxiv.org
符合的門檻：① 不同於傳統 LLM 的生成架構；② 有公開技術論文。 arxiv.org
作者宣稱：在 OpenWebText、1,024-token 無條件生成、同為 250k 訓練更新及 128 次模型評估的配對 LangFlow 實驗，GenPPL 由 64.26 降至 53.66；改版參數量為 334.45M，基線為 327.09M。這是生成品質指標，不是推論速度提升。 arxiv.org
第三方驗證：尚未見獨立重測；較長訓練得到的更低 GenPPL，也不能單獨歸因於架構。 arxiv.org
一手來源：LangDiT 論文。 arxiv.org

趨勢整理

值得追蹤