AI 研究與效率每日追蹤｜2026-10-13
今日重點
今天最值得看的是兩種不同的效率進展：NVIDIA 減少混合式模型解碼時的狀態讀寫，Meta 則把長任務所需的記憶與持續執行能力放進新模型的核心敘事。Anthropic 的新資料提醒我們，推理軌跡既是蒸餾資源，也是需要防護的資料。這些數字分別來自特定推論設定、模型評測與平台內部估計，不能互相當作整體效能比較。 developer.nvidia.com
重要更新
1. Meta AI｜Muse Wonder／Muse Wonder Full｜10 月 12 日，正式發布
方法：以 Active Memory 擷取跨對話的重要資訊，以 Active Focus 支撐遇到阻礙後繼續執行的代理任務；兩款模型均支援文字、影像、影片與音訊輸入。 research.meta.ai
數據：模型卡列出 100 萬 token 推論上下文。以最高推理強度測試時，Muse Wonder Full 在內部 Personal Superintelligence Index 得 59.1、MemoryBench 得 85.5；後者測的是含干擾與資訊更新的 64K–100K token 多輪對話。官方未公布模型參數量、測試 GPU 與這些分數的推論成本。 research.meta.ai
實際意義：開發者現在可透過 Meta Model API 使用 Muse Wonder；Full 版提供給 Muse Code 訂閱者，適合觀察長任務代理的實際表現。 research.meta.ai
限制與疑點：PSI 是 Meta 的內部綜合指標；模型卡混用內部與外部結果，部分程式任務比較也不是同一套代理工具，尚不能據此斷言真實工作流程全面領先。 research.meta.ai
一手來源：Meta 公告、模型卡。
2. NVIDIA｜ReplaySSM｜10 月 12 日，技術解說與開源
方法：不再每個 token 都寫回完整 SSM 狀態，而是保存 checkpoint、暫存近期輸入，滿一個視窗才更新；這也讓 speculative decoding 的回退較簡單。 developer.nvidia.com
數據：與調校後的 vLLM 比較，在 batch 256 的四款 4B 至約 120B 混合模型上，解碼核心快 1.46–1.80 倍，完整解碼步驟快 1.20–1.47 倍。測試用單張 H100 或 B300、SSM 狀態 FP32、16-token 視窗；4B 權重為 BF16，大模型為 NVFP4。這不是所有負載的端到端服務加速：官方明說 batch 1 在這組測試中沒有加速。 developer.nvidia.com
實際意義：對大量並行請求的混合式模型服務較有吸引力；官方稱實作已進入 TensorRT-LLM、vLLM 與 FlashInfer。 developer.nvidia.com
限制與疑點：增益依 batch、模型和硬體而變；不能把核心速度直接換算成使用者等待時間。 developer.nvidia.com
一手來源：NVIDIA 技術文、論文。
3. Anthropic｜蒸餾攻擊防護｜10 月 12 日，研究公告
方法：限制受保護推理軌跡在帳戶與模型間流轉，並以兩階段分類器阻擋擷取嘗試；這是防止未授權蒸餾，不是讓合法蒸餾更快的新方法。 anthropic.com
數據：Anthropic 估計，新防護後其自家平台被擷取的推理 token 數下降 10–100 倍；分類器公布的誤判率低於 0.1%。另一項內部實驗中，以完整或摘要推理軌跡訓練的模型，在 SWE-bench Verified 分別得 80.4%、71.8%。官方未公布足以重現平台流量前後比較的完整請求組成與攻擊條件。 anthropic.com
實際意義：推理軌跡的可取得性，正成為模型 API 設計與蒸餾能力轉移的關鍵邊界。 anthropic.com
限制與疑點：下降幅度是平台內部估計，並非第三方驗證的所有攻擊成功率；Anthropic 也承認部分正常整合須調整，且尚未面對高度持續的繞過嘗試。 anthropic.com
一手來源：Anthropic 研究公告。
新架構雷達
vLLM Semantic Router 團隊｜Decision 3.0｜10 月 10–12 日
這是什麼：近期釋出六款約 0.6B–26B 的開放權重決策模型。它們以選項、是非或分數的機率回答文字及多模態問題，不逐字生成答案；定位是代理流程中的分類、路由與判斷層。其骨幹仍來自 Qwen，因此不是從零創造的非 Transformer 基礎模型。 huggingface.co
符合的門檻：②有官方模型卡與可下載權重；①以非生成式決策輸出取代傳統 LLM 的文字作答路徑。 huggingface.co
廠商宣稱：26.09B 的 d3 在 Jev Decision Index 0.3 公開集、140,178 個請求上得 65.45；單張 AMD MI325X、一次一請求時，文字請求延遲中位數 55 毫秒。 huggingface.co
第三方驗證：目前引用的 d3 成績仍是團隊自行執行；對照表中的其他模型取自既有榜單，尚非同場獨立重測，不能把表列名次視為已確認。 huggingface.co
一手來源：模型系列、d3 模型卡。
趨勢整理
- 記憶分成兩層：昨天追蹤的代理記憶整理著重「留什麼」；Meta 今天強調跨對話取回資訊，NVIDIA 則處理推論時「狀態怎麼存」。三者解的是不同瓶頸。 research.meta.ai
- 速度要看負載：ReplaySSM 的優勢出現在高 batch；小 batch 沒有同樣收益，部署評估應保留自身流量分布。 developer.nvidia.com
- 代理能力不只看單題分數：長任務持續性、可用記憶，以及每一步決策的成本與可靠度，正被拆開測量；跨廠商榜單仍須核對測試工具是否一致。 research.meta.ai
值得追蹤
- ReplaySSM 在真實請求分布下的延遲、吞吐與品質重測，尤其低 batch 場景。 developer.nvidia.com
- Muse Wonder 的獨立長任務評測，以及尚未公布的模型成本與更完整安全報告。 research.meta.ai
- Decision 3.0 是否進入同條件的第三方榜單，以及機率校準在實際路由任務中是否可靠。 huggingface.co