AI 研究與效率每日追蹤｜2026-10-21
今日重點
今天最值得注意的是 DeepSeek 開源 DeepInfer：它公開了推論引擎與部署設計，但尚未開放完整的線上服務系統。另一個值得看的訊號來自大廠名單之外：擴散語言模型 Mercury 3 有了獨立編碼測試，速度優勢在長任務中仍可見，品質卻明顯落後部分對手。兩者都提醒我們，單一步驟的吞吐數字，不能直接當成完整 Agent 任務的表現。 github.com
重要更新
1. DeepSeek｜DeepInfer｜10 月 20 日，開源
方法：開放支援 DeepSeek-V4.1-Flash 的離線推論引擎，結合 MoE 專家並行、非同步排程，以及依草稿 token 信心調整驗證長度的推測解碼。 github.com
數據：官方以 EP64／DP64 設定估算：每個 rank 同時處理 60 條序列時，動態驗證相對固定驗證 5 個草稿 token，吞吐由 13,730 增至 14,466 token／秒／rank，約 +5.4%；在 16 條序列時反而是 −1.5%。儲存庫另列出 prefill 使用 4 張、decode 使用 64 張 SM100 GPU 的測試，但上述增益表未逐項公布精度、上下文長度與工作負載組成。 github.com
實際意義：開發者能研究並重現部分大規模推論路徑，而不只是依賴服務商公布的結果。
限制與疑點：這不是完整可直接替代官方線上服務的開源版本；KV cache 儲存系統、階段分離與跨副本負載平衡仍未包含在此次釋出中，效能也尚待第三方在相同條件下重測。 github.com
一手來源：DeepInfer 程式庫、官方部署與測試說明
新架構雷達
Inception Labs｜Mercury 3｜10 月 19 日
這是什麼：以擴散方式並行產生、反覆修訂文字的語言模型；10 月 20 日出現獨立的編碼代理測試。符合的門檻：①不同於逐 token 自回歸生成的架構、②有官方技術資料、③有第三方實測。 inceptionlabs.ai
廠商宣稱：在 NVIDIA GPU 上達 1,068 token／秒、支援 100 萬 token 上下文；官方未公布該速度所用的具體 GPU 型號、batch、輸入長度與精度，不能直接拿來和完整任務耗時相比。 inceptionlabs.ai
第三方驗證：Bito 的長回合編碼任務測得 Mercury 3 平均 5.8 分鐘、得分 65%；同一測試中 Claude Opus 5.5 為 17.2 分鐘、87%。Bito 實際請求的中位輸出速度為 198 token／秒，且指出反覆讀取長對話會稀釋生成速度優勢。這是一組特定編碼工作負載，不代表所有 Agent 任務。 stg.bito.ai
一手來源：Inception 官方公告、Bito 原始測試
趨勢整理
- 從模型走向系統：繼前幾天的新模型、量化與本地推論更新，DeepInfer 把注意力拉到排程、並行與快取等實際部署環節。
- 快不等於做得好：Mercury 3 的獨立測試把生成速度、完整任務時間和長回合品質分開了；評估 Agent 應三者一起看。 stg.bito.ai
- 測試條件比倍數重要：DeepInfer 的增益隨併發量改變；Mercury 3 的標稱生成速度也未直接反映在代理請求上。 github.com
值得追蹤
- DeepInfer 是否補齊 KV cache 儲存與線上負載平衡，並出現相同模型、硬體、精度及上下文設定的第三方重測。
- Mercury 3 能否在長回合編碼中提高正確率，同時保留低延遲；尤其要看長輸入、頻繁工具呼叫的端到端測試。