← 回 AI 研究列表

2026 年 10 月 22 日（四）

Amazon／AWS AI 雙向 KV 傳輸

Amazon／AWS AIAmazon／AWS AI、Mistral AINVIDIAMistral AIMandt Lab 等新架構雷達

AI 研究與效率每日追蹤｜2026-10-22

今日重點

今天找到的實質進展集中在推論系統：AWS 兩項 vLLM 改動，分別減少長對話重算與 KV cache 傳輸等待。NVIDIA 則展示 Mamba-2 前向運算的 GPU 核心優化；Mistral 推出串流語音代理模型與工具鏈。這四項都不是今天發布，屬於近 72 小時內值得補看的成果；效能數字也都還需要在其他負載下驗證。 aws.amazon.com

重要更新

1. Amazon／AWS AI｜雙向 KV 傳輸｜10 月 19 日，開源

方法：讓解碼節點把上一輪保留的 KV cache 傳回預填節點，避免 Agent 長對話每輪重算舊內容。
數據：AWS 自測使用 P5en、EFA、各一個預填與解碼節點，並關閉預填端 prefix cache；最長測試提示下，Qwen3-32B 的首字延遲為 778→460 ms，GLM-5-FP8 為 2,334→702 ms。
實際意義：對頻繁呼叫工具、反覆帶入對話歷史的服務較有用。
限制與疑點：測試刻意模擬預填端沒有可用快取；若原本就能命中快取，收益不能照搬。保留 KV 也會占用顯存。
一手來源：AWS 技術文章 aws.amazon.com

2. Amazon／AWS AI、Mistral AI｜推送式 KV 傳輸｜10 月 19 日，開源

方法：預先登記解碼端的接收位置，由預填端在背景執行緒推送 KV，移除首字生成前的一段串行協調。
數據：AWS 自測 Qwen3-32B、P5en＋EFA、1 預填／1 解碼、輸出 128 tokens，關閉解碼端 prefix cache。16k 輸入、每秒 8 次請求時，首字延遲約 1,744→540 ms；高負載下每輸出 token 延遲約 10.4→7 ms。
實際意義：分離式推論在長輸入、高請求率時，可少花時間搬運 KV。
限制與疑點：短輸入、低負載時差異很小；推送模式須提早選定解碼節點，且不適合需要上述雙向 KV 傳輸的情境。
一手來源：AWS 技術文章 aws.amazon.com

3. NVIDIA｜Mamba-2 的 cuTile 前向核心｜10 月 19 日，開源

方法：與 Jane Street 優化 Mamba-2 的三個前向運算核心，調整 Tensor Core 運算、記憶體布局與融合步驟。
數據：單張 B300 SXM6 上，相對指定 Triton 實作，前向核心快 1.14–1.82 倍；文章列出 BF16 輸入、FP32 狀態的測試範例。
實際意義：讓狀態空間模型更能利用新 GPU 的運算與記憶體特性。
限制與疑點：這是核心層級比較，不是完整模型推論或訓練加速；反向傳播收益尚未量測。
一手來源：NVIDIA 技術文章 developer.nvidia.com

4. Mistral AI｜Voxtral 3｜10 月 20 日，正式發布

方法：推出辨識與語音合成模型，並以串流 SDK 串接聆聽、推理、工具呼叫與回話。
數據：官方稱即時辨識延遲低於 500 ms、語音代理每回合低於 1 秒；Mini 辨識模型為 4B 參數，Small 辨識支援逾 50 種語言。延遲測試的硬體、併發量及完整端到端測試條件，官方未公布。
實際意義：開發者可組裝可打斷、可呼叫工具的多語語音代理。
限制與疑點：延遲與辨識品質仍須在實際口音、噪音、工具等待時間及併發負載下重測。
一手來源：Mistral 發布說明、官方模型生命週期 mistral.ai

新架構雷達

Mandt Lab 等｜Parallel Language Models（PLM）｜10 月 19 日

這是什麼：用潛在輔助變數協調多個 token 的並行生成，以變分目標共同訓練自回歸與並行解碼能力。
符合的門檻：①提出不同的生成架構；②有公開論文與完整方法、測試設定。
研究團隊宣稱：後訓練的 1.3B 模型，在數學、程式與指令任務上，相對同樣訓練的自回歸基線有約 2.3–5.7 倍生成速度；測試使用單張 RTX 6000 Ada。第三方驗證：尚無獨立重測；論文指向的程式庫目前仍是空的，不能當成已開源、可直接重現。部分較寬鬆的解碼設定也有品質取捨。
一手來源：論文、作者程式庫 arxiv.org

趨勢整理

值得追蹤