AI 研究與效率每日追蹤｜2026-10-24
今日重點
今天最值得注意的是 NVIDIA 公開了 TensorRT 的精度約束自動調校方法：不是換一個模型，而是在多條編譯路徑中，找出符合品質要求且推論最快的版本。新架構方面，前天因名額限制未收的 Binary Discrete Diffusion 值得補看：它讓擴散過程保留「仍可能成立的候選答案」。兩者的共同方向是讓推論過程依任務調整，但目前成效都仍以發布者自己的測試為主。 developer.nvidia.com
重要更新
1. NVIDIA｜TensorRT Global Performance Tuner｜10 月 23 日，技術解說
方法： TensorRT 11.1 將融合、排程等編譯選擇組成可搜尋的「建置路徑」；逐一建立並測量引擎，剔除未達使用者精度門檻的版本，再選最快者。這是既有功能的技術與測試解說，不是今天才推出的新版本。 developer.nvidia.com
數據： 官方在 10 種工作負載上，對預設建置路徑測得端到端效能 1.14–1.63 倍。文章未公布足以重現整組比較的 GPU、各模型與參數量、batch、輸入形狀及精度門檻，不能視為所有部署都會有同等收益。 developer.nvidia.com
實際意義： 開發者可按自己的品質容忍度，為特定模型和硬體找更合適的推論引擎。 developer.nvidia.com
限制與疑點： 搜尋需額外編譯與驗證；換模型、輸入形狀或 GPU 後，最佳路徑未必適用。 developer.nvidia.com
一手來源： NVIDIA 技術解說。 developer.nvidia.com
新架構雷達
ETH Zurich／Max Planck 等｜Binary Discrete Diffusion｜10 月 20 日
這是什麼： 不把每個位置簡化成單一遮罩或隨機答案，而是用二元向量表示一組候選答案，讓擴散式模型在解題時逐步排除、必要時重新納入候選。 arxiv.org
符合的門檻： ①不同於傳統逐字生成 LLM 的候選集合擴散架構；②有完整技術論文。昨天已確認合格，但因雷達名額已滿而延至今天。 arxiv.org
作者測試： 在配對的 43M 參數模型、5 個訓練種子及相同調校預算下，困難 Sudoku 以每題單次作答、256 次模型評估測得解題率 92.66%，對照 uniform diffusion 的 89.81%。這是解題率差異，不是推論速度提升。 arxiv.org
第三方驗證： 尚未找到獨立重測；一般語言與實際 Agent 任務能否受益，仍待確認。 arxiv.org
一手來源： 論文與完整實驗。 arxiv.org
趨勢整理
- 從固定配方走向受約束搜尋： 今天的 TensorRT 調校延續近期 KV 傳輸、分散式推論等工作；效能數字必須連同工作負載與品質條件一起讀。 developer.nvidia.com
- 推論時保留修正空間： Binary Discrete Diffusion 與近期並行、連續流生成研究，都在探索逐字生成以外的路徑；目前不能由小型解題實驗推論大型通用模型的表現。 arxiv.org
- 今天不湊數： 查到的其他近期內容，未確認有符合本報主題且未報過的重大模型或效率進展。
值得追蹤
- NVIDIA 是否公開十項測試的硬體、模型、batch、精度門檻及調校耗時，供人重現 1.14–1.63 倍結果。 developer.nvidia.com
- Binary Discrete Diffusion 是否釋出可重現程式碼，並在更大型語言模型或長程規劃任務接受獨立比較。 arxiv.org