AI 研究與效率每日追蹤｜2026-10-20
今日重點
今天最值得看的是 OpenAI 把程式代理的評估推向 COBOL、Fortran 等資料較少的語言：不只測能否寫程式，也測遷移後的行為是否一致。這和前幾天大廠強調的代理能力、長上下文與部署效率，指向同一件事——模型分數必須放回具體工作流程和成本條件看。新架構方面，今天有一項值得留意的早期研究，但證據仍限於作者的小型實驗。 openai.com
重要更新
1. OpenAI｜低資源程式語言評估與 MultiLangBench｜10 月 19 日，研究發布
方法：讓模型在 20 種語言中從零實作相容 SQLite 的資料庫；另一項測試要求把 COBOL 程式遷移至其他語言，並以隱藏測試檢查輸出是否逐位元組一致。評估程式與測試集已公開。 openai.com
數據：在最高推理強度下，GPT‑6 Astra 的 MultiLangBench 平均通過率為 87.4%，GPT‑5.6 Sol 為 26.8%；COBOL 單項為 72.1%。另在 COBOL 遷移測試中，GPT‑6.1 Sol 於低推理強度達 86.6%，GPT‑5.6 Sol 為 5.4%，官方估算 API 成本低 39%。開源說明列出 SQLite 3.40.1、由原測試轉換的題目及建議使用的 272 題子集；公告未完整公布各模型的硬體、精度、batch size 與完整代理執行設定。 openai.com
實際意義：為維護舊系統的團隊提供較貼近實務的檢查方式：看功能測試和行為保真，而非只看程式碼生成分數。 openai.com
限制與疑點：目前是 OpenAI 自測；SQLite 實作與指定的 COBOL 遷移任務，不能直接代表真實大型系統可安全自動改寫，仍需專家審查與業務規則測試。 openai.com
一手來源：OpenAI 研究公告、MultiLangBench 測試集
新架構雷達
Kim／Wallraven｜CIIR｜10 月 16 日
這是什麼：一種非 LLM 的模組化編碼器—解碼器架構，以「類別索引位址」連接沒有逐筆配對的影像、語音及手勢資料集；輸入會寫入 128 維位址表示。符合的門檻：①不同於傳統 LLM 的架構；②有原作者技術論文。作者宣稱：未見配對樣本的接收模組，位址實現準確率為 94.7%；凍結基礎位址空間後接入 SVHN，MNIST→SVHN 位址轉移準確率為 90.2%。第三方驗證：尚未見獨立重測；實驗集中於手寫數字、服飾、口說數字及手勢等資料，不能外推為通用多模態模型已獲驗證。一手來源：CIIR 論文。 arxiv.org
趨勢整理
- 代理評估走向工作成果：今天的 SQLite 與 COBOL 測試，接續前幾天程式代理模型的發布；「能通過哪些測試」比籠統的寫碼能力更有用。 openai.com
- 成本比較要對齊條件：OpenAI 同時公布推理強度與估算 API 成本，但未完整公開執行環境；不同設定的數字不能直接當作純模型速度比較。 openai.com
- 替代架構仍在探索：CIIR 嘗試以可接入新資料集的共享位址取代大量配對資料；目前最需要的是更大規模、獨立的驗證。 arxiv.org
值得追蹤
- 是否有人用公開的 MultiLangBench 測試集、相同代理設定與預算，獨立重測各模型。 github.com
- COBOL 遷移測試能否涵蓋較大的真實程式庫及隱含業務規則，而非只在指定測試中達成輸出一致。 openai.com
- CIIR 接入更複雜資料集時，是否仍能維持轉移準確率，以及有無獨立實作。 arxiv.org