Argo-Bench 最強模型只過了 34.8%

摘要沒有寫冠軍的名字。分數看起來也不像冠軍。arXiv:2610.02122 在 2026 年 10 月 1 日投稿，題目是 Argo-Bench，用一家模擬的紐約外送公司測 210 個資料科學與分析任務。14 個前沿與開源權重模型裡，最強的那個只在 34.8% 的任務上拿到 95 分以上，平均 59.5 分。Priya Anand 10 月 2 日的報導 說這個最強模型是 Claude Opus 5.5，出處是 AI Weekly。這兩句不要併成一句。論文摘要沒有印模型名字。次級報導有。

本站寫過價格，不是這份考卷。Opus 5.5 的 API 價格，Sol 直接砍半 談的是標價。Grok 4.7 標價沒漲，帳單可能會 談的是帳單跟標價分開走。Claude Sonnet 5 的出貨 是更早的定價故事。這篇不比較每百萬 token。它看的是：代理對一家假公司做了什麼，評分員怎麼給分。

Argo-Bench 的倉庫不是示範表

arXiv 頁面上的作者是 Gabriel Tomitsuka、Arman Raayatsanati、Emma Xing、Duke Gand、Joseph J. Ma。Anand 稱他們是 TextQL Labs 的五人小組。我抽到的摘要署名區塊沒有實驗室名字，所以實驗室歸報導，人名歸論文。

這不是一張示範用的小表。摘要說模擬器用公開資料、同儕審查過的產業文獻，以及監管申報來建一家 2024 年的紐約外送平台，訂單 8100 萬筆。經濟模型、詐欺型態、市集誘因都做進去，不是圖說。這個世界再匯出成 ERP 倉庫：235 張表、75 億列，結構比照 Oracle E-Business Suite。

比列數更要緊的是兩條規則。第一，模擬器的真實狀態不放進代理看得到的倉庫。代理得先在倉庫裡把事實拼回來，才能動作。第二，每一題都有一份可執行的參考解答，而且那份解答只用倉庫就解得開。考題不是在問模型知不知道一份私密文件。它是在問模型能不能在 235 張表裡找到事實，然後對那件事實做一件事。

Anand 補了摘要頁沒寫的論文尺寸：41 頁、4 張圖、18 張表，正式標題是 “Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows”。她也說，截至 10 月 2 日，索引得到的次級報導沒有把 14 個模型的完整分數表重印出來。其他 13 個分數在 PDF 裡，不在這篇。

評的是後果，不是 SQL 好不好看

既有的 text-to-SQL 基準評的是查詢。摘要對這種評法很直接：有人審計過，那些標準答案常常是錯的；真的企業倉庫又敏感到不能公開，所以舊基準只好用公開資料集，一件業務塞得進一張表。Argo-Bench 的不滿是結構問題。外送平台的一個星期不會只活在一張表裡。詐欺、外送員薪資、促銷預算，本來就散在 ERP 的各張表上，因為來源系統就是這樣賣的。

代理不能停在 SELECT。摘要舉的動作是：封鎖詐欺帳號、分配外送員激勵預算、補發薪資。評分員按這些動作在模擬器裡造成的後果給分。Anand 的例子很接近：封掉一個詐欺圈，或核准一筆外送員激勵預算。查詢語法可以完全正確，封掉的卻是錯的帳號。查詢可以撈出對的人群，核准的預算在模擬器裡仍算錯的尺寸。95 分那條線量的是後果，不是 SQL 好不好看。

所以 34.8% 比那些「查詢完全命中」的排行榜刻薄。摘要說最強模型只在 34.8% 的任務上達到 95 分以上。34.8% 乘 210，大約 73 題。摘要沒有印「73」。我不把 73 寫成論文數字。我寫 34.8% of 210，乘法是讀者自己可以做的。

平均分更不適合拿去賣「代理可以經營公司」。100 分制的平均 59.5，是部分分數的故事。模型不是零分。它也不會在典型的一題上貼著 95 分那條線。平均離及格線這麼遠，表示很多題的動作沒有被模擬器當成解出，即使那次執行不是一片空白。Anand 的讀法是：看起來正確的查詢，和正確的後果，中間缺口很大。摘要支持這個機制。摘要沒有附逐題錯誤分類，所以除了它點名的步驟（拼出事實、採取動作、按後果計分），我不另編失敗模式。

把冠軍叫成 Opus 5.5，是引用，不是摘要裡的一句

Anand 寫 Claude Opus 5.5 領先那 14 個模型，平均 59.5，34.8% 的任務過 95 分，「according to AI Weekly」。數字和摘要裡「最強模型」那句完全對得上。名字不在我抽到的摘要裡。在你自己讀到論文的表之前，比較乾淨的說法是：論文說 14 個裡最好的達到這兩個數字，10 月 2 日的次級報導把那個模型指成 Opus 5.5。

這種區分很煩。它也是這篇存在的理由。基準才公開一天，實驗室就會把 34.8% 跟產品名排在一起。有些會是對的。10 月 1 日的摘要謹慎到沒有讓名字變成你單靠 landing page 就能引用的主張。

就算名字站得住，它也救不了我們已經寫過的價格。一個模型可以是這 210 題裡最不差的代理，同時仍是價目表上貴的那個。9 月的價格重置 談的是 token 多少錢。Argo-Bench 談的是一個動作做了什麼。這是兩張帳單。聽到「Opus 贏了 Argo-Bench」就聽成「可以讓它核准外送員獎金」，是把平均分跳過了。59.5 不是綠燈。34.8% 解出，是題單上的少數。

Anand 還說，Argo-Bench 本身的定價、授權條款、商業路線圖都還沒有披露。她把它寫成開放研究基準，不是付費產品。我只說 10 月 2 日的報導沒找到價格，而 arXiv 上的是一篇論文，不是一個 SKU。

這份報導還不能支撐的句子

你不能用這篇排出另外 13 個模型。Anand 說 10 月 2 日的次級索引裡沒有完整表，摘要也只描述最強的那個。這週如果有人畫出 14 個名字的長條圖，他要麼在讀 PDF，要麼在畫。先問是哪一種。

你不能把 75 億列說成代理掃描了 75 億列。倉庫有那麼大。依論文自己的規則，一題可以只用倉庫就解得開，不需要全表掃描。參考解答是用來證明題目可解，不是用來證明獲勝的那次執行很省。摘要裡沒有每題成本。Grok 那篇 談的是帳單偏離標價。Argo-Bench 的摘要連一道解出題目的標價都沒給。

你也不能把同一週的某起安全事件塞進這篇論文的結論。我在 10 月 2 日報導的鋪陳裡看到這種接法，這裡拿掉。論文的主張是：在一家模擬外送平台上，按後果評分。它不是某間實驗室沙盒逃逸的紀錄。混在一起，34.8% 會變成作者沒有跑過的故事的證據。

也不要把 text-to-SQL 的審計說成 Argo-Bench 重測了那些舊資料集。摘要用那些審計當動機：公開的單表資料集，標準答案常常錯，查詢命中是一個不穩的靶。這是另建一個測試的理由。它不是這 210 題的結果。

有人要在簡報裡引用 34.8% 之前，我會先問三件不相關的事

第一，他引的是論文，還是一篇幫模型取了名字的轉述。如果句子裡有 Opus 5.5，我要那張表，不要轉述。數字可以是對的，引用仍然可以很隨便。

第二，「解出」在那句話裡是什麼意思。在這個基準裡，它是模擬器後果評分達到 95 以上，不是查詢命中一條黃金 SQL。把 34.8% 翻譯成「三分之一的企業流程已經自動化」，名詞被換掉了。名詞是 210 道建構過的題，發生在一家模擬的 2024 年外送公司裡，詐欺型態和市集誘因都建在裡面，真實狀態對倉庫視角是藏起來的。這是一份認真的測試。它不是你的應付帳款佇列。

第三，同一段裡有沒有平均分。排行榜如果只印解出率，59.5 就被藏起來了。解出率說的是最好的模型多久跨過一條高線。平均分說的是，包含沒跨過的那些題，典型的一題落在離那條線很遠的地方。如果你在決定代理能不能封帳號或補發薪資，沒過的比例才是操作事實。論文自己舉的動作，正好是公司最不想做錯的那種：封詐欺、激勵預算、補薪。

參考解答那條規則是我比較信的部分。每一題都能從倉庫解出。代理不是因為缺一份私密文件而失敗。它失敗的時候，失敗在導航、判斷，或一個被模擬器打成錯誤後果的動作。這比「黃金 SQL 本身就是錯的」那種基準乾淨。摘要花一句話講那些錯誤的標準答案，不是順便。

34.8%、59.5 分、210 題、8100 萬筆訂單、235 張表、75 億列。這些是 10 月 1 日投稿放進摘要的數字。模型名字晚一天，住在次級報導裡。用數字。名字標成別人貼上去的名字。不要讓簡報把它們收成「Opus 解得了企業工作」。它解出的是這份測試的少數題，平均分過不了測試自己的那條線。