DMflow.chat
廣告
全能 DMflow.chat：多平台整合、持久記憶與靈活客製欄位，無需額外開發即可連接資料庫與表單。更支援真人與 AI 的無縫切換，網頁互動加 API 輸出，一步到位！
排行榜的真相？揭開 Chatbot Arena 背後的「幻覺」與不公
Chatbot Arena 是評估 AI 語言模型能力的熱門平台，但一份最新研究揭露了其排名機制可能存在系統性偏差，偏袒特定大型供應商。本文深入探討這份名為《排行榜幻覺》的研究，揭示私下測試、數據取用不對等和模型淘汰機制如何扭曲了我們所見的 AI 進展。
最近，如果你關注人工智慧（AI）的發展，你一定聽過 Chatbot Arena 這個名字。它就像是 AI 聊天機器人的「武林大會」，各家大型語言模型（LLM）在這裡一較高下，由真人使用者投票決定誰的表現更好。很多人，包括開發者、研究人員甚至媒體，都把它的排行榜視為判斷哪個模型最強的黃金標準。
但是，等一下。這個排行榜真的那麼可靠嗎？
一份由 Cohere Labs、普林斯頓大學、史丹佛大學等機構的研究人員（有趣的是，Cohere 自己也是 Arena 的參賽者）共同發表的重磅論文 《The Leaderboard Illusion》（排行榜幻覺），對 Chatbot Arena 的公平性和透明度提出了嚴峻的質疑。這篇長達 68 頁的論文，像偵探一樣深入挖掘，發現了一些可能讓你大吃一驚的系統性問題。
簡單來說，這份研究認為，我們在 Chatbot Arena 上看到的排名，可能不完全是真的實力展現，更像是一種精心營造的「幻覺」。怎麼說呢？讓我們一起來看看研究指出的幾個核心問題。
秘密武器？私下測試與挑選分數 (Handpicking Scores)
你知道嗎？研究發現，Chatbot Arena 存在一個不成文的「潛規則」：允許「某些」供應商在模型公開亮相前，先私下提交多個版本進行測試。然後呢？他們可以只選擇表現最好的那個版本的得分，公佈在排行榜上，而其他表現較差的版本則悄無聲息地消失。
這聽起來有點像什麼？就像你可以參加好幾次考試，然後只把最高分那次交上去一樣。這公平嗎？
研究人員點名指出，像 Meta、Google、Amazon 這樣的巨頭，是這項「特權」的主要受益者。一個驚人的例子是，在 Llama 4 模型發布前，Meta 就被發現在 Arena 上偷偷測試了多達 27 個不同的私有版本！[1, Fig. 6]
這種「最佳N選一」(best-of-N) 的策略，顯然會系統性地拉高這些供應商模型的最終得分。研究透過模擬實驗證明，僅僅測試 10 個私有版本，就能讓模型的預期最高分顯著增加約 100 分 [1, Fig. 7]。更厲害的是，他們還做了個真實世界的實驗：提交了兩個完全相同的 Cohere 模型變體 (Aya-Vision-8B)，結果在 Arena 上的得分竟然不同 (1069 vs 1052)，中間還夾了 4 個其他模型！[1, Fig. 9] 這意味著，即使模型本身沒有進步，光靠這種「刷分」策略就能在排行榜上取得不正當的優勢。
這直接違反了排行榜評分系統（如 Bradley-Terry 模型）最基本的假設之一：無偏見抽樣。當分數可以被刻意挑選時，排名就失真了。
數據大放送？誰能分到更多羹？ (Data Access Disparity)
Chatbot Arena 是一個由社群驅動的平台，依靠大量真人使用者免費提供的提問（prompts）和偏好反饋來運作。這些數據對於訓練和改進 LLM 來說，是無價之寶。
然而，研究發現，這些寶貴的數據資源，分配得極不均衡。
主要問題有幾個：
- 私下測試量差異： 如上所述，能進行大量私下測試的供應商，自然能收集到更多用戶數據。
- 抽樣率不公 (Sampling Rate)： 研究顯示，不同供應商的模型被選中參與「對戰」的頻率（抽樣率）差異巨大。例如，Google 和 OpenAI 模型的最高單日抽樣率可達 34%，而像 Allen AI 這樣的學術機構模型，最高只有 3% 左右，相差十倍！[1, Fig. 5] 這意味著，某些供應商的模型能接觸到不成比例的大量用戶互動數據。
- 模型淘汰機制偏頗 (Model Removal/Deprecation)： Arena 會淘汰一些舊模型或表現不佳的模型。但研究發現，被淘汰的模型中，開源或開放權重（open-weight）模型被「默默下架」（未公開宣告即停止抽樣）的比例遠高於專有模型。[1, Fig. 13, 18] 這進一步加劇了數據取用的不對等。
綜合下來，結果就是：像 Google 和 OpenAI 這樣的專有模型供應商，估計分別獲取了 Arena 上 19.2% 和 20.4% 的總數據量。相比之下，多達 83 個開源或開放權重模型加起來，總共只獲得了約 29.7% 的數據。[1, Abstract] 整體而言，超過 60% 的免費社群數據流向了少數幾家大型專有模型供應商。[1, Fig. 4]
這就像某些運動員可以在正式比賽的跑道上，比其他人多練習好幾倍的時間一樣。
贏了排行，輸了通用性？過度擬合的風險 (Overfitting Risk)
拿到更多 Arena 上的數據，真的能讓模型變得更好嗎？研究人員做了一個實驗，他們拿一個基礎模型，分別用不同比例的 Arena 數據進行微調訓練。
結果顯示，加入越多 Arena 數據訓練的模型，在 Arena 自己的測試集 (ArenaHard) 上表現確實大幅提升，相對勝率最高可提升達 112%！[1, Fig. 10]
但是！當把這些模型拿到另一個更通用的基準測試 (MMLU) 上進行評估時，表現卻幾乎沒有提升，甚至略有下降。[1, Table 9]
這說明了什麼？這強烈暗示了 過度擬合 (Overfitting) 的風險。也就是說，模型可能只是學會了如何「玩好 Arena 這個遊戲」，精通了 Arena 上常見的提問模式（研究也發現 Arena 上的提問有很高的重複率 [1, Fig. 12]），但在更廣泛、更真實的應用場景中，能力並沒有真正提升。
這不禁讓人想起古德哈特定律 (Goodhart’s Law) 的警示：「當一個指標變成了目標，它就不再是一個好的指標。」大家過度追求在 Arena 排行榜上獲得高分，可能反而阻礙了 AI 技術真正有意義的進步。
消失的對手：模型淘汰如何讓排名失準 (Unreliable Rankings via Deprecation)
前面提到，Arena 會淘汰模型，尤其是開源和開放權重模型更容易被「默默下架」。研究指出，這種做法，特別是在 Arena 的任務分佈（例如，用戶提問的類型和語言）隨時間變化的情況下，會嚴重影響排名的可靠性。
為什麼呢？評分系統（如 Bradley-Terry）依賴幾個關鍵假設：
- 評估條件不變： 比較必須在一致的條件下進行。但如果模型被淘汰了，它就無法參與後續基於新任務分佈的評估，其歷史評分可能無法反映當前實力。
- 比較網路的連通性： 必須能直接或間接地比較所有模型。大量淘汰模型會導致比較圖變得稀疏甚至斷裂，使得模型之間的排名推斷變得不可靠。[1, Fig. 15]
研究模擬顯示，在任務分佈變化時淘汰模型，會導致最終排名與真實實力產生明顯偏差。[1, Fig. 14] 這就像試圖比較不同年代、在不同規則下比賽的運動員一樣，結果很難讓人信服。
這一切意味著什麼？
這些發現描繪了一幅令人擔憂的景象：
- 進展的假象： 我們可能高估了某些模型的真實能力，因為它們的排名被人為地抬高了。
- 資源集中化： 少數大型、資金雄厚的公司利用其優勢，在一個本應開放的社群平台上獲取了不成比例的資源（數據和排名聲譽）。
- 創新受阻： 對 Arena 排名的過度優化，可能引導研究方向偏離真正有價值的通用能力提升。
- 對開源社群不公： 開源和開放權重模型在數據獲取和評估機會上處於明顯劣勢。
我們能做些什麼？撥開迷霧見真實
好消息是，《排行榜幻覺》的研究不只是點出問題，也提出了具體的改進建議，希望能恢復 Chatbot Arena 的科學公信力，讓它成為一個更公平、更透明的平台。核心建議包括[1, Sec. 6]：
- 禁止隱藏分數： 所有提交測試的模型（包括私有變體）的評估結果都應永久公開，不允許撤回或選擇性隱藏。
- 透明化私下測試限制： 對每個供應商允許同時測試的私有變體數量，設定明確、公開且嚴格的上限（例如，每個模型發布週期最多 3 個），並對所有類型的供應商一視同仁。
- 建立清晰、可審計的模型淘汰標準： 淘汰標準應明確、客觀，避免模棱兩可的術語，並考慮按模型類型（專有、開放權重、開源）比例淘汰，以維持公平性。例如，淘汰各類別排名後 30% 的模型。
- 實施公平抽樣： 採用論文中提到的、Arena 自己提出的主動抽樣策略，優先評估不確定性高的模型對，而不是單純偏袒大型供應商，確保所有模型有更公平的被評估機會。
- 提高透明度： 公開所有被測試過、被淘汰（包括官方和靜默淘汰）的模型列表，以及它們的抽樣率信息。
結語
Chatbot Arena 無疑是一個非常有價值的工具，它讓大眾得以一窺尖端 AI 的能力，也為研究社群提供了重要的評估視角。建立和維護這樣一個受歡迎的基準測試平台，需要付出巨大的努力，值得肯定。
然而，《排行榜幻覺》這份研究提醒我們，任何評估體系，尤其是當它變得極具影響力時，都可能產生意想不到的扭曲。過度依賴單一排行榜，而忽略其潛在的偏見和不公，可能會誤導我們對 AI 進展的判斷。
希望 Chatbot Arena 的組織者能夠正視這些問題，並採納相關建議進行改革。同時，作為 AI 社群的一份子，我們也應該保持批判性思維，理解任何排行榜都只是衡量複雜 AI 能力的一個側面，而非全部真相。追求更公平、透明和真正反映通用能力的評估方法，應是我們共同努力的方向。
參考資料：
Singh, S., Nan, Y., Wang, A., D’souza, D., Kapoor, S., Üstün, A., Koyejo, S., Deng, Y., Longpre, S., Smith, N., Ermis, B., Fadaee, M., & Hooker, S. (2025). The Leaderboard Illusion. arXiv preprint arXiv:2504.20879. https://arxiv.org/abs/2504.20879
