來自人工智慧（AI）實驗室 Cohere、史丹佛大學、麻省理工學院（MIT）與知名 AI 研究機構 AI2 的最新研究指出，知名 AI 測試平台《Chatbot Arena》疑似對 Meta(META.US) 、OpenAI、Google (GOOGL.US) 與亞馬遜 (AMZN.US) 等大型科技公司提供不對等的測試機會，藉此提升其排行榜成績，影響評測公信力。
據報導，透過分析五個月內超過 280 萬場模型對戰紀錄，研究發現 Meta、OpenAI 與 Google 的模型曝光率遠高於其他廠商，有更多機會收集用戶回饋並優化模型。
研究團隊還發現，封閉商業模型如 Google 與 OpenAI，在平台上的出戰次數明顯高於其他模型，相較之下，開源模型的曝光率低，甚至容易遭到移除，形成資料存取與曝光的長期不平等。
根據統計，《Chatbot Arena》上有 61.3% 的所有資料都流向了特定的模型提供者。其中 OpenAI 與 Google 分別取得 20.4% 與 19.2% 的總對戰數據；反觀 83 個開源模型，總合卻僅占 29.7%。
報告發布後，OpenAI 創始成員 Andrej Karpathy 也在 X 上質疑評測公平性。他指出 Google 的 Gemini 曾在排行榜上大幅領先，但實際使用體驗卻不如排名較低的 Claude 3.5，懷疑 Google 等科技巨頭暗中操縱結果。
LM Arena 允許公司私下測試多個模型版本，引爭議
此外，報告還指出，LM Arena 組織允許大公司私下測試多個模型版本，卻僅公開表現最佳者的成績，對外隱藏成績較差的版本。Cohere 副總裁 Sara Hooker 直言：「只有少數公司被告知可以進行私下測試，而且測試次數遠高於其他公司，這根本是操弄遊戲規則。」
研究指出，Meta 在 2024 年初私下測試多達 27 個 Llama 4 模型變體，卻只公布一款高分者作為官方代表，明顯有選擇性披露之嫌。
在研究發表前不久，Meta 也曾因優化一款未公開的 Llama 4 模型，使其在 Chatbot Arena 獲得亮眼成績而引發爭議。該版本未對外釋出，而公開版本表現普通，強化了外界對平台公平性的疑慮。
Google 與 LM Arena 高層為平台辯護 反指研究數據有誤
對此，LM Arena 共同創辦人、柏克萊教授 Ion Stoica 則回應道，該研究存在「多處不實與可疑分析」。官方聲明則重申平台致力於公平、社群導向的評測，鼓勵所有模型多次提交參賽。
Google DeepMind 首席研究員 Armand Joulin 也為平台辯護，指出報告數據不準確，Google 僅提交過一款 Gemma 3 模型進行測試，並未如報告所言反覆試驗。
學者呼籲增加透明度，建議公開所有私測數據
研究者建議 LM Arena 應設立私測次數上限，並全面公開所有私測結果，以回應公平性質疑。對此，LM Arena 則認為「公開未釋出模型的測試成績毫無意義」，拒絕部分改革建議。
儘管對於數據公開意見不一，LM Arena 對於改善模型對戰次數不均的問題表示願意接受建議，計畫推出新的抽樣演算法以提升公平性。
值得注意的是，LM Arena 近日宣布將正式成立公司並尋求募資，引發外界對其商業化後的中立性進一步擔憂。這篇研究可望成為推動評測平台改革的催化劑。
《Chatbot Arena》由加州大學柏克萊分校於 2023 年啟動，採用「雙模型對戰」的形式，讓用戶對比兩個 AI 回答並投票選出較佳者。隨著其影響力上升，成為 AI 公司展示模型實力的重要平台
(美股為即時串流報價； OTC市場股票除外，資料延遲最少15分鐘。)新聞來源 (不包括新聞圖片): 鉅亨網