利好

Arena推出AutoEval功能,1小時生成模型評分

2026-08-01 10:40:11

Arena上線AutoEval功能,利用獎勵模型模擬人類偏好,1小時內生成新模型評分,與人工排名相關性超0.98。

Woofun AI 獲悉,Arena平臺正式推出AutoEval功能。該功能基於數百萬組真實用戶偏好數據訓練的獎勵模型,通過模擬用戶投票行爲,在不到1小時內爲新發布的文本、視覺、音頻及代碼模型生成初步排行榜分數。AutoEval得分將隨後續人類投票結果進行修正,目前回測顯示其與人工排名相關性超過0.98。當模型間分差超過10分時,系統判斷勝出方準確率超90%;分差達15分時準確率達100%;但分差小於5分時,區分能力仍有限。

WOOFUN AI

影響力評估 · 一鍵速讀

AutoEval將模型評估週期從數天縮短至1小時,顯著提升了新模型上線後的反饋效率。高達0.98的相關性表明AI評分已具備較高的參考價值,可作爲人工投票的有效補充。儘管在細微分差下存在侷限,但該功能有望加速大模型迭代節奏,優化開發者體驗。
WOOFUN AI 生成 · 僅供參考,非投資建議

評論

回覆 @用戶
0/800

暫無評論

消息提醒

登入後查看消息
查看全部消息管理訂閱