OpenRouter推出Ori Eval自動化模型評估工具

該工具通過掃描代碼庫並在實際任務中測試候選模型，支持按性能、速度或成本定製評估，並集成GitHub Actions實現自動化迴歸檢測。

據 Woofun AI 消息，OpenRouter 發佈了 Ori Eval 工具，旨在協助開發者爲 AI 應用篩選最佳模型。該工具可掃描代碼庫定位模型調用點，並在項目實際任務中運行多候選模型測試，允許開發者根據性能、速度或成本優先級進行配置。評估過程鎖定測試框架與模型配置以確保結果可比性，除答案質量外，還檢查智能體工具調用的準確性。

此外，Ori Eval 支持基於自然語言描述生成漏洞復現測試用例，並與 GitHub Actions 集成，自動檢測模型、提示詞或代碼變更後的問題迴歸。