Judge the Judge: Building LLM Evaluators That Actually Work with GEPA — Mahmoud Mabrouk, Agenta AI | 构建真正有效的LLM评估器：从校准到优化 —— 使用GEPA算法实战指南
https://www.youtube.com/watch?v=X4dEHRzBLmc 构建真正有效的LLM评估器：从校准到优化 —— 使用GEPA算法实战指南 通俗易懂的整体解释 这篇演讲的核心，就像它的标题“Judge the Judge”（评判裁判）一样，讲的是： 我们如何训练一个AI裁判（LLM as a judge），让它能像人类专家一样，公平、准确地评判另一个AI（比如客服机器人）的表现好坏。 想象一下，你开发了一个AI客服机器人。为了知道它干得好不好，你不能每次都找真人来看聊天记录打分，那样太慢了。于是你找了个现成的AI裁判来帮忙。但这个AI裁判可能是个“糊涂蛋”，它给出的评价…
Read the full story at DEV Community — Machine Learning ↗
Timeline · 1 report
- 2026-10-25 08:55 · DEV Community — Machine Learning
Judge the Judge: Building LLM Evaluators That Actually Work with GEPA — Mahmoud Mabrouk, Agenta AI | 构建真正有效的LLM评估器：从校准到优化 —— 使用GEPA算法实战指南