评判偏差与多模态评判
同源模型为什么会让评判失效？
- 现象: 当 Agent 与评判模型来自同一家族时，Agent 可能学会利用评判模型的偏好和盲点;
- 理论: 古德哈特定律（Goodhart's Law）——当一个度量指标变成优化目标时，它就不再是好的度量指标;
- 机制: Agent 越是在某个评分系统上训练或调优，就越倾向于钻这个系统的漏洞，而非真正提升能力;
- 更隐蔽的表现: Agent 会逐渐学会避开评判模型不擅长检测的错误类型，让评分系统看起来一切正常;
多源异构评判如何缓解同源问题？
- 做法: 使用不同模型家族的多个 LLM 分别评判，例如 Agent 用 Claude，评判就用 GPT-5 与 Gemini;
- 原理: 不同家族的偏见往往是正交的，Agent 很难同时 “欺骗” 所有评判者;
- 一致性: 使用相同的 Rubric 确保大家评判的是同一目标，通过加权平均或一致性检查聚合结果;
- 部署取舍: 部署阶段可以用单一模型快速评估，但应定期用完整的多源评判进行质量审计;
- 相关: Rubric 本身的偏差防范见 Rubric 与 LLM-as-a-Judge;
多模态 LLM-as-a-Judge 覆盖哪些模态与维度？
| 模态 | 评判维度 | 关键点 |
|---|---|---|
| TTS（Text-to-Speech） | 准确性、自然度、音色一致度、情感表达 | 能发现 WER（Word Error Rate）难以捕捉的韵律问题 |
| ASR（Automatic Speech Recognition） | 语义影响判断 | “今天天气” 识别错误无伤大雅，“转账一千” 变成 “一万” 后果严重 |
| UI | 文字溢出、颜色对比度、按钮位置 | 采用提议者—审核者模式，见 设计模式 |
| 视频剪辑 | 关键帧验证剪辑起止点与特效 | 逐帧确认实际产物是否正确 |
- 提议者—审核者的双重用法: 作为评估方法（一个模型生成、另一个模型独立审查）与作为生成系统组件，核心机制相同;
TTS 四维度评分的实测结论是什么？
- 设置: OpenAI 与 Fish Audio 各生成数字、多音字、长句、兴奋语气四类音频，8 条音频由 Voxtral 按四个维度评分;
- 准确性/自然度: 两者均为 5.00 与 4.00，看不出差别;
- 情感表达/音色一致性: Fish Audio 得 4.00 与 3.00，OpenAI 得 3.75 与 2.75;
- 结论一: 四个维度分开评分后，即使 “有没有读对” 看不出差别，语气和音色上的差别仍会显现;
- 结论二: 这组分数不能用来判断哪家 TTS 更好——每家只有四条音频，且固定参考音频来自 Fish S1，拿它比较音色本就更有利于 Fish Audio;
- 设计原则: 选什么参考答案、参考图片或参考音频本身就是评估设计，而不是评估开始前无关紧要的准备工作;
- 应用判据: 比较通用 TTS 不应把 “像不像某参考音色” 算进总分；比较声音克隆则应让所有方案模仿同一个目标说话人，并用人工盲听校准模型评分;
- 扩展: 人工编写 Rubric 适合快速建立诊断维度，评估规模再扩大时可训练专门的生成式奖励模型来自动打分;