向专家学习
Continual Grading 阅读笔记
介绍
训练自研模型最棘手的环节,是定义 “优质输出” 的评判标准。对于代码项目,我们可以构建单元测试,但是对于其他一些偏主观的项目,我们一般更依赖于专家评估。
一个很直观的想法,我们可以训练一个奖励模型来学习专家,然而训练这样一个奖励模型,其实也需要大量数据,成本也非常大。
作者提出了持续评分(Continual Grading),只需要少量专家标注偏好数据,就可以训练一个元评分器(metagrader),用于打分。
奖励模型 $r(x,y)$,输入任务 $x$ 和模型回答 $y$ ,输出一个奖励分数。训练过程会驱使模型输出分数更高的结果。
现有方案
LLM as Judge
直接使用通用大模型对某条数据打分(pointwise),或者在两个回答中选择更优的那一个(pairwise)
这个方案非常方便,但是效果很差,尤其是高难问题
Rubrics
进阶版的LLM as Judge,评分细则表会给出明确可落地的评判条目。模型为每个任务输出一套评判标准,裁判逐条核对
通点在于,撰写大量Rubrics也非常昂贵。通过LLM自动生成Rubrics也是一个思路,但只有当大模型可以拿到参考答案时,这套方案效果才比较好
Reward Model
专家针对同一任务,为大量成对数据标注偏好,奖励模型学习这些数据,学会输出对应偏好
训练奖励模型的数据依然很多,奖励模型通常只在和训练集分布接近的回答上保持准确度,且用奖励模型进行强化学习训练时,会有Hacking现象
逆宪法AI
Inverse Constitutional AI
作者认为逆宪法AI最好,这个方法将人类偏好压缩成简短原则清单,裁判依据这套原则给新回答打分
核心缺陷:逆宪法只学习一套通用原则,所有任务共用同一套,只能记录全部任务的共性,不能针对任务定制评分,上限不高
元评分器
作者构建了理想中的评分器:元评分器。这个评分器学习样例少、支持针对任务定制、可以处理新数据