廖明月 Mingyue Liao

背景

产品是基于 RAG 的医学文献综述生成（两路召回 → 重排 → 大纲 → 正文），我负责生成环节。综述是长答案，每条结论都要能追溯到参考文献，人工复核成本高。

难点

• 幻觉定义宽，尤其“不合理推理”这类错误没法用规则或 prompt 描述清楚，示例又受上下文长度限制。
• GPT、Gemini 作为教师模型都没有超过自家模型的上限，蒸馏路线走不通。
• 评判模型需要给出推理过程和证据，不能只输出标签，否则无法解释、无法迭代。
• 错误样本多样性不够，模型只会抓已经见过的错误类型。

为什么是 GRPO，而不是 SFT / DPO

• 幻觉检测有标准答案、反馈容易，和 RL 在数学 / 代码任务上成功的条件一致。
• SFT 和 DPO 只能靠写进样本来教推理过程，等于用人的推理上限限制模型；GRPO 让模型自己探索推理路径。
• 团队已有的 GRPO 框架在 GSM8K 上优于 SFT；PPO 反馈链太长，没训出好结果。

方案

1. 错误归因：人工归因出三类错误——前提缺失、不合理推理、张冠李戴。
2. 任务拆分：把长答案切分为带参考文献的 claim，逐条判断。
3. 负样本全部合成：Qwen 72B 按指定错误类型改写正确文本；用检测模型过滤掉已经能抓到的样本，只保留难样本；三轮迭代。
4. 训练：GRPO 训练 Qwen 14B，奖励 = 正确性奖励 + 格式奖励。
5. 评测：1000+ 条人工标注 claim。

结果

• F1 较 RefChecker 相对提升 7%，较 SFT 基线相对提升 10% 以上。
• 评判模型反过来提升生成模型（以人工评测专业性得分为指标，均为相对提升）：self-reward 对齐 +10%，claim 级幻觉率下降约 50%；用评判模型构造偏好数据做 DPO +5%；双语术语词典 +5%；RAFT 抗噪训练 +4%。

我负责的部分

评判模型独立负责：错误归因、合成数据、训练、评测。RAG 生成质量优化中负责生成环节的对齐。

背景

从新闻报道中自动识别贷款申请人的犯罪记录及是否为制裁对象。客户原方案的提示词随 case 不断加长，效果明显下降，团队也没有微调经验。

难点

• 任务本质是实体识别 + 关系判断：报道里的人是不是申请人本人、事件是否构成风险，同名、别名、关系错挂都会误判。
• 没有评测集，不知道改一条规则会不会把别的 case 改坏。
• 没有现成训练数据，标注规范也不统一。

方案与结果

1. 先建错误分类体系：标注不一致、数据未覆盖、关系挂错、关系缺失、实体边界错误，按分布决定改进顺序。
2. 统一标注规范：+1.2%
3. 合成数据提升覆盖率：+1.5%
4. 以交叉方式在全量数据上构建正负样本对做 DPO，提升易错数据上的表现：+3.5%
5. 固化为迭代体系：扩充评测 → 构建多样性数据 → 构建正负样本 → SFT → DPO → 评测。

我负责的部分

错误分类体系、标注规范、合成数据、SFT + DPO 训练、评测体系。