廖明月 Mingyue Liao

背景

RAG による医学文献レビュー生成サービス（2 系統検索 → リランク → 構成案 → 本文）で、生成工程を担当。レビューは長文で、すべての結論を参考文献まで遡れる必要があり、人手による確認のコストが高かった。

課題

• ハルシネーションの定義が広く、特に「不合理な推論」はルールやプロンプトで記述しきれない。例示もコンテキスト長に制約される。
• GPT・Gemini を教師モデルにしても自社モデルの上限を超えず、蒸留路線は不成立。
• 評価モデルはラベルだけでなく推論過程と根拠を出力する必要がある。そうでなければ説明も改善もできない。
• 誤り例の多様性が不足し、既知の誤り種別しか検出できない。

SFT / DPO ではなく GRPO を選んだ理由

• ハルシネーション検出は正解が明確でフィードバックが得やすく、数学・コードで RL が成功した条件と一致する。
• SFT・DPO は推論過程をサンプルに書いて教えるしかなく、人間の推論力が上限になる。GRPO ならモデル自身が推論経路を探索できる。
• チームの GRPO フレームワークは GSM8K で SFT を上回っていた。PPO はフィードバック経路が長く、うまく学習できなかった。

アプローチ

1. 誤りの分類：前提の欠落、不合理な推論、取り違えの 3 種類に人手で分類。
2. タスク分割：長文を参考文献付きの claim に分割し、1 件ずつ判定。
3. 負例はすべて合成：Qwen 72B が指定の誤り種別で正しい文章を書き換え、既存の検出モデルで検出できたものを除外して難例のみ残す。これを 3 回反復。
4. 学習：GRPO で Qwen 14B を学習。報酬 = 正確性報酬 + 形式報酬。
5. 評価：人手でラベル付けした 1,000 件超の claim。

成果

• F1 が RefChecker 比 +7%、SFT ベースライン比 +10% 以上（相対値）。
• 評価モデルを生成モデルの改善に活用（専門性の人手評価スコア、いずれも相対値）：self-reward アライメント +10%、claim 単位のハルシネーション率 約 50% 低減。評価モデルで作った選好データによる DPO +5%、日英術語辞書 +5%、RAFT によるノイズ耐性学習 +4%。

担当範囲

評価モデルは単独で担当（誤り分類、データ合成、学習、評価）。RAG 生成品質の改善では生成工程のアライメントを担当。

背景

ニュース記事から、融資申込者の犯罪歴や制裁対象かどうかを自動判定するタスク。ケースが増えるたびにプロンプトが長くなり精度が明らかに低下していた。チームにファインチューニングの経験はなかった。

課題

• 本質はエンティティ認識と関係判定。記事中の人物が申込者本人か、その出来事がリスクに当たるか。同姓同名・別名・関係の誤結合がすべて誤判定につながる。
• 評価セットがなく、ルールを 1 つ変えると他のケースが壊れないか分からない。
• 学習データがなく、アノテーション基準も統一されていない。

アプローチと成果

1. まず誤り分類体系を構築：アノテーション不一致、データ未カバー、関係の誤結合、関係の欠落、エンティティ境界の誤り。分布をもとに改善順序を決定。
2. アノテーション基準の統一：+1.2%
3. 合成データでカバレッジ向上：+1.5%
4. 全データで正例・負例ペアを交差的に構築し DPO、誤りやすいデータでの精度を改善：+3.5%
5. 反復可能な改善サイクルとして定着：評価拡充 → 多様なデータ構築 → 正負ペア構築 → SFT → DPO → 評価。

担当範囲

誤り分類体系、アノテーション基準、データ合成、SFT + DPO 学習、評価体系。