Previous slide Next slide Toggle fullscreen Toggle overview view Open presenter view
從真人測試問題到新的研究流程
115 資工專題 · 2026/09/15 Meeting
找出 failure → 建立新版 workflow → 準備下一階段驗證
Campus Agent · 2026-09-15
1. 上週真人測試：舊流程處理不了完整案件
真人問題
↓
只選一個主題
↓
只找一部分規則
↓
答案容易不完整
真實案件常常同時牽涉多個規則、缺少資訊，也可能遇到版本或來源問題。
所以這週第一件事不是修某個 bug，而是先找出「到底是哪一步讓系統失敗」。
Campus Agent · 2026-09-15
2. 這週確認：問題不只是「找不到規則」
舊系統
一個案件 → 一個 topic → 容易漏規則
RefWalk（上週提的論文）
找到規則 → 沿規則之間的引用繼續找
但 Campus 的規則彼此很少引用，所以這個方法不能直接照搬。
這週改成
一個案件 → 拆成多個問題 → 每個問題各自找規則
在固定 development cases 上，新流程已能把必要規則全部找齊。
Campus Agent · 2026-09-15
3. 最重要的發現：規則找齊 ≠ 可以回答
找到所有可能相關的規則後，還要知道：為什麼現在不能下判定？
缺口
系統應該怎麼做
缺案件資訊 問使用者
版本或官方證據不夠 不能猜，先停
系統自己的規則表示不夠 修系統，不該叫使用者回答
所以新版流程不只要「找規則」，還要知道缺什麼、該問誰，以及什麼時候不能回答。
Campus Agent · 2026-09-15
4. 這週系統做了什麼
1. 一個案件不再只選一個 topic
先拆成多個規範問題，再分別找需要的規則。
2. 找到規則後，不再直接硬答
系統會分辨：可以回答、需要追問，還是應該先停止。
3. 版本／來源證據不足時，不讓系統自己猜
把這些缺口明確留下來，等證據補齊再判定。
目前 research candidate 先用 deterministic workflow 驗證架構（LLM calls = 0）；還沒證明能泛化到新的真人問題。
Campus Agent · 2026-09-15
5. 下一步：驗證後再開公開測試
新的 unseen / sealed cases
↓
正式 evaluation + 錯誤分析
↓
整合既有 production 能力
↓
limited public test
預計節奏
約 2 週 ：完成 unseen evaluation約 3 週 ：依結果完成第一版 integration約 3–4 週 ：若沒有重大 blocker，再開始 limited public test
需要獨立 case 保管／建置，以及熟悉報帳實務的人做最後 domain review。
Campus Agent · 2026-09-15
開場：上週真人測試發現系統其實滿不可用的，所以這週主要不是繼續加功能，而是先找出到底哪裡有問題，然後做出一套新的研究流程。
口頭：靜儀測完覺得滿不可用，所以這週先不要急著公開 QR，而是先把失敗拆開。舊流程很早就把案件壓成單一 topic，這在真人問題上容易只看到局部。
口頭：RefWalk 就是上週提的那篇論文。它的重要想法之一，是先找到規則，再沿規則之間的引用關係把其他相關規則補齊。但我們實際看 Campus corpus 後發現，大部分規則彼此沒有這種引用關係，所以不能把它直接當主方法。這週最後改成從案件本身拆問題，例如採購制度、金額、日期、例外，再分別找規則。這裡只代表 retrieval 這一層在固定 development cases 上已經能把必要規則找齊，不代表最後答案正確。
這頁是這週最重要的 insight。不要細講 G87/G88；用採購日期、版本 selector、例外條件這些白話例子就好。
口頭：原本 production 的 LLM 主要負責自然語言理解與結構化，主規則邏輯仍由程式跑。這週的 frozen research candidate 為了先驗證 workflow 本身，把 LLM 暫時拿掉。Claude Pro、差旅等 reality check 仍看得到 planner / extraction 的 gap，所以現在還不能說這套方法已經能泛化，也還不是 production replacement。
口頭：primary sealed cases 不能由我們目前 tuning side 自己看過內容後再拿來當 unseen，所以需要一個獨立 builder/custodian 保管 case semantics。case 可以從官方 FAQ／規範、新的真實問題與 controlled challenges 半自動建立。靜儀或其他熟悉 NCU/NSTC 報帳的人不需要出題，只需要 review 已整理好的精簡 reference packet。正式 protocol 另外還需要獨立 source/provenance reviewer；老師若能幫忙確認 reviewer 人選或協助找到合適的人即可，不需要親自參與每題。這裡的 2／3／3–4 週是目標 milestone，若 unseen evaluation 發現重大 blocker 就延後 public test。