系統進度與研究方向

115 資工專題 · 2026/10/13

自然語言泛化 × 可驗證規則判定

Campus Agent · 2026-10-13

目前進度

185 條規則已完成結構化整理
自然語言輸入
→
LLM 語意候選
→
語意與證據驗證
→
規則判定與依據
逐步將已結構化規則接入完整判定流程。
Campus Agent · 2026-10-13

Demo|研究設備費增列

同一個會話:提出問題 → 規則判定 → 更正金額 → 更新判定

① 提出問題 · 37,000 元
新增研究設備預算,增列項目金額37000元,需要報國科會核准嗎?
此項增列:無須事前報核
② 更正金額 · 87,000 元
更正:增列項目金額是87000元。
此項增列:須事前報核
Campus Agent · 2026-10-13

下一步|讓不同問法接上既有規則

目前落差:使用者明明寫出 50,000 元,系統卻仍追問金額。

自然語言輸入 使用者的不同問法
→
LLM 語意候選 理解不同問法與金額
→
語意與證據驗證 證明金額屬於本次增列
→
既有規則判定 不交由 LLM 裁決
強化中間兩步:正確擷取已提供的資訊,通過驗證後才交給既有規則。
研究方向

LLM 語意泛化 × 確定性驗證
以未見測試集衡量涵蓋率與安全性。

想請老師確認

研究方向是否合適?
先改善語意泛化,再請靜儀進行小規模實務測試,是否合適?

Campus Agent · 2026-10-13

口頭補充:LLM 提出語意候選;程式驗證事實、歸屬及適用範圍,再執行規則。 185 條結構化完成,不代表 185 條都已端到端接通。

此組操作已在 2026-10-12 DEV Supabase audit 實測記錄: 13:47:34 第一輪:EXISTING_CLAIM_RESULT,1 claim。 13:48:19 第二輪:EXISTING_CLAIM_RESULT,1 claim。 在同一會話做更正,不要再按「新問題」。 這是個別規則效果,不是整案核銷許可。不同會話/模型執行仍要以實際輸出為準。

此頁是下一步的研究方向與需請老師確認的安排,不代表已完成泛化能力。 50,000 元實測(2026-10-12 DEV Supabase audit): 15:13:03 問句:「我要新增研究設備費預算項目,增列項目金額剛好是 50,000 元,請問需要事先報國科會核准嗎?」 next_step=FIELD_CLARIFICATION。target、question、change_type 已存在;amount 未接受; claim=UNRESOLVED,blocker=REQUIRED_OBSERVATION_MISSING;rejection=REQUEST_RELATION_UNPROVED。 15:14:41 補答「50000」後 amount 才被採納,claim=RESOLVED。 不能僅憑這筆紀錄判斷是 LLM 看不懂;模型候選、finite recognizer、證據重建/owner attachment 都須分層分析。 研究目的:把多樣自然語句映射到已審查的 request/fact typed observations; LLM 只提名 reviewed candidate 和 server evidence references,不直接授予法規語意、scope、claim、法律效果。 驗證層需確認原文 witness、事實類型與值、案件/請求權屬、否定與更正,再由 static applicability → H2V1 → C0 判定。 不允許以放寬 verifier、猜測缺少事實、用任意同義字配對等方式換取表面涵蓋率。 已有185條結構化規則,但不是全部端到端已接通;正確接入限當前 reviewed/authorized scope。 向老師確認兩件事: (1) 研究方向聚焦 LLM 語意泛化與確定性證據驗證的銜接,先用既有 failure taxonomy 定位瓶頸, 不把所有漏接都歸因於 LLM;LLM 不直接決定規則適用或法律效果。 (2) 先完成下一輪泛化改善及基本回歸驗證,再請靜儀做少量實務測試, 由她協助提供自然問法、常見業務情境與判定正確性回饋,避免現在以已知缺陷消耗使用者時間。 若需要真實問法來設計研究,可以另外請教少量去識別化實務案例;這些全屬 development data, 不當作事後補成的未見評估或正式行政驗收。 建議口頭問:『老師覺得以語意泛化與可驗證性作為接下來的研究方向是否合適? 我想先把目前的 semantic intake 問題改善並量化驗證後,再請靜儀協助小規模實務測試。』 測試要有開發集與未見凍結測試集之區隔;U1 6/44 屬 development-exposed baseline, 無法支持新方法的 unseen generalization 成效主張。