真正的產出不是規則數量,而是抓到一整類既有評估看不見的缺陷
本地模型因實驗室 GPU 帳密沒有拿到,沒有照原計畫跑成;改用 3 格煙霧測試先確認呼叫路徑,再進正式全量。
但這些都不是這週最重要的結果。
規則資料看起來完全合理,系統仍然可以穩定地做錯。
全量報表曾經一直顯示 100% 覆蓋。
後來發現:有 19% 語料根本沒被送出去問,原因是編號撞號;但分母用的是「實際送出去的格數」,所以漏掉的資料同時不在分子也不在分母。
連帶更正先前數字:
查核缺失涵蓋率 100% → 96%
Metrics 本身也需要被驗收,不能因為數字漂亮就相信。
修正這批缺陷前後:
多輪引用命中率約 89–91% → 88–89%
幾乎沒有變。
但其中一個 bug 代表「版本與生效年度」這個核心賣點之前其實從未完整執行。
一個考 88 分的系統,仍然可能有核心功能根本沒真的跑。
因此新增的真正研究資產,是把這些 failure 轉成每次都要跑的 invariant checks:
必跑檢查 3 → 7 支;驗證項目 21 → 24 項。
其中三個缺陷曾經逐條人工複核,當時都判定「沒有問題」。
原因很直接:
驗證規則內容 ≠ 驗證規則真的被執行。
這一週開始把「execution semantics」本身當成需要獨立驗收的對象。
同一筆 80 萬元採購:
兩份中央大學要點甚至在 同一天修正。
所以不能:
而是要先判斷:
這個案件到底走哪一套制度?適用範圍互斥時,要先判 scope,再談規則比較。
這次老師建議:
專題開始從「把系統做對」往「讓真人把沒想到的問題撞出來」移動。