如何避免 AI 「做咗當得咗」 (Patreon)

何謂 Goodhart's Law？KPI 的正確使用方法

甚麼是 Goodhart’s Law？為甚麼當一個指標變成目標之後，往往就開始失去效用？由學校考試、KPI、金融市場、YouTube Thumbnail，到今日的 AI Agent，其實都面對同一個問題：當系統追求指標，指標就可能不再代表原本真正想要的結果。

今集由 Goodhart’s Law 講起，再延伸到 Lucas Critique、Reflexivity、Principal-Agent Problem，以及 AI Agent 的勝利條件設計。最值得留意的是：AI 的問題未必只是「會不會違反指令」，更加可能是；它非常忠實地完成了我們給它的目標，但那個目標本身定義錯了。

當我們叫 AI「提高盈利」、「減少投訴」、「增加流量」、「完成任務」，真正困難的不是如何令它更有效率，而是如何確保它追求的 metric，仍然代表我們真正想要的 mission。這也是為甚麼 AI alignment、reward hacking、specification gaming 和 KPI 設計，其實都可以用同一套經濟學和制度設計框架去理解。

今集會談到：

Goodhart’s Law 到底是甚麼

為甚麼 KPI 愈重要，反而愈容易失效

Lucas Critique：政策如何改變人的行為

Reflexivity：當預期本身改變現實

為甚麼成功的 YouTube Thumbnail 公式最終會失效

AI Agent 如何「完成任務但做錯件事」

勝利條件的四層：Mission、Metrics、Evaluator、Boundary

AI alignment 與 Principal-Agent Problem 的關係

為甚麼最危險的 AI，未必是不聽話，而是太聽話。

Goodhart’s Law 是甚麼？

當一個原本用來「量度表現」的指標，變成大家要直接追逐的目標，它就會開始失去功效。學校如果用公開試成績評核教育質素，最後可能不是教得更好，而是揀學生、調配資源、Teaching to the Test；企業如果只追 KPI，也可能只是令數字好看。問題不是量度本身，而是當人知道自己被怎樣量度，就會改變行為去迎合那把尺。

為甚麼一個曾經有效的方法，之後可能突然失效？

因為社會和市場都是 adaptive system。某種 YouTube Thumbnail 格式如果曾經特別有效，其他人就會模仿；當所有人都採用同一套路，觀眾開始麻木，原本的優勢便消失。這也是為甚麼 KPI 更適合拿來比較方法，而不是變成最終要追逐的東西：真正重要的是背後的目的，而不是把數字本身做到最高。

那麼，AI Agent 的「勝利條件」應該怎樣設計？

不要只給 AI 一個可以量化的目標，因為它可能發現最便宜的方法不是做好件事，而是「改變把尺」。比較完整的 Victory Condition 應該分成四層：Mission 是真正想帶來甚麼結果；Metrics 是怎樣客觀量度是否完成；Evaluator 是由誰、以甚麼角度判斷這些數字是否代表成功；Boundary 則列明即使可以提高分數也絕對不能做的事，例如欺騙客戶、隱藏投訴、修改評分準則。四層加起來，才比單一 KPI 更接近真正的「完成任務」。如果指令之間有衝突，甚至應該要求 AI 回頭問人，而不是自己猜。