中美 AI 都出現 Decoupling？ Moonshot AI Kimi K3 超越美國頂級模型，點解只係震散其他中國 AI 公司？ (Patreon)

中國 AI 實驗室 Moonshot AI 發佈新模型 Kimi K3，三日之內全球半導體蒸發三萬三千億美元市值，但跌得最慘的不是美國公司，而是中國同業；反映主權 AI 漸漸成形；出口管制將模型市場切成兩個陣營，每間公司主要服務自己所屬的一邊。從宏觀角度分析，Transformer 架構九年未變，技術進入主導設計（dominant design）階段，競爭模式亦由開發新能力轉向壓縮成本。

補充影片裡面提及到的 AI 能力測驗標準

前端程式碼競技場 (Frontend Code Arena)：Kimi K3 第一名，Elo 1,679，高於 Claude Fable 5 的 1,631 與 GPT-5.6 Sol 的 1,618；較 K2.6 的第 18 名躍升 17 位，在七個子項目中取得六項第一（Arena.ai 確認 —— 這是少數經獨立平台確認的成績）。

Frontend Code Arena：讓模型寫網頁前端介面，由真人盲測比較兩份輸出何者較佳。它量度的是「產出是否可用」，而非「答案是否正確」。

Elo：源自國際象棋的相對排名制度，分數來自兩兩對戰的勝負。差 50 分約等於六成勝率 —— 所以 1,679 對 1,631 是真實但不懸殊的差距。

這是中國開放權重模型首次在主要編程排行榜上同時越過 Anthropic 與 OpenAI。

Artificial Analysis 智能指數：Kimi K3 約 57 分，對比 Claude Fable 5 約 60、GPT-5.6 Sol 約 59、Claude Opus 4.8 約 56。

Artificial Analysis 智能指數：一個綜合指數，把推理、知識、數學、編程等多項測試加權合成單一分數。它的用途是提供跨模型的粗略排序，而非診斷具體能力。

GPQA Diamond：Kimi K3 93.5% —— 發佈時最高的開放權重成績。

GPQA Diamond：博士程度的科學問答，題目設計成「即使用搜尋引擎也難以在短時間內答對」。它量度深層領域知識，而非檢索能力。

Agentic（代理式）長程任務： Kimi K3 在 GDPval-AA 的 Elo 為 1,668，高於 Claude Opus 4.8 的 1,600；但在 AA-Briefcase 上 Elo 約 1,547，仍落後 Claude Fable 5。

代理式 (agentic)：模型不只回答問題，而是連續執行多個步驟去完成一件工作 —— 讀檔案、寫程式、執行、看結果、再修改。這是 2025–26 年真正的競爭戰場，因為它決定 AI 能否取代一段工作流程，而不只是一個問題。

GDPval / AA-Briefcase：兩套模擬真實知識工作（分析、撰寫、簡報）的評估，以人類評審或評分表計分。

編程專項： Kimi K3 在 Terminal-Bench（88.3 對 84.6）、SWE Marathon（42.0 對 35.0）上高於 Claude Fable 5。

Terminal-Bench：在命令列環境完成實際任務。SWE Marathon：處理真實開源專案中的長篇軟件工程問題。

過去一年各主要 frontier models 的突破

人類最後考試 (Humanity's Last Exam, HLE)：約 46%，一年內提升 30 個百分點。

HLE：由全球數百名各領域專家聯合出題，刻意設計成「連該領域的博士也未必答得出」的極限難題集。取名「人類最後考試」，是因為出題者認為這是人類還能出得出、而 AI 尚未攻破的最後一批題目。一年之內由 16% 升到 46%，是這個名字最直接的反諷。

FrontierMath：GPT-5.5 Pro 領先，約 52%；測試基準由專業數學家出題的研究級數學問題，部分題目需要數小時至數日的專家工作。

OSWorld：由約 12% 上升至 66.3%，歷時一年。

↳ OSWorld：把模型放進一個真實的電腦桌面環境，要求它像人一樣操作 —— 開啟軟件、點擊選單、編輯檔案、跨程式完成一項工作。它量度的不是知識，而是「能否真正代替一個人坐在電腦前工作」。這是所有測試中，與經濟後果距離最近的一項。

自 2017 年 LLM （大語言模型）發展里程碑

2017 - Transformer：一種讓模型在處理一段文字時，同時衡量所有字詞之間關聯強弱的架構（即「注意力機制」）。它取代了此前逐字順序處理的做法，改以大規模平行訓練。

未能成功替代 Transformer 的其他技術：

狀態空間模型 (state-space models)：以一個不斷更新的「壓縮記憶」取代注意力機制，運算成本隨長度線性增長而非平方增長。曾被視為最有力的挑戰者，理論上更適合超長文本，但至今未能在前沿模型上取代 Transformer。

循環神經網絡的復興 (recurrent revivals)：嘗試改良 Transformer 之前的主流架構（逐步讀入、保留一個隱藏狀態），使其重新具備競爭力。同樣未能成功。

2020 - Kaplan 縮放定律 (Scaling Laws)：模型的錯誤率會隨著「運算量、參數量、數據量」的增加，沿著可預測的曲線下降。它的意義在於：「做出更強的 AI」，由純粹的運氣，變成一件可以用預算規劃的工程。

2022 - Chinchilla 修正（Hoffmann et al., 2022）大幅調整最優配比，轉向更多數據、更少參數。DeepMind 的發現：當時的模型普遍「參數太多、餵的數據太少」。在固定預算下，把參數減少、數據增加，效果反而更好。它重塑了此後每一次訓練，而且是一項真正可被壟斷的洞見 —— DeepMind 曾獨家掌握一段時間並由此取得實質優勢。

2022 - InstructGPT 與人類回饋強化學習 (Reinforcement Learning from Human Feedback, RLHF) 證明大量能力本已潛伏於基礎模型之中，可透過後訓練 (post-training) 引出。

RLHF：讓人類為模型的不同回答評分排序，再用這些偏好訓練模型。它解決的不是「模型懂不懂」，而是「模型願不願意好好回答」 —— ChatGPT 與其底層模型 GPT-3 的差別主要在此。

後訓練：在昂貴的預訓練完成之後，再施加的一系列較廉價的調整工序。

最主要的突破在於將新模型進化與擴散的周期縮短至約十八個月。

2023 - 混合專家(Mixture-of-Experts)：每次只叫醒一小部分「專家」，使模型容量與使用成本脫鈎，切斷「參數量決定使用成本」這一關聯。這是此後所有效率工作的前提條件。

2024-2025 - OpenAI o1 證明：在推理鏈上施加強化學習，配合可變的推理時運算 (inference-time compute)，開啟一條與預訓練相互獨立的縮放軸。

推理時運算（又稱測試時運算 test-time compute）：讓模型在回答之前先「多想一會」； 生成一段內部推演過程再作答，想得愈久、答得愈好。它的重要性在於：此前要令模型更強，唯一辦法是花更多錢重新訓練；現在可以在使用時逐題加碼。這等於在已經接近極限的舊路旁邊，新開了一條路。 這是 Chinchilla 之後最重要的發展。

2025 - 蒸餾 (distillation)；用大模型的輸出去教一個小模型，型以極低成本取得接近前沿的能力。

2025-2026 - 主要針對記憶體應用、後訓練以及 GPU 應用效率

多頭潛在注意力 (Multi-head Latent Attention, MLA)：壓縮儲存模型的「短期記憶」；長文本下大幅降低對記憶體需求。

FP8 訓練：用更粗略的數字精度做訓練運算，較 BF16 減少約一半記憶體與傳輸壓力。

FlashAttention：重新編排運算次序以貼近晶片的高速快取，消除長文本的記憶體瓶頸。

稀疏／線性注意力：只計算重要的字詞配對，略過其他，使百萬 token 以上的 context window 變得經濟上可行。