Home Creators Posts Import Register Favorites Logout

Content

關於 Polanyi's Paradox.AI 的極限.甚麼是人類文明的奇點(Singularity)

過去幾個月,覺得追逐每日新聞跑流量是浪費生命。正如我在個人介紹中也寫道,自己平均半年就有一個新的興趣。又或者更正確一點應該說,我關注的題目每半年左右便會換過一批。無錯,我不喜歡在一個範疇上轉研太長時間,但過了兩、三年,又可能會對過去曾經接觸過的題目重新感到興趣。

今日的這篇隨筆,初稿用英文寫。嚴格來說,是我和 Claude 合撰,然後再譯成中文。在文章的後記有詳細解釋整個過程是怎樣做,有些甚麼部分出自我手筆,Claude 又怎樣協助我寫作。

If We Cannot Enter the Mind of a Bat, How Can a Computer Enter Ours?

【內容概要】 如果有人告訴你,他建了一套完美的蝙蝠模擬系統,包括:回聲定位(echolocation)的物理原理、神經結構、獵食行為,全都精確無誤,你會不會問他:「你知道做一隻蝙蝠是什麼感覺嗎?」這個問題是哲學家 Thomas Nagel 在五十年前提出,當時只是哲學上的一個思想實驗(thought experiment)。但在 AI 席捲一切的今天,它突然變成了最切身的問題:大型語言模型(large language model)能讀遍人類所有關於痛苦的描述,但它知道痛苦是什麼嗎?另外,從人類文明的角度,AI 的發展又會帶來怎樣的影響?

全文在會員區 🔻

假如你要建立一個完美的蝙蝠模擬系統;你已經掌握了科學所能告訴你的一切:回聲定位(echolocation)的物理原理、處理聲納訊號的神經結構、蝙蝠在黑暗中獵食時用的頻率範圍。你能高精度地模擬牠的通訊系統,模擬牠的叫聲、回應、群體互動。按任何客觀標準,你的模擬都跟真正的蝙蝠無從分辨。

但你會知道,做一隻蝙蝠是感覺甚麼嗎?

哲學家 Thomas Nagel 在一九七四年的論文〈做一隻蝙蝠是甚麼感覺?〉(”What Is It Like to Be a Bat?”)裡提出了這個問題。他的答案是:你不可能有蝙蝠的感覺。

不是因為數據不夠,也不是因為模型不精緻,而是因為蝙蝠感知世界的那種第一身體驗——透過回聲定位「看見」黑暗的那種主觀質感——根植於某種生物基底,任何模擬,無論多完整,都無法從外部複製。地圖畫得再細,也不是那片土地。

Nagel 這個思想實驗(thought experiment)本來只是哲學的命題,但在二〇二六年,卻突然變得異常重要。

2025 年 12 月,當代三位「AI 教父」之一、圖靈獎(Turing Award)得主 Yann LeCun 離開Meta,創辦AMI Labs(Advanced Machine Intelligence 先進機器智能),據報融資目標高達五億歐元,估值三十億。他的判斷是:大型語言模型(large language model,LLM)是死路一條;因為 LLM 只懂在語言層面操作,根本不理解世界。

我認為 LeCun 有道理,但理由不完全是他說的那些。大型語言模型的缺缺,不是因為訓練數據是文字而非影片,又或者它們沒有持久記憶、無法規劃未來;DeepMind、Runway、World Labs 以及 LeCun 的新公司,都在認真研究「世界模型」(world model)去嘗試解決 LLM 的缺陷。但更深層的問題是認識論(epistemology)的:關乎「知」的本質,以及人類的感知裡,有沒有某些部分是根本不能被任何機器模擬。

一九六六年,哲學家兼物理化學家 Michael Polanyi 出版了《默會維度》(The Tacit Dimension);他在書裡說了一句看似簡單的話:「我們所知道的,比我們能說出來的多。」

這種「默會知識(tacit knowledge)」,例如騎單車的平衡感、一眼認出老朋友的能力、聽到一句話就知道語氣不對勁、感覺到一場談判快要破裂等,都是無法編碼成規則,沒辦法完全以語言文字記錄下來,因為任何語言文字表達都必然遺漏些甚麼。

這種感知是人類行為的一部分,而不是單純對人類行為的描述。

經濟學家 David Autor 後來把這叫做「波蘭尼悖論(Polanyi’s Paradox)」,用它來解釋為何自動化沒有按理論家所預測般取替所有人類的工作。人類行為當中,下棋、解數學題、法律推理等對一般人可以看似艱難的,卻反而相對容易被人工智能所取替。最難自動化的,偏偏不是那些複雜高端的任務;是那些基本到人類從不覺得那是「知識」的東西,例如在凹凸不平的地上走路,把毛巾摺好,感覺一個房間的氣氛。

大型語言模型從海量非結構化數據學習,而不是死記規則,所以能間接掌握某種默會知識;這是真實的進步,不容否認。機器可以分析甚麼是好的法律論證,靠的不是死記法規,而是靠勝訴律師留下的大量文字;它們學會怎樣寫具說服力的文字,不是靠風格手冊,而是靠人類幾千年的寫作語料。

問題是,默會知識不只是「碰巧難以言說」的知識。從最基本層面,默會知識是從物理化學互動裡生發出來的人類的感知;從身體在一個可能傷害甚至摧毀它的環境裡摸索前行的過程中演進的。

大型語言模型生成一段有文字,其實只是在模擬輸出的結果,而不是那個過程本身。這個區別至關重要,而且它不是靠更大的模型、更多的算力就能達到的。

*

語言是工具;從來不是人類認知的全部。

人類感知裡有的言語以外的部分,例如感覺運動經驗(sensorimotor experience)——身體在空間中移動的感知、知道自己手腳在哪裡的本體覺(proprioception)、氣味如何喚起記憶、味覺怎樣替厭惡和渴望等等。這一切都超越了言語,也是任何只處理文字符號的模型都無從觸及。換句話說,一個讀遍人類所有關於痛苦的描述的大型語言模型,並不等於知道痛苦是甚麼,儘其量它只可以模擬人們談論痛苦是所用的言詞;這是兩件完全不同的事。

這就是我說的「語言+(language-plus)」:人類認知裡超出語言的那個剩餘部分,由完整的、具身的(embodied)、多感官的體驗構成。LeCun 指的基本也是這個;他說一個四歲小孩處理的資訊量,比最大的語言模型多五十倍,這還只是算視神經:每秒一百萬位元組,一萬六千個清醒小時。

不過,以上只是「語言+」的 weak-form;背後還有一個更根本的 strong-form 。

人類認知不只是「有更多感官輸入」那麼簡單,本質上它是生物性的;我們說的常識、直覺、判斷——那些最頑強抵抗自動化的東西——不只是感知累積而成的產物,更是因生存所需而在演進過程中產生出來的現象。內分泌系統,不是感知以外,而是感知系統的生物結構。例如人類的情緒狀態,由內分泌系統(endocrine system)驅動,社會直覺經過幾百萬年演化校準,風險感知在還沒到意識層面之前,已經在杏仁核(amygdala)裡完成了。當皮質醇(cortisol)在威脅下湧上來,人的感知、記憶和判斷全都跟著變。當催產素(oxytocin)水平有變,人與人之間的信任也不一樣。當多巴胺(dopamine)一增加,就出現學習和記憶。以上也是神經科學家 Antonio Damasio 提出的「軀體標記假說」(somatic marker hypothesis)。大量實證研究支持,身體不只是替大腦輸送資料,讓大腦去推理。身體本身就在感知不可劃分的一部分。

換句話說,「語言+」的 strong-form 不只是語言以外的感知,而是整個感知的生物基礎假說,包括演化的、神經學的、內分泌的,都是任何以人類語言為訓練對象的模型所無法複製。

功能主義者(functionalist)或許會說:「如果由機器模擬出來的答案,與經由生物系統的反應行為一模一樣,是否由人類肉身所出,又有甚麼關係?如果一個 AI 系統的行為表現得像是有切膚之痛;讓它經由計算損失函數(loss function)而完美地模擬出生存動力的表現,那說它有「切膚之痛」,又到底有甚麼意義?」

以上這個反駁,其實值得認真回應;就讓我嘗試提出一個答案。

模型和生物體,根本不屬於同一個維度的存在;這不是生物本質主義(biological essentialism),也不是說生命有甚麼神奇之處,或只有神經元才能思考。我只是說,這兩類系統的運作原則,本質上就是不同的。

模型,受惠於中心化、規模化和複雜化,從而出現 emergent behaviour;模型愈大、處理數據愈多,輸出就愈接近被模彷的對象。一個系統在廣度上超越任何個體人類,因為它在不成為其中任何一個的情況下,把數百萬人的體驗聚合在一起。而且,同一個模型可以被完全一樣地複製無數份,它的「認識」編碼在權重(weights)裡,每個副本都可以一模一樣。

生命體的演進卻是完全另一套邏輯。演進過程不只是適者生存,而且過程中必須透過每個個體,各自適應所面對的生存挑戰,因略微不同的基因版本,在漫長的過程中,優勝劣敗。生命體各自都是獨立,在自然中無法完成被複製、也無法合併。生命體的「感知」不存在權重裡,而是個體與特定環境的特定一生互動中持續被生成;個體無法被複製,因為它不是一個簡單檔案。

這正是 Polanyi 的洞見:默會知識不只是難以表達,而與生成它的物理化學過程不可分割的。一個模擬的生存和一個生物性的生存,背後的驅動力在本質上就是不同,不是因為運行在甚麼物質上,而是因為在沒有被淘汰和滅絕的環境中。一個判斷錯了威脅的生物體會死,它的「損失函數」也不是被設計出來的,它,就是存在的前提。有限性(finitude)與不可逆性(irreversibility)不是生物系統的一個特徵,而是生命體的全部。

剛才提到功能主義(functionalism)的論點:只要輸出的答案一樣,行為一樣,甚麼是主體就不重要,也就是主張從「AI 理解」悄悄換成了「AI 的近似夠好,實踐上或者差異可以忽略」。

毫無疑問,今天的各種 AI 模型,又或者往更厲害的技術,儘其量只是在行為表現上近似(behavioural approximation);當然已經很有用,也很厲害,但就是與生物上的感知是不同的事。

*

回到那隻蝙蝠。

蝙蝠的回聲定位系統,在某種意義上是一套通訊與導航技術。你可以為它建模,模擬它的輸出,建一個 AI 系統,高精度預測蝙蝠在特定環境裡會有怎樣的行為、反應,但始終不是那蝙蝠感受回聲定位的那種體驗,因為感知與生物本體是分不開的;跟牠耳蝸的具體構造、聽覺皮層、神經系統、作為捕食者和獵物幾百萬年的演化歷史都分不開。

要知道做一隻蝙蝠是甚麼感覺,你得真正成為一隻蝙蝠。這也是今天這篇隨筆標題「莊周不可能夢蝶」的意思。

哲學家說的「感質(qualia)」——體驗的那種感受質地——不是某種額外的資訊,給模擬足夠的數據就能原則上捕捉到;它是一個過程的屬性,一個活著的身體在一個可能致死的世界裡持續導航的物理化學過程。現象學(phenomenology)層面主觀體驗的第一身質感,不屬於任何從外部對系統建模所能觸及的範疇。

大型語言模型作為人類語言層的模擬,能力早己超越任何個體;訓練它們的數據之龐大,是任何一個人就算幾輩子也讀不完。但它們卻無法完全地模擬任何一個具體的人的感知,因為沒有模型能擁有一個人體驗的全部總和。

更根本的是,個體的認知是被生成的,不是被儲存的;背後有它特定的記憶、特定身體等,正如蝙蝠的感知無法被模擬,因為它不是單純一堆數據,而是一個過程。

世界模型(World Model)將會是另一個階段的進步。DeepMind 的 Genie 3 在2025 年 8 月推出,能夠即時生成互動式三維環境,不靠硬編碼規則,自己學出物體下落和碰撞的物理規律。LeCun 在 AMI Labs 開發的架構,目標是讓AI能夠維持持久記憶、理解因果結構、跨時間規劃。這些都是在認真嘗試解決「語言+」的 weak-form,讓 AI 對物理現實有更豐富的模型,而不只是預測下一個語言符號。

但這些進步最終都不可能達到「語言+」的 Strong-form ;換句話說,就算未來的世界模型和機器運算,能完全模擬蝙蝠對物理環境的各種感知,仍然不是真正做一隻蝙蝠的感覺。

*

以上所講,並非要論證大型語言模型不重要,又或者說 AI 的衝擊被高估。

大型語言模型的影響,比很多人所想都要來得深遠——凡是把所有能寫下來、能錄成音視頻的,都可以被自動化生成。事實上,這些活動佔了人類文明運作的大部分;人類的制度——法律、市場、政治、官僚——都不是靠默會知識去運作,它們靠的就是語言層:文件、論證、先例、訊號、訊息、敘事,而那正是大型語言模型能夠高精度模擬的那一層。

但要理解這意味著甚麼,為甚麼它如此重要,我們首先要明白自己正身處甚麼時空背景,用更長的視野去了解。

我們所經歷的,不是原本穩定的文明秩序被打亂。其實在此之前出,已經不只一次出現過文明的突變;每次都不只改變了資訊的處理方式,更改變了人類社會的根本模式。

有人用「奇點(singularity)」來描述 AI 最終的發展目標,那不是科幻小說裡所講超越人類的機器智能,而是數學意義上的:從前的軌跡,無法從這一點繼續外推的那個點。

過去每次重大的資訊革命,都是這種意義上的奇點;我們現在又到了一個。

最初,人類有了溝通能力,世界就從根本上改變了。溝通讓我們能夠形成部落,在時空中協調行動,積累遠超任何個體所能承載的知識。然後我們學會了把將說話編碼;先是洞穴壁畫,然後是符號文字,然後是字母。圖畫和文字不只是把思想記錄下來,也轉化了思想本身,讓抽象成為可能,讓知識能夠跨越世代傳遞,也讓法律、神學、哲學,最終讓科學得以出現。在任何有意義的意義上,文明都是從「能把東西寫下來」這件事長出來的。

值註解的是,由說話到文字這個轉變,當年也有人抗拒。蘇格拉底(Socrates)不信任書寫。柏拉圖(Plato)的《費德魯斯篇》(Phaedrus)論證思想付諸文字會削弱記憶,製造出沒有實質的知識假象。古典時代的哲學家對文字帶來的風險,直覺並非全錯,但方向判斷卻錯了。蘇格拉底對文字的批評,恰恰因為學生把它寫了下來才流傳至今。柏拉圖把蘇格拉底對文字的抗拒寫成戲劇,自己卻成了西方歷史上最有影響力的作家之一。

每代人抵制新的資訊技術,是文明演進的固定戲碼,不是演進本身的反證。

現代社會的出現與大眾識字率、印刷機、大眾媒體同步發展,並非偶然,而且也帶來了全新的文化形式:攝影、電影、錄音等,創造了新的人類經濟活動、新的政治運動、新的藝術形式、新的社會身份。攝影不只是記錄了影象,也改變了繪畫本身的意義。電影不只是放映故事,它重新建構了故事被體驗的方式。錄音不只是保存了演出,它把音樂與演出場合完全拆開,讓聲音和日常生活之間出現了前現代任何人都無從想像的新關係。

每個轉折點,改變的不只是資訊處理的效率,而是哪一層資訊處理被自動化或外包出去,以及隨之而來,人類能夠做甚麼、成為甚麼的空間。文字讓記憶「外在化」(externalized);印刷讓資訊傳遞「外在化」,大眾媒體令廣播「外在化」。每次「資訊外在化」都解放了人類,讓人的精力投向新的事物,而每次都創造了一個從前視角無法理解的世界。

我們現在站在下一個轉折點,也是迄今最激進的一個,今次被自動化的不是記憶、分發或廣播,而是語言、聲音和圖像本身的生成與處理;以超越任何人類個體的能力和精確度,產生、轉化、回應文字、圖像與聲音,也就這是所有過去文明結構得以建立的那一層,將被自動化。

這是文明的根本改變。

這就是為甚麼「奇點」這個名詞是恰當的;我們無法從目前繼續推演出經過這個門檻之後,另一邊的世界有甚麼可能,就正如一個口語文化下生活的人,無法了解識字文明人的生活;不是因為那個世界更差或更好,而是本質上的分別。

未來會有新的挑戰:版權、勞動、利益分配、在知識可以「外在化」的世界裡「知道某事」到底意味著甚麼?這些都將是嚴肅、難解的倫理辯論,而且不會有簡單的答案。執著於「這是好事還是壞事?」,是捉錯用神,因為無論如何轉變都將會出現,而那些能夠想像接下的世界和人類社會的人,也將是塑造它的人。

Aldous Huxley 將他對未來的想像叫做「美麗新世界」(brave new world),借用的是莎士比亞《暴風雨》(The Tempest)裡米蘭達(Miranda)說的話;一個從未離開孤島、把新奇當作驚喜的人口中;這句話充滿矛盾,有人理解是即將到來的世界為赫胥黎的警告,豐裕但換走了某些根本性的東西,但也可以理解為米蘭達真誠的驚嘆,真正新奇、真正陌生、真正充滿可能性。兩種讀法都站得住。唯一站不住的,就是以為未來將會一切如常。

這不是「後人類」(post-human)的世界,而是真正的「後現代」(post-modern);這個區別很重要。

*

雖然說:「但凡不能宣諸文字的,我們仍然無法自動化。」但只要是能夠被我們說得出口,寫得成文字的,一切事情都應該自動化,也自然會被自動化。

當大型語言模型逐漸整合到我們制度中,愈來愈多的資訊交由原則上無法知道被法律管治、被市場定價、被訊息說服是甚麼感覺的系統所處理,到底意味著甚麼?那個系統或許能夠產生與人類專家一樣的輸出,但它卻無法像人類專家那樣對出錯的後果有切身的主觀感受,結果意味著甚麼?

老生常談的講法是:The Map is not the Territory 。用同樣的類比,現在地圖不只愈畫愈精細,我們已經能自動導航。在人類歷史的大部分時間裡,製圖是一門崇高的學問,過去的世界能成為製圖師,大概是那個時代最有學識的人。我們有了不需要駕駛員就能在路上行駛的車,可以去從未去過的城市。不懂認路,也沒有讓我們變得更貧乏,反而解放了我們。

*

後記:關於以 AI 共同撰寫

這篇文章是我和Anthropic開發的大型語言模型Claude對話寫成的。你或許覺得這裡有某種諷刺,但請你先別急著下定論。

文章核心論點從頭到尾是我的:「默會知識」最準確的理解是「語言+」;大型語言模型是對人類認知中語言層的模擬,而不是對認知本身的模擬;Nagal 的蝙蝠,是任何對模擬在根本上必然要談論到、最清晰的說明。文明史的框架,從語言能力到書寫到現代性到這個奇點的 narrative arc、蘇格拉底反對書寫的反思,以及那些能夠想像接下來會怎樣的人將主導演進的主張,都同樣出自我手。

Claude 嚴格地反覆壓力測試這些立場,整理了相關學術文獻,補充了 Huxley 與 Miranda 的文學錨點,並負責起草全文。

最後的修訂、增補、語調判斷,以及所有立場的確立,都是我的。當然,中文被隨筆中

第一稿寫完後,我把它拿去 ChatGPT 和 Gemini 去審稿,然後我再收到的兩份評語,再跟 Claude 討論修訂。

我在這裡提這件事,不是作為腳注,而是作為一個說明;本文關於語言層能做甚麼、不能做甚麼的論點的一個活的實例。ChatGPT 與 Gemini 的評論,在分析上都相當稱職。它們都指出了同樣的哲學挑戰:「基底本質主義」(substrate essentialism),也清晰提出反駁。經過我和 Claude 的討論,修訂了方向。

另外,這篇文章的論題、框架、立場,以及對甚麼重要的判斷都是我的。Claude 、Gemini 和 ChatGPT 貢獻了廣度;處理相關文獻、生成結構選項、找出論證弱點、貫穿全文的論點以及令起草過程更流暢。當然,《莊周不夢蝶》這條標題,也不是 AI 可以聯想得到的,至少目前未可以。

蘇格拉底說書寫削弱了思想,就正如不少人認為,AI 會令人不再思考。但我會說語言層的自動化,不但不會削弱思考,反而可以令我們有更廣闊的思想空間。

當然,到底是支持還是反對以上的觀點,由讀者來判斷。我確定的只有一件事:讀到這裡的你,是一個對答案有利害關係的生物體。這並非微不足道的事。這,說到底,就是整篇文章最主要的價值。

Files

If We Cannot Enter the Mind of a Bat, How Can a Computer Enter Ours?

Imagine you are tasked with building a perfect simulation of a bat. You have access to everything science knows about bat cognition: the mechanics of echolocation, the neural architecture that processes sonar signals, the frequency ranges the bat uses to navigate in darkness, to locate prey, to avoid obstacles at speed. You can model the communication system with exquisite fidelity. You can simulate bat calls, bat responses, bat social dynamics. Your simulation is, by any measurable standard, indistinguishable from the real thing. But would you know what it is like to be a bat? The philosopher Thomas Nagel posed this question in his 1974 paper “What Is It Like to Be a Bat?” and the answer, he argued, is no. Not because the simulation lacks data. Not because the model lacks sophistication. But because the bat’s experience of the world — the first-person, felt quality of perceiving through echolocation — is constituted by a biological substrate that no simulation, however complete, can reproduce from the outside. The map, no matter how detailed, is not the territory. This thought experiment, which Nagel intended as a contribution to the philosophy of mind, has become unexpectedly urgent in 2026. In December 2025, Yann LeCun, one of the three “godfathers of deep learning” and a Turing Award laureate, left Meta after twelve years to found AMI Labs — Advanced Machine Intelligence — reportedly seeking five hundred million euros in pre-launch funding at a valuation of three billion. His thesis, stated without qualification: large language models are a dead end. They perform at the level of language. They do not understand the world. LeCun is right about that, but not quite for the reasons he gives. The deeper issue is not simply that LLMs lack physical grounding, or that they have been trained on text rather than video, or that they cannot plan or maintain persistent memory. These are real limitations, and the world model research now consuming serious investment at DeepMind, at Runway, at World Labs, and at LeCun’s own new venture is genuinely aimed at addressing them. The deeper issue is epistemological. It concerns what we mean by knowledge, and what part of human knowledge is, in principle, inaccessible to any simulation. In 1966, the philosopher and physical chemist Michael Polanyi published The Tacit Dimension, in which he articulated an observation deceptively simple in its formulation: we can know more than we can tell. Tacit knowledge — the kind that underlies riding a bicycle, recognising a face, knowing when a sentence sounds wrong, sensing that a negotiation is going badly — resists codification. You cannot transfer it by writing it down, because the act of articulation necessarily leaves something out. The knowledge lives in the doing, not in the description of the doing. Polanyi’s Paradox, as the economist David Autor later named it, became a canonical explanation for why automation was not consuming all human labour as fast as theorists had predicted. The tasks hardest to automate were not the complex, symbolic, high-status ones — chess, mathematics, legal reasoning. Those turned out to be relatively tractable. The tasks hardest to automate were the ones so basic humans never thought of them as knowledge at all: walking on uneven ground, folding a towel, reading a room. The standard account of why LLMs represent a partial breakthrough against Polanyi’s Paradox goes something like this: because LLMs learn from patterns in unstructured data rather than from explicit rules, they can acquire a form of tacit knowledge indirectly. They learn what sounds like good legal argument not from a rulebook but from the accumulated record of what winning lawyers have written. They learn what a persuasive paragraph feels like not from a style guide but from the entire corpus of human persuasion. This is genuine progress. But it mistakes the boundary of what has been solved. Tacit knowledge is not simply knowledge that happens to resist explicit articulation. It is knowledge that arises from physical-chemical interaction — from the lived process of a body navigating a world that can damage or destroy it. When an LLM produces a persuasive paragraph, it is reproducing the output of that process. It is not reproducing the process itself. The distinction matters, and it matters in a way that cannot be dissolved by scale or architectural refinement alone. Language is a tool. It is not the totality of human cognition, and it was never meant to be. Consider what I mean by this. Human cognition includes, in its weak form, sensorimotor experience — the felt sense of a body moving through space, the proprioceptive knowledge of where your limbs are, the way smell triggers memory, the way taste encodes aversion and desire. None of this is language. None of this is accessible to a model that processes only tokens. An LLM trained on every description of pain ever written does not know what pain is. It know...

Comments

No comments found for this post.