芯耀
667
編者按：日前，楊立昆（Yann LeCun）應邀在AMS（美國數(shù)學學會）著名的Josiah Willard Gibbs講座上，進行了主題為《通往人類水平人工智能的數(shù)學障礙》的演講。
楊立昆，法國計算機科學家，現(xiàn)任Meta首席AI科學家和紐約大學教授。他在機器學習、計算機視覺、移動機器人和計算神經(jīng)科學等領(lǐng)域都有很多貢獻。他最著名的工作是在光學字符識別和計算機視覺上使用卷積神經(jīng)網(wǎng)絡(luò)，他也被稱為卷積網(wǎng)絡(luò)之父。他同萊昂·博圖和帕特里克·哈夫納（Patrick Haffner）等人創(chuàng)建了DjVu圖像壓縮技術(shù)，同萊昂·博圖開發(fā)了Lush語言。2018年他和約書亞·本希奧以及杰弗里·辛頓共同獲得計算機學界最高獎項圖靈獎。
楊立昆多次公開批評大語言模型（如GPT）的局限性，認為其缺乏真正的理解能力。他認為當前實現(xiàn)AI的方法（如大語言模型）在表面智能下隱藏著本質(zhì)缺陷，無法實現(xiàn)真正的理解或推理。他呼吁轉(zhuǎn)向更接近人類認知的架構(gòu)，強調(diào)自主學習、世界建模和低能耗高效學習。也因此，他備受爭議，在輿論和工業(yè)界的影響力被邊緣化。支持者認為他是“清醒的批判者”，反對者則認為他“低估了大模型的潛力”。他在社交媒體上頻繁辯論，甚至被部分激進的大模型擁護者攻擊。
Josiah Willard Gibbs講座由AMS于1923年成立，旨在強調(diào)數(shù)學在推進研究和應對實際挑戰(zhàn)方面不斷發(fā)展的作用。以數(shù)學物理學家Josiah Willard Gibbs（1839-1903）的名字命名，他的基礎(chǔ)工作影響了理論和應用科學。該講座旨在表彰那些展示了數(shù)學深度和廣度的貢獻者，受邀亦被視為學術(shù)界的榮譽。
楊立昆的這次演講長達一小時，本文在保持原意前提下進行了適度濃縮，重點突出了從數(shù)學視角分析AI瓶頸的核心論述。以下為演講內(nèi)容。
今天我要探討的是人工智能，這個全民熱議的領(lǐng)域，特別是通往人類級AI道路上的障礙。許多AI研究者認為，未來十年我們或許能構(gòu)建出具備人類智能雛形的機器。關(guān)于實現(xiàn)時間的預測眾說紛紜：最樂觀者宣稱已觸手可及，某些融資方聲稱明年就能實現(xiàn)（我個人持懷疑態(tài)度），但我認為確有突破可能。接下來我將闡述AI研究的應然方向、現(xiàn)存障礙——其中不少本質(zhì)上是數(shù)學障礙。
為何需要人類級AI？因為在不久的將來，AI助手將如影隨形。通過智能眼鏡等設(shè)備（當前無屏版本已商用，帶顯示屏的高端型號也即將面世，Meta同事研發(fā)的Orion原型就是例證），我們終將實現(xiàn)全天候的語音交互與智能輔助。想象每個人都能像政要或CEO那樣，擁有智能虛擬團隊隨時待命。但現(xiàn)實是：我們尚未掌握構(gòu)建這種系統(tǒng)的技術(shù)。
當前機器學習的學習效率遠遜于生物。無論是監(jiān)督學習（需要標注數(shù)據(jù)）還是強化學習（僅反饋好壞），其樣本效率都難以企及人類舉一反三的能力。近年興起的自監(jiān)督學習雖革新了AI（如大語言模型ChatGPT的核心技術(shù)），但仍有根本局限：它僅通過預測序列中的下一個符號（如文本中的單詞）來訓練，而人類卻能通過極少量樣本理解世界運作規(guī)律，具備常識推理與目標導向行為。
大語言模型的工作原理本質(zhì)是自回歸預測：通過海量文本訓練神經(jīng)網(wǎng)絡(luò)預測序列中的下一個符號（如單詞或DNA堿基）。雖然這種技術(shù)在處理離散符號時表現(xiàn)出色，但其數(shù)學本質(zhì)決定了致命缺陷——自回歸預測是指數(shù)發(fā)散的誤差累積過程。假設(shè)每次預測有微小誤差，隨著序列延長，正確概率會呈指數(shù)級衰減（(1-ε)^n）。即便誤差率ε極低，長序列生成也必然偏離合理范圍。這就是當前大語言模型時常“胡言亂語”的根源。因此我斷言：自回歸模型終將被淘汰。
要實現(xiàn)真正的人類級AI（我更愿稱之為“高級機器智能/AMI”，法語中意為“朋友”），必須突破五大能力：1）通過感知輸入學習世界模型；2）具備持久記憶；3）規(guī)劃復雜行動序列；4）邏輯推理能力；5）本質(zhì)安全的系統(tǒng)架構(gòu)。這要求我們徹底革新AI的推理范式——從現(xiàn)行的固定計算步長前饋網(wǎng)絡(luò)，轉(zhuǎn)向基于優(yōu)化的推理系統(tǒng)。
這種“目標驅(qū)動AI”并非新概念：最優(yōu)控制中的模型預測控制（MPC）正是典型案例。其核心是構(gòu)建可微的世界模型和代價函數(shù)，通過梯度下降優(yōu)化行動序列。但面臨三大數(shù)學挑戰(zhàn)：1）不確定環(huán)境下的潛變量建模；2）分層規(guī)劃（人類天然具備將巴黎之行分解為“打車-值機-登機”子任務的能力）；3）非確定性動力學中的優(yōu)化收斂性。
為學習世界模型，我們需要摒棄生成式架構(gòu)（其預測模糊均值的問題無解），轉(zhuǎn)向聯(lián)合嵌入預測架構(gòu)（JEPA）。JEPA通過編碼器提取抽象表征，過濾不可預測的細節(jié)（如視頻中墻面紋理），僅保留可預測的因果結(jié)構(gòu)。訓練這類系統(tǒng)需解決能量模型的兩個根本問題：防止坍塌（能量函數(shù)趨于常值）和高效正則化。
我們提出的VICReg方法（方差-協(xié)方差正則化）通過對表征矩陣列向量實施去相關(guān)約束，比對比學習更適合高維空間。有趣的是，當用此方法訓練PDE系數(shù)識別系統(tǒng)時，其表現(xiàn)竟優(yōu)于監(jiān)督學習——這暗示自監(jiān)督可能揭示了更深層的物理規(guī)律。
在視頻預測任務中，經(jīng)過掩碼訓練的JEPA系統(tǒng)展現(xiàn)出類“常識”：當看到物體違反物理規(guī)律消失時，其預測誤差會驟增，就像九個月大嬰兒對懸浮物體的驚訝反應。在機器人規(guī)劃實驗中，基于自監(jiān)督表征的世界模型能成功指導機械臂將散落積木排列成陣——盡管系統(tǒng)從未見過精確的“方形”定義。
這些突破指向一個未來：開放平臺的AMI將成為人類智能的放大器。要實現(xiàn)這個愿景，我們必須：
1）用聯(lián)合嵌入替代生成模型；
2）以能量函數(shù)替代概率模型；
3）發(fā)展基于正則化的學習方法；
4）用模型預測控制取代強化學習。
對于年輕研究者，我的建議是：切勿扎堆大語言模型研究（你無法抗衡萬卡集群），而應投身世界模型、分層規(guī)劃等基礎(chǔ)問題——那里才有真正的智能密碼。
