作者 | 南風窗記者 朱秋雨
編輯 | 向由
10月8日，2024年物理學獎花落兩位“冷門學者”：91歲高齡的約翰·霍普菲爾德（John Hopfield）和77歲的杰弗里·辛頓（Geoffrey Hinton）。
這是令人意外的一次頒獎。畢竟，數(shù)個諾獎預測都相信，物理獎應該是天體物理、粒子物理、應用物理、量子物理、凝聚態(tài)物理、經(jīng)典物理、原子分子和光物理七大類中的一個。諾貝爾物理學獎不應是兩個研究機器學習（Machine Learning）、掀開當前人工智能（AI）革命的大師與教父。
被稱為“AI教父”的辛頓自己沒有想到，一個身體不好，坐不了飛機，三任妻子都死于癌癥的男人，會收到諾貝爾物理學獎獲獎的通知電話。
10月8日，在瑞典斯德哥爾摩舉行的2024年諾貝爾物理學獎公布現(xiàn)場/新華社記者 彭子洋 攝
而仔細查看他們的研究會發(fā)現(xiàn)，在終其一生的思索里，他們都在試圖用數(shù)學系統(tǒng)發(fā)明計算機神經(jīng)網(wǎng)絡，模擬人類大腦工作。人腦有100萬億個神經(jīng)元連接，隨時隨地在互動與發(fā)射信號，像深海般充滿奧秘。要想實現(xiàn)神經(jīng)網(wǎng)絡的野心，他們不可避免地運用物理、生物、心理學等領域的知識與靈感。
于是，1980年代，兩個跨學科的天才都提出了令21世紀驚嘆的發(fā)現(xiàn)：約翰·霍普菲爾德運用物理學原子自旋原理，發(fā)明了一種得以保存記憶的神經(jīng)網(wǎng)絡。后人以他的名字命名，Hopfield神經(jīng)網(wǎng)絡。
至于教父辛頓，他以Hopfield網(wǎng)絡為基礎，開發(fā)了一種新的神經(jīng)網(wǎng)絡：玻爾茲曼機（Boltzmann machine）。這個晦澀的新詞，靈感同樣來源于物理學——奧地利物理學家路德維?！げ柶澛倌昵疤岢龅睦碚?，涉及一個與AI完全無關的現(xiàn)象（加熱氣體中粒子的平衡）。
科學的突破與發(fā)現(xiàn)并非一蹴而就。人工智能在過往30多年發(fā)展起起伏伏，充滿嘈雜聲響，信念不斷被推倒又重建。以辛頓為代表的AI學者，用他們的人生證明：有時候，成功來源于走在前方無人小徑時，最大程度地堅持自我。
處處碰壁的天才
77歲的杰弗里·辛頓，隨著ChatGPT等大模型的火爆，在近年越來越名聲大噪。他早已是圖靈獎得主，密集地接受各方采訪。
不過，說的內容并非所有人都愛聽。就像那位不茍言笑的核物理專家奧本海默，他張口閉口說AI可能對人類的威脅，強大的超級人工智能會讓人類進入末世，仿佛這個工具是別人發(fā)明的一樣。
杰弗里·辛頓
除了這種看似知識分子的反思與懺悔，真正接觸過辛頓的記者，都在回頭書寫時記錄下了對他的印象：身體不好。從2005年開始，辛頓的腰背部出現(xiàn)問題。他開始很難坐立，不敢搭乘飛機出行，平時辦公也是站著的。遇上商務宴席，他也不能坐在椅子上，而是選擇雙腿跪在地上，經(jīng)常換來服務員奇怪的眼光。
他曾形容自己破爛的身體：“我每天都很煎熬，情況發(fā)展到了可能會癱瘓的地步，所以我很認真地對待這件事。如果我能完全控制自己的生活，它就不會帶來任何問題?！?/p>
失去控制總是讓人心生絕望，但在辛頓的人生里，他從來都是與缺乏確定性、無法受控的事情相伴。1947年，辛頓出生在英國一個科學家和教授世家，父親是研究甲蟲的劍橋生物學家。他的親戚們還包括《牛虻》的作者艾捷爾·伏尼契；“中國人的好朋友”、寫中國土地革命《翻身》的作者韓??；參加曼哈頓計劃的女核物理學家寒春……
而在十幾歲時，早慧的辛頓已經(jīng)遇上了促使他思考一生的命題。他回憶，那是高中時期，一位朋友問他，“你知道嗎？大腦的記憶并不是儲存在某個特定的地方，而是分布在整個大腦，在整個神經(jīng)網(wǎng)絡里傳播，就像全息圖一樣工作。”他從此開始對人腦機制產(chǎn)生了濃厚興趣。
大學期間，因為這個問題，辛頓曾學過5個專業(yè)，先是數(shù)、理、化，大二時又學了哲學、建筑學，后來又攻讀了心理學。四年大學讓他發(fā)現(xiàn)，所有的這些學科都無法解答人腦神經(jīng)元如何連接并工作的奧秘。最終，畢業(yè)后的辛頓選擇當一名木匠。
當木匠可以讓人收獲平靜，這是他高中時期最高興的活。只是，這位天真的知識分子也發(fā)現(xiàn)，沒有內耗的活往往匹配較低的薪水，他不適合用此謀生。這段日子里，一到周末，他就到圖書館自學大腦工作原理。
1972年，他再度“轉行”。憑借發(fā)表論文，他到愛丁堡大學就讀人工智能學的博士——又是一個全新的領域。
盡管他不熟悉計算機科學，辛頓卻有著自己的直覺和信念。不巧的是，此時正值人工智能的寒冬，人們從過往對AI的極度樂觀，到被冰冷的現(xiàn)實鞭打至谷底。1971年，英國政府進行了一項人工智能進展的研究，結果顯示，“大多數(shù)人工智能研究和相關工作人員承認，他們對過去25年取得的成就感到非常失望”。
報告稱：“迄今為止，AI在任何地方取得的成果，都沒有實現(xiàn)它當初承諾的重大影響?！?/p>
圖源：八斤制圖
令人沮喪的結果并非致命的，更大的問題是，在當時人工智能界，人們開始廣泛地懷疑從前的信念，即運用模擬人腦的神經(jīng)網(wǎng)絡，進行機器學習（神經(jīng)網(wǎng)絡只是眾多機器學習算法和模型的一種）。
最著名的論斷來自于當時的“人工智能之父”馬文·明斯基。他對模擬人腦的“聯(lián)結主義”派表示公開懷疑，認為計算機如果要擁有人類智能，必須用屬于計算機的方式來實現(xiàn)。1969年，他為此專門寫了一本書，寫道，“多層感知機（1960年代的一種神經(jīng)網(wǎng)絡）不會有發(fā)展前景，因為世界上沒人可以將多層感知機訓練得足夠好，哪怕是令它可以學會最簡單的函數(shù)方法?！?/p>
明斯基的論斷解釋了AI為何過去失敗了，也讓人們重新?lián)肀Я诵碌脑妇啊柸斯ぶ悄堋?972年，連辛頓的博士導師朗吉特·希金斯都被明斯基的理論說服了。他開始勸說自己的學生，換一個有前途的方向吧，別做神經(jīng)網(wǎng)絡了。
辛頓回憶：“我們每周見一次面，有時會以一場大喊大叫的爭論結束?！?/p>
《我，機器人》劇照
博士期間，他的研究方向始終與導師期望的背道而馳。辛頓說，他認可明斯基指出的神經(jīng)網(wǎng)絡的缺陷，但與多數(shù)人的選擇不同，他想繼續(xù)往“有缺陷的方向”前進，完善前人指出的漏洞。
至于他能這么做的原因，辛頓回憶，這可能是源于他從小在宗教學校上學，卻是全班唯一不信仰宗教的人?！斑@對科學家是一種很好的訓練，讓你對自己的觀點充滿信心。每個人都可能是錯的，你需要堅持自己的主張，直到實現(xiàn)它或者（徹底）否定它。做科學就需要這樣的精神?！?/p>
交叉學科的力量
固執(zhí)的辛頓在1978年順利博士畢業(yè)。當時的學者也沒預料到，他的堅持從此掀開了人工智能深度學習革命，并讓21世紀的各大巨頭爭相進行科技軍備競賽。
那時博士畢業(yè)后，孤獨的辛頓漂至了美國，總算在加州大學圣迭戈分校找到了一些志同道合的人士。他們有的來自神經(jīng)生物學，有的像辛頓一樣來自認知科學系，重要的是，他們分享著對聯(lián)結主義的信仰，相信用計算機多層神經(jīng)網(wǎng)絡可以模擬人類大腦的演算方式。最終，機器也可以像蹣跚學步的孩子一樣自我學習和進步，擁有推理能力。
看上去像天方夜譚的野心，卻在當時被一群人真情實意地相信著。1982年，加州理工學院教授霍普菲爾德率先開發(fā)了一種神經(jīng)網(wǎng)絡，用于模擬大腦如何相互作用并產(chǎn)生穩(wěn)定記憶。
霍普菲爾德獲獎后的第一張照片
這個神經(jīng)網(wǎng)絡的構建，也汲取了人類大腦的工作智慧。霍普菲爾德曾回憶，促使他走向這條道路的是一次受邀參加神經(jīng)科學的會議。會議內容令他著迷，并讓他開始思考神經(jīng)網(wǎng)絡的動力學特性。
人腦的運作好比需要集體演奏的交響曲，只有當神經(jīng)元共同作用時，它們才能產(chǎn)生新的、強大的特性?！叭绻阒魂P注網(wǎng)絡中的每一個獨立神經(jīng)元，是很難察覺這些特性的?！彼f。
擁有物理學背景的霍普菲爾德，開始想到原子自旋而產(chǎn)生的特性。這一特性使每個原子都成為了一個微小的磁鐵。相鄰原子的自旋會相互影響，自旋方向一致的區(qū)域得以形成。
運用自旋特性，霍普菲爾德成功構建了有節(jié)點和連接的神經(jīng)網(wǎng)絡，并以能量函數(shù)作為表達。大致實現(xiàn)原理類似于人類的聯(lián)想記憶。比如，如果神經(jīng)網(wǎng)絡接收到不完整或稍有失真的模式時，該方法能夠通過能量的原理，找到與之最相近的已存儲模式。
霍普菲爾德的模型示意圖。首先讓分子體系記住右下角的圖像（字母“J”）。此時，如果將分子體系的狀態(tài)改成右上角的圖，那么每個分子會按照既定的規(guī)則更改自身的能量，最終使得整體重新回到右下角的圖像
記憶、存儲、重現(xiàn)信息，這是霍普菲爾德神經(jīng)網(wǎng)絡的進步，也被后人視為聯(lián)結主義復興的標志。更年輕的辛頓也深受影響和鼓舞。
1986年，辛頓與兩名學者共同發(fā)表了一篇題為“通過反向傳播誤差來學習”的論文，成為了當代機器深度學習的奠基之作。
所謂的反向傳播，實際是一個基于微分的算法。需要指出的是，1980年代的研究重點與上世紀60年代已經(jīng)截然不同：1960年代的神經(jīng)網(wǎng)絡是一個單層網(wǎng)絡，而吸取了明斯基教訓的科學家們在20年后，希望建立的是有多層結構的神經(jīng)網(wǎng)絡。
他們相信，只要研究人員能夠建立一個多層的網(wǎng)絡，每一層都向下一層提供信息，這個系統(tǒng)就可以學習過去無法理解的復雜圖形。換句話說，一個更像大腦的系統(tǒng)就會出現(xiàn)。
這個過程變成了解出嵌套函數(shù)的數(shù)學問題。如果要訓練一個符合現(xiàn)實的神經(jīng)網(wǎng)絡，科學家們發(fā)現(xiàn)，他們的工作重點需要考量神經(jīng)網(wǎng)絡的輸出和真實結果之間的誤差；接著選擇恰當?shù)膿p失函數(shù)來表示誤差，再根據(jù)梯度下降等優(yōu)化算法，一步步修正權值參數(shù)，最后得到能擬合的神經(jīng)網(wǎng)絡模型。
在輸入層和隱藏層之間具有兩層隱藏節(jié)點的饋送網(wǎng)絡輸出層
但新的難題出現(xiàn)了：多層神經(jīng)網(wǎng)絡內含多個隱藏層，當誤差出現(xiàn)時，研究者們很快發(fā)現(xiàn)，他們極難找到誤差是在哪發(fā)生的。
擅長叛逆的辛頓與同事們同時也擅長逆向思維。1986年，他們提出反向傳播算法，精髓是將誤差從輸出層開始倒推，反過來逐層把誤差傳播至每一個隱層上，直到輸入層為止。每一層都依賴后面已經(jīng)計算好的信息去完成求導，故稱作“反向傳播”。
反向傳播成功解決了多層神經(jīng)網(wǎng)絡的訓練問題，證明了神經(jīng)網(wǎng)絡絕非停留在想象里的空中樓閣。
同一時期，辛頓與同事們發(fā)明了玻爾茲曼機。
玻爾茲曼機和霍普菲爾德模型的不同在于，內部增加了隱藏節(jié)點，使得節(jié)點之間可以通過概率調節(jié)整個網(wǎng)絡的功能
這個新神經(jīng)網(wǎng)絡汲取了統(tǒng)計物理學的原理，希望分析各個組件能夠共同存在的各種狀態(tài)，并計算它們出現(xiàn)的概率。這也是當今短視頻等平臺算法令人無法自拔的基本原理：算法可以分析和找到大數(shù)據(jù)之間的聯(lián)系，接著計算不同類別的人最大概率會喜歡和討厭的內容，并根據(jù)每次的點擊情況，實時進行概率計算和內容推送。
1986年，經(jīng)過訓練的玻爾茲曼機能夠識別出它未曾見過的信息中的熟悉特征。這也就意味著，計算機擁有了自我學習的能力，這正是神經(jīng)網(wǎng)絡的擁躉多年來所期許的。
辛頓和同事謝諾夫斯基都為此激動不已。“這是我一生之中最激動人心的時刻，”謝諾夫斯基說，“我們確信，已經(jīng)弄清楚了大腦是如何工作的?！?/p>
冷門二十年
約30年后，諾貝爾物理學獎認可了玻爾茲曼機的發(fā)明。
“他們都是真正的先驅者，尋找到了解決問題的新方法?！敝Z貝爾物理學委員會成員Anders Irb?ck教授在2024年盛贊。
只是，對80年代的辛頓來說，縈繞在前方的仍是時而大喜、時而大悲的情緒，以及與科學有關的迷霧之中。
他和同事都以為將改變世界進程的玻爾茲曼機，只在80年代末期人工智能的又一波熱潮時得到了關注。
1990年代，人工智能發(fā)展再度進入瓶頸期。各種基于統(tǒng)計的機器學習方法興起，研究神經(jīng)網(wǎng)絡的人越來越少了。辛頓成為了少數(shù)幾個仍在其中堅持的人。
杰弗里·辛頓曾在社交媒體上寫道：毛毛蟲提取營養(yǎng)物質，然后轉化為蝴蝶。GPT-4也像人類社會的蝴蝶般，提取了人類數(shù)十億的知識
后來人們才發(fā)現(xiàn)，當時的停滯并不代表辛頓提出的理論和設想是錯誤的。想法受限于當時計算機技術處理計算的能力。
辛頓在一次采訪中感慨：“追溯到1986年，我們首次開發(fā)出反向傳播算法，我們因其能學習到多層的特征探測而感到興奮，我們認為已經(jīng)解決了這個問題。但在解決實際問題中卻沒有出現(xiàn)大的突破，這非常令人失望，我們完全猜錯了需要的計算資源和標記案例數(shù)量?！?/p>
這樣的停滯伴隨著辛頓接下來的20余年科研歷程，神經(jīng)網(wǎng)絡始終不受學界主流認可。為了拿到教研經(jīng)費，他曾在倫敦大學學院、多倫多大學等地工作，最后終于在2004年從加拿大高等研究院申請到了每年50萬美元的經(jīng)費支持。
直到2006年以前，辛頓即使已經(jīng)在英國、加拿大是院士級別的人物，但他的發(fā)現(xiàn)只在學界里有名氣，從未得到現(xiàn)實的廣泛應用。但他始終堅信神經(jīng)網(wǎng)絡將引起人工智能革命。據(jù)稱，為了給自己打氣，辛頓還養(yǎng)成了一種自我激勵的方法，每周發(fā)泄般大吼一次：“我發(fā)現(xiàn)大腦是怎樣工作的啦！”
天然神經(jīng)系統(tǒng)和人工神經(jīng)網(wǎng)絡的相似性。關于人工神經(jīng)網(wǎng)絡的理論在幾十年前就已形成，但當時人們并沒有找到實現(xiàn)它的方法
2006年，深度學習革命終于在全球打響。這個新時代的序幕依然是由辛頓和學生拉開的。他們在兩篇論文里論證道，深度神經(jīng)網(wǎng)絡具有自主學習的能力。比起人類，深度學習的自編碼器對數(shù)據(jù)有更本質的刻畫，從而有利于可視化和分類。
這一全新的概念經(jīng)歷了此后6年的儲備，終于在2012年點燃全世界。2012年，在華裔科學家李飛飛舉辦的ImageNet圖像識別競賽中，辛頓和學生伊利亞（Ilya Sutskever，前OpenAI首席科學家）和亞歷克斯（Alex Krizhevsky）組成團隊，設計了名為“AlexNet”的卷積深度網(wǎng)絡程序，一舉奪冠。
這次奪冠并非只是拿到冠軍那么簡單。辛頓和學生以全場都沒有用過的方式，取得了顛覆性的勝利。
“快樂和悲傷交織”
后來的故事更為人所知。2012年一舉成名后，辛頓收到了來自百度、谷歌、微軟以及DeepMind等巨頭的千萬美元年薪橄欖枝。他于是聽從律師建議，在美國華達州的哈拉斯賭場，對著爭相而來的科技巨頭，舉行了一場郵件競拍。
最終，他在身價被提高到了4400萬美元時，叫停了拍賣，選擇加入谷歌。
杰弗里·辛頓在谷歌總部外
失敗的百度從此決心向深度學習上儲備人才，先后建立了深度學習研究院和自動駕駛研究院。主導百度參與辛頓競拍的負責人、現(xiàn)地平線創(chuàng)始人余凱回憶：“盡管競拍失敗，但我還是很開心的。我想我的目的也達到了，因為李彥宏親眼見證了國際巨頭不惜花費巨資來投資深度學習研發(fā)，這讓他下定決心自己把深度學習做起來?！?/p>
進入21世紀的第二個十年，大模型、AI視覺、AIGC等多個應用，終于迎來大爆發(fā)。辛頓等到了盼望已久深度神經(jīng)網(wǎng)絡引發(fā)的人工智能浪潮。
這是屬于他引領的時代。
他卻自述過往，認為他的人生與AI浪潮一樣，徘徊在反反復復的起伏里。“我經(jīng)常會告訴大家，我弄清大腦的工作機制了，可過段時間，我又失望地發(fā)現(xiàn)之前的結論是錯誤的?！?/p>
“但事情就應該是這樣發(fā)展的。正如（英國）詩人威廉·布萊克的兩句詩，‘將快樂和憂傷編織，披在我神圣的心上’。”
2023年，離開谷歌的辛頓越來越活躍于媒體之中。他近年因為大模型的熱潮早已榮譽加身，人們喊他教父，對他進行膜拜。連他的很多早期追隨者，如今也成為了科技巨頭。例如學生伊利亞，與奧特曼一起創(chuàng)立OpenAI，是AI浪潮的引領者之一。
看上去，辛頓沒有什么煩惱可言了。
《終結者5》劇照
但他卻表現(xiàn)得越來越憂心忡忡，擔心AI有一天會掌控人類社會。2024年，他在諾貝爾獎頒布的現(xiàn)場連線時說：“我感到愧疚和后悔?！?/p>
“后悔有兩種。一種是因為你做了一些明知不該做的事情而感到內疚；另一種是你做了一些在同樣情況下會再次做的事情，但最終結果可能并不好。我的遺憾是第二種。我擔心這種做法的后果是，比我們更聰明的系統(tǒng)最終會掌控一切?！?/p>