新智元報(bào)道
編輯:編輯部 HYZ
【新智元導(dǎo)讀】就在剛剛,噩耗傳來:年僅41歲的谷歌DeepMind天才科學(xué)家Felix Hill英年早逝。他的一篇博客揭露了AI研究者面臨的巨大壓力:幾大公司的競爭,研究方向的迷失,讓他即使積累了大量財(cái)富,內(nèi)心也依然痛苦。AI研究者們悲痛表示,這個(gè)消息令人心碎。
就在剛剛,一個(gè)令人悲傷的消息傳來。
谷歌DeepMind研究科學(xué)家Felix Hill,于2024年12月5日英年早逝,年僅41歲。
自2023年初以來,他一直在與嚴(yán)重的精神疾病作斗爭。期間,他表現(xiàn)出了重度抑郁和嚴(yán)重的自殺傾向,終于還是沒有扛過去。
Felix是一位學(xué)術(shù)成果頗豐的AI學(xué)者,谷歌總引用量為19680,參與創(chuàng)建了自然語言理解基準(zhǔn)GLUE和SuperGLUE。
Felix Hill本科在牛津大學(xué)學(xué)習(xí)數(shù)學(xué),隨后在劍橋大學(xué)拿到了語言學(xué)碩士學(xué)位,和計(jì)算語言學(xué)博士學(xué)位。
畢業(yè)后,他曾有8個(gè)月在高中擔(dān)任數(shù)學(xué)老師,隨后進(jìn)入谷歌DeepMind,當(dāng)了將近8年的AI研究者。
消息傳來,他的AI圈好友無不表示悲痛和難過。
1月11日,F(xiàn)elix的葬禮將于倫敦北部舉行,屆時(shí)將進(jìn)行現(xiàn)場直播。
許多認(rèn)識他的人悲痛地留言說:Felix是一個(gè)很特別的人,超前于這個(gè)時(shí)代。
左右滑動查看
最令人心碎的博客
是什么樣的原因,讓這樣一位成果豐碩的AI學(xué)者的生命逝去?
他生前的一篇博客,揭露了許多細(xì)節(jié)。
他詳細(xì)描述了2023年母親離世后,正在精神病院接受治療的自己癥狀更嚴(yán)重了。接下來的12個(gè)月內(nèi),他更是陷入極度焦慮和自殺的抑郁狀態(tài)。
他也寫道,自己當(dāng)初投身AI研究并不是為了賺錢,但AI大爆發(fā)后,自己仿佛被迫進(jìn)入「戰(zhàn)爭」?fàn)顟B(tài),寫論文、搞研究、創(chuàng)業(yè),都令人壓力重重,找不到出路。
即使積累了大量財(cái)富,自己也依然出了問題。
文章地址:https://medium.com/@felixhill/200bn-weights-of-responsibility-da85a44a2c5e
英偉達(dá)高級研究者Jim Fan讀完悲痛地表示:這是我讀過最令人心碎的博客,因?yàn)樗绱苏鎸?shí),如此貼近內(nèi)心。
Jim Fan表示,AI不應(yīng)該是200B權(quán)重的壓力和痛苦。
曾經(jīng),這是一個(gè)充滿咖啡因帶來的靈光乍現(xiàn)的地方,是令人興奮的深夜arxiv探索之旅,是能讓研究者臉上露出笑容的絕妙想法。但所有涌入的資本和關(guān)注,似乎正在迫使每個(gè)人競相逐底。
黃仁勛經(jīng)常對員工們強(qiáng)調(diào),不要用「打敗這個(gè),碾壓那個(gè)」的措辭。因?yàn)榇蠹业哪康氖菫榱颂嵘麄€(gè)生態(tài),而不是讓任何人陷入深淵。AI學(xué)者的工作是做大蛋糕,越大越好,然后再分配。
AI不是零和博弈,事實(shí)上,它可能是人類有史以來擁有的最正和的博弈。大家應(yīng)該做的,是向競爭對手傳遞愛意。
Jim Fan寫道,雖然并未有幸在現(xiàn)實(shí)生活中認(rèn)識Felix,但自己很喜歡他的研究品味,為他的每一篇新論文都設(shè)置了Google Scholar提醒。他在AI智能體和VLM方面的工作也對自己影響很深。
「他本應(yīng)該成為一個(gè)很好的朋友。我想認(rèn)識他,但現(xiàn)在已經(jīng)不可能了?!?/p>
「安息吧,F(xiàn)elix。愿來世你不需要去戰(zhàn)斗。」
2000億權(quán)重的責(zé)任:現(xiàn)代AI工作中的壓力
下面這篇博客中,F(xiàn)elix詳細(xì)回顧了AI爆火的幾年,給自己的生活帶來的劇變——
過去兩年,AI領(lǐng)域發(fā)生了不可逆轉(zhuǎn)的變化。
ChatGPT的月活數(shù)接近2億人。Gemini在2024年5月的訪問量接近3.2億次,AI愛好者現(xiàn)在可以使用AI微波爐、AI牙刷,甚至AI足球。
然而,對于我們這些在AI領(lǐng)域工作的人來說,這種大眾興趣的激增既是福也是禍。
誠然,薪資水平上漲了,股價(jià)和市值也隨之提高。但另一方面,這種變化也帶來了獨(dú)特的壓力。
這篇博客講述的是現(xiàn)代AI領(lǐng)域的壓力。它面向所有在AI領(lǐng)域工作的人(按保守估計(jì),現(xiàn)在全球人口中大約有87%的人在從事AI相關(guān)工作),特別是那些從事AI研究的人。
最終,我希望通過討論AI研究中的壓力源,讓我們這些有幸在該領(lǐng)域工作的人生活得更快樂一些。
因?yàn)?,盡管目前一片混亂,這仍然是一個(gè)美妙而充實(shí)的職業(yè)——它有潛力解決科學(xué)、哲學(xué)乃至人類本身的諸多重大問題。
無處可逃
幾個(gè)月前,我參加了一個(gè)朋友的40歲生日派對。在那些我不太熟悉的人中,我注意到一個(gè)奇怪的現(xiàn)象。
盡管我那時(shí)身體不適,而且明顯不太想講話,但我周圍還是形成了一個(gè)包圍圈,原因僅僅是,大家知道我在DeepMind上班。
而且,他們想聊的不是足球或80年代音樂,恰恰是我最想避免思考的主題——AI。
雖然很感激這么多人對我的工作感興趣,但這也提醒我過去兩年發(fā)生了多大的變化。
銀行家、律師、醫(yī)生和管理顧問都想聽聽我對ChatGPT的看法;雖然很少有人聲稱在工作中直接使用了LLM,但他們確信,AI領(lǐng)域正在發(fā)生一些他們應(yīng)該了解的事情。
作為一名研究人員,我相信你也能體會到這種在社交場合無法放松的感覺。
但情況更糟。就連在自己家里,我也找不到安寧。
我早已不再看新聞,因?yàn)楹ε乱l(fā)焦慮。但即使是在看足球、VH1、蒙塔爾巴諾探長,或者那部出色的《那不勒斯四部曲》改編劇時(shí),廣告中也充斥著與AI相關(guān)的內(nèi)容。
在這段時(shí)間,我時(shí)?;孟胫帐靶欣?,跨越大洲去加入一個(gè)隱居群體。但很可能連內(nèi)觀禪修(Vipassana)也被AI滲透了,這不會讓我驚訝。
無形的競爭
幾家大公司競相開發(fā)最大、最好的LLM,這一事實(shí)本身就令人壓力重重——無論你為哪家公司工作。
現(xiàn)在從事AI研究,感覺就像參與一場戰(zhàn)爭。希特勒和達(dá)奇·舒爾茨的例子告訴我們,參戰(zhàn)可能導(dǎo)致精神病態(tài)、離婚和自殺等嚴(yán)重后果。
當(dāng)然,我并不是要把參與AI研究等同于參與真實(shí)戰(zhàn)爭,但我的親身經(jīng)歷卻表明,這種類比是很真實(shí)的。
關(guān)乎底線的工作
通常,業(yè)界的研究人員并不習(xí)慣于自己的工作對雇主的底線產(chǎn)生直接且即時(shí)的影響。
當(dāng)然,許多研究人員都夢想能夠產(chǎn)生這樣的影響。只是以前,這種機(jī)會可能是十年難遇。
如今,對LLM基礎(chǔ)研究的結(jié)果,往往只會對模型性能產(chǎn)生微小、短期的波動。然而,由于公司估值與LLM性能(難以分割地?)掛鉤,這些波動可能導(dǎo)致股價(jià)出現(xiàn)數(shù)十億美元的起伏。
這種動態(tài)令人倍感壓力,而且這也不是AI研究人員在研究生階段、博士后期間,甚至在2022年之前的工作中所能預(yù)料到的。
錢,
錢,還是錢
大多數(shù)AI研究人員,尤其是我們這些超過某個(gè)年齡的人,當(dāng)初投身研究并不是為了賺錢。
做自己熱愛的工作還能獲得豐厚報(bào)酬聽起來是個(gè)完美方案,但這也可能引發(fā)強(qiáng)烈的焦慮。特別是當(dāng)推動你收入增長的外部因素不在你的控制范圍內(nèi),且/或者這些因素讓你對工作的熱愛程度大不如前時(shí)。
無論AI是否與此有關(guān),突然積累財(cái)富可能會導(dǎo)致各種問題,看看那些經(jīng)過多年努力終于成名的演員或歌手就知道了。成癮、感情破裂、友誼破碎,甚至自殺只是一些較為常見的癥狀。
這些癥狀,我確實(shí)都感同身受。
科學(xué)家角色缺失
LLM的規(guī)模、簡單性和有效性使得做出「相關(guān)」的「科學(xué)研究」變得困難,這里的相關(guān)指的是能立即改進(jìn)LLM。
領(lǐng)先的LLM研究人員已經(jīng)開始認(rèn)同Rich Sutton的「苦澀教訓(xùn)」:除了規(guī)模之外,幾乎不需要任何創(chuàng)新。
而且,即使理論上可能存在實(shí)質(zhì)性創(chuàng)新,實(shí)現(xiàn)它往往需要在不同條件下反復(fù)訓(xùn)練最大規(guī)模的LLM。這甚至連最大的公司都負(fù)擔(dān)不起。
對于一個(gè)「普通」的研究科學(xué)家來說,這感覺簡直令人絕望。
對于習(xí)慣于在5至10人的小團(tuán)隊(duì)中工作的工業(yè)界科學(xué)家來說,這些已經(jīng)很艱難。但學(xué)術(shù)界的人所遭遇的無疑更加嚴(yán)峻,比如那些博士生、博士后和AI/CS/機(jī)器學(xué)習(xí)領(lǐng)域的教職人員。
發(fā)表論文
雖然學(xué)術(shù)界的人可以(也應(yīng)該)繼續(xù)發(fā)表從LLM實(shí)驗(yàn)中獲得的見解,但對于工業(yè)界的科學(xué)家來說,發(fā)表論文的問題就沒那么明確了。
發(fā)表論文一直是科學(xué)過程的內(nèi)在組成部分,也一直是AI研究的核心原則。我接觸過的大多數(shù)AI研究人員,特別是研究科學(xué)家,都同意我的觀點(diǎn):發(fā)表論文是我們職業(yè)生涯的關(guān)鍵。
但是,至少在工業(yè)界,過去2年來,研究成果是否能夠發(fā)表的問題變得越來越不明確。能夠改進(jìn)LLM的小技巧可能等同于LLM之戰(zhàn)中的關(guān)鍵武器。將這些秘密公開是否對資助研究的組織有利,這始終是一個(gè)需要深思熟慮的問題。
這一切都意味著,研究人員經(jīng)常對自己想法的前途毫無把握,至少,這會對我造成巨大的壓力。
創(chuàng)業(yè)公司
當(dāng)然,擺脫這些困擾的一個(gè)可行出路,就是規(guī)劃科研方向,籌集資金并成立創(chuàng)業(yè)公司。事實(shí)上,目前AI創(chuàng)業(yè)公司(無論大?。┑募ぴ霰砻饔卸嗌倏茖W(xué)家選擇了這條路。
但成為創(chuàng)始人并不能必然地規(guī)避相關(guān)壓力。
眾所周知,創(chuàng)業(yè)的壓力也很大;即使在當(dāng)前投資者熱情高漲的情況下,許多資金充足的AI創(chuàng)業(yè)公司仍然失敗了。
我知道,成為創(chuàng)始人是一段特別孤獨(dú)的旅程。這無疑是當(dāng)下雄心勃勃的科學(xué)家們的一個(gè)可行選擇,但這既不會讓做研究變得容易,也不會減輕壓力。
為什么要寫關(guān)于壓力的博客
過去兩年在AI領(lǐng)域可謂混亂而瘋狂,而對我個(gè)人而言,這更是一段特別動蕩的時(shí)期。
2023年4月,我的母親在與阿爾茨海默癥長期抗?fàn)幒箅x世。那時(shí)的我正在精神病院接受治療,因?yàn)槌霈F(xiàn)了嚴(yán)重的精神癥狀,其中壓力很可能是重要誘因。
在接下來的12個(gè)月里,表面上我是在康復(fù)中,但實(shí)際上卻陷入了極度焦慮和自殺傾向的抑郁狀態(tài)。
所幸在這期間,我遇到了非常理解我的處境(以及認(rèn)可我對公司的價(jià)值)的雇主,他們一直為我提供治療和精神上的支持。
經(jīng)過另外6個(gè)月的重度抑郁之后,我的狀況開始好轉(zhuǎn),最近也感覺自己有能力寫下這些經(jīng)歷。
我深刻地認(rèn)識到壓力和焦慮是密不可分的;事實(shí)上,它們本質(zhì)上可能是同一件事。誠然,像任何適應(yīng)性特征一樣,焦慮有時(shí)也能帶來積極影響(比如提高生產(chǎn)力),但一旦焦慮變得失控,后果可能相當(dāng)嚴(yán)重。
正是在嘗試重新學(xué)習(xí)如何成為一名AI研究員的過程中,回顧AI領(lǐng)域這兩年的發(fā)展,讓我獲得了這篇博客中所分享的見解。
誠然,僅僅分享這些見解并不能從根本上解決問題,但在最艱難的時(shí)期,能給我?guī)硐M纳贁?shù)事情之一就是意識到我并不是一個(gè)人在戰(zhàn)斗。
如果你現(xiàn)在也在經(jīng)歷類似的困擾,請記住——你并不孤單。
社交焦慮
我已經(jīng)討論了當(dāng)前從事AI研究的人可能遭受的諸多壓力或焦慮的誘因。
然而,還有一種壓力我尚未提及,這是因?yàn)槲液苄疫\(yùn)從未親身經(jīng)歷過。我對它的了解,完全來自于與朋友和同事的深入交談。
這種壓力就是社交焦慮。
據(jù)朋友們反映,那些有社交焦慮的人往往會覺得群體互動充滿挑戰(zhàn)。在現(xiàn)代AI領(lǐng)域,這是一個(gè)格外嚴(yán)峻的挑戰(zhàn),因?yàn)榇笮晚?xiàng)目團(tuán)隊(duì)和大規(guī)模的(通常是跨洲際的)協(xié)作已成為必需。
目前行業(yè)中的高流動率更是雪上加霜,因?yàn)橐呀⒌膱F(tuán)隊(duì)(通常作為社交「安全網(wǎng)」)可能在一夜之間解散瓦解。
人員流動還可能引發(fā)信任危機(jī),因?yàn)樵?jīng)可靠的伙伴可能會轉(zhuǎn)投競爭對手的研究團(tuán)隊(duì)。
值得欣慰的是,社交焦慮和我此前討論過的所有焦慮或壓力表現(xiàn)一樣,都是可以克服的。克服的第一步是培養(yǎng)以家人和「非AI圈」朋友為主的自然支持系統(tǒng)。
而關(guān)鍵的第二步,則是我們所有從事AI工作的人,都要開始并持續(xù)保持關(guān)于壓力的坦誠對話。
因此,誠摯邀請你在社交媒體上分享自己的經(jīng)歷和感受。讓我們攜手努力,不僅將AI研究打造成一個(gè)充滿活力和智力挑戰(zhàn)的領(lǐng)域,更要使其成為一個(gè)充滿同理心和善意的溫暖家園。
AI大佬發(fā)長文緬懷
Contextual AI首席執(zhí)行官Douwe Kiela發(fā)文表示,我真的很難過,我親愛的朋友Felix Hill離開了我們。他在世界各地有很多朋友和同事。為了讓更多人知道,他的家人希望我們分享這個(gè)網(wǎng)頁,一起紀(jì)念他的一生:
EPFL教授,前DeepMind研究科學(xué)家Caglar Gulcehre表示,聽到Felix離開我們的消息,真是令人心碎!
他回憶道,「我第一次見到Felix是在蒙特利爾讀博二的時(shí)候。那時(shí)候,我正經(jīng)歷抑郁癥,頭兩年的生活很難熬。我搬到一個(gè)新國家,再加上冰天雪地的天氣,讓我感到特別不適應(yīng)。
Felix總是充滿活力,樂觀開朗。但有時(shí)候,你很難知道別人生活中正在經(jīng)歷什么。所以,對他人多一份理解,不要輕易下結(jié)論很重要?;蛟S他們可能正經(jīng)歷著不為人知的困境??上У氖牵芏嗳巳匀坏凸懒诵睦斫】档闹匾?。
尋求幫助并不是軟弱的表現(xiàn)。剛到DeepMind工作的頭兩年,我的父親突發(fā)心臟病,后來還失明了;我的姐姐也被診斷出癌癥。那時(shí)候,我又搬到了另一個(gè)國家。如果不是尋求了專業(yè)幫助,我不知道自己該如何應(yīng)對這一切。
無論何時(shí)需要幫助,都要勇敢去尋求。我很感激身邊有許多支持我的人,在困難時(shí)期給予了我很大的幫助。如果心理狀態(tài)不佳,很難在工作上取得成功。向Felix家人致以深切的慰問」。
DeepMind研究科學(xué)家Andrew Lampinen發(fā)文懷念其這位曾經(jīng)指導(dǎo)過自己的導(dǎo)師——
Felix Hill是一位非常出色的導(dǎo)師——偶爾也是我的冬泳伙伴。我能加入DeepMind,以及形成如今做研究的方式,很大程度上都要?dú)w功于他。都過去一個(gè)月了,我還是覺得難以相信他已經(jīng)離開了。
Felix在選擇研究方向上有著超強(qiáng)的眼光,而且直覺特別準(zhǔn)。每當(dāng)遇到新想法,他總會表現(xiàn)出孩子般的熱情和好奇心,還特別幽默,能夠與他一起工作真的讓人備受啟發(fā)。
他也特別看重跟他共事的每個(gè)人。在我剛到DeepMind的時(shí)候,他和Jane Wang一起把一群超棒的人聚在了一起,比如Stephanie Chan、Aaditya Singh、Allison Tam,還有其他很多朋友和合作伙伴。
不過他也經(jīng)歷過一段艱難時(shí)期,尤其是最近這幾年。我最后一次和他聊天是在他離世前大概一個(gè)月,那時(shí)他跟我分享了一個(gè)雄心勃勃又有點(diǎn)瘋狂的項(xiàng)目想法,讓我仿佛看到了他當(dāng)年的影子。但那會兒我太忙了,一直沒有再跟進(jìn),直到現(xiàn)在為時(shí)已晚,至今這件事讓我特別后悔。
紐約大學(xué)計(jì)算機(jī)科學(xué)和數(shù)據(jù)科學(xué)教授Kyunghyun Cho更是寫了一篇長文緬懷逝者——「再見了,F(xiàn)elix」。
文章地址:https://kyunghyuncho.me/bye-felix/
這段文字寫于2024年12月9日,但當(dāng)時(shí)我既不愿意也無法接受所發(fā)生的事實(shí),所以一直沒有勇氣發(fā)布。即便到現(xiàn)在,每當(dāng)想起這件事,我的心仍然隱隱作痛。我選擇在2024年的最后一天發(fā)布這段文字,以此緬懷Felix。
時(shí)間回溯到2014年初夏。我當(dāng)時(shí)在蒙特利爾大學(xué)擔(dān)任Yoshua Bengio教授的博士后研究員,而Felix是一位剛剛抵達(dá)蒙特利爾的訪問學(xué)生。
那時(shí),我正在致力于開發(fā)一個(gè)能夠處理長句子的神經(jīng)機(jī)器翻譯系統(tǒng)(Neural Machine Translation,NMT),為此我嘗試了所有能想到的方法(注意力機(jī)制當(dāng)時(shí)并不在其中,直到同年夏天Dima Bahdanau作為實(shí)習(xí)生來到蒙特利爾才有了突破)。
在這些探索性嘗試中,我構(gòu)思了使用門控卷積編碼器(Gated Convolutional Encoder)來替代基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的編碼器。通過對門控機(jī)制施加適當(dāng)?shù)募s束,我成功訓(xùn)練出了這個(gè)模型,并使其具備了一定的可解釋性。
當(dāng)Felix來到我的辦公桌前,以語言學(xué)家和計(jì)算機(jī)科學(xué)家的身份做自我介紹時(shí),我很興奮地想要向他展示這個(gè)新模型所揭示的可解釋結(jié)構(gòu)。
于是我向他展示了:
Felix以極其篤定的語氣對我說,「Kyunghyun,語法并不重要」。這大概是我聽過非韓國人中最標(biāo)準(zhǔn)的名字發(fā)音。
那一刻我就預(yù)感到,F(xiàn)elix一定會成為我最好的朋友之一——事實(shí)證明,從那時(shí)起直到現(xiàn)在確實(shí)如此)。而他說的這句話,也在往后幾年里頻頻出現(xiàn)在我的學(xué)術(shù)演講slides中。
在我們共度的那些愉快時(shí)光中,除了進(jìn)行深入?yún)s不失趣味的哲學(xué)探討,我們也開展了一些研究合作。
除了共同發(fā)現(xiàn)的諸多有趣成果外,我們最具標(biāo)志性的「貢獻(xiàn)」反而是一個(gè)相當(dāng)特別的現(xiàn)象:從2016年開始,我們無意中引領(lǐng)了一股持續(xù)3-5年的潮流,就是人人都仿佛著了魔似的要在論文中塞入一個(gè)裝滿海量數(shù)字的「超級大表格」(The Really Enormous Table)。
當(dāng)時(shí)我們在寫「Learning distributed representations of sentences from unlabelled data」這篇論文時(shí),完全沒想那么多,但最終還是放入了兩個(gè)巨大的數(shù)據(jù)表格:
2018年初,F(xiàn)elix在ICLR的論文集中發(fā)現(xiàn)了好幾篇包含「超級大表格」的論文,這讓我們不禁啞然失笑。
即使在嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)研究中,我們依然保持著這種愉快的合作方式。
時(shí)光飛逝,將近十年后,F(xiàn)elix作為2023年拉美人工智能會議Khipu的組織者之一,邀請我擔(dān)任演講嘉賓。他興致勃勃地向我描繪我們將要進(jìn)行的活動:觀看足球比賽,游覽布宜諾斯艾利斯等等。
然而,當(dāng)我在2023年3月抵達(dá)蒙得維的亞參加Khipu時(shí),卻發(fā)現(xiàn)Felix并未到場。其他組織者告訴我,他因?yàn)榻】祮栴}無法前來。那時(shí)的我還不曾想到,這竟是我最后一次有機(jī)會與他相見。
Felix在2023年第二屆Khipu上未領(lǐng)取的參會證件
2024年6月,經(jīng)過漫長歲月,我終于有機(jī)會造訪倫敦,便給Felix發(fā)消息約他共進(jìn)午餐。盡管我清楚見面的可能性渺茫,但我真的非常期待能與他相聚、暢談,一起消磨時(shí)光。
我們上次見面還是在疫情之前,之后就只能靠偶爾的遠(yuǎn)程視頻聯(lián)系。我也暗自期待能看到他康復(fù)的喜人變化。
幾個(gè)月后(2024年8月),F(xiàn)elix回復(fù)了消息,并為遲復(fù)致歉,這實(shí)在讓人心疼。他還附上了一張我們的合影(不是AI生成的,但是Felix「生成」的),喚起了我們上次在倫敦相聚的美好回憶。
左圖:這是一張由Felix本人「生成」的與我的合影;右圖:這是一張真實(shí)拍攝的Felix與我的合影
上周五,我收到了Douwe發(fā)來的WhatsApp消息。正是由于Felix在2014年的引薦,我才認(rèn)識了Douwe,并與他建立了深厚的友誼。我立即嘗試聯(lián)系Felix,但不管是WhatsApp還是手機(jī),都已經(jīng)無法接通。
Felix,愿你現(xiàn)在已不再痛苦,在天國與母親團(tuán)聚。