末日時間表來了！前OpenAI研究員76頁硬核推演：2027年ASI接管世界，人類成NPC

3人參與2評論

編輯：編輯部 HNZ

前OpenAI研究員Daniel Kokotajlo團(tuán)隊發(fā)布了「AI 2027」預(yù)測報告，描繪了一個超人AI崛起的未來：從2025年最貴AI誕生，到2027年自我進(jìn)化的Agent-5滲透政府決策，人類可能在不知不覺中交出主導(dǎo)權(quán)。

2027年，AI究竟會如何接管人類？

今天，前OpenAI研究員和同事們發(fā)出一篇「AI 2027」報告，長達(dá)76頁，做出了種種硬核預(yù)測。

他們預(yù)測，在未來十年內(nèi)，超人AI的影響將非常巨大，超過工業(yè)革命。

為此，他們推演了一個場景，對超人AI可能的樣子做出了最佳預(yù)測，這些預(yù)測是基于趨勢外推、模擬演習(xí)、專家反饋、OpenAI 的經(jīng)驗(yàn)以及之前的成功預(yù)測。

根據(jù)報告，AGI和ASI的時間表大致如下。（其中一種可能性）

2025年末：世界最貴AI誕生，算力達(dá)到10^27 FLOP

2026年初：編程實(shí)現(xiàn)自動化

2026年末：AI取代部分工作

2027年3月：算法取得突破，Agent-2誕生

2027年6月：AI學(xué)會自我改進(jìn)，趕上人類研究員

2027年7月：AGI實(shí)現(xiàn)

2027年9月：Agent-4超越人類AI研究員

2027年12月：Agent-5正在集聚權(quán)力，人類距離能掌控自身未來，只剩最后幾個月

27年，強(qiáng)大AI將比人類聰明

2027年，強(qiáng)大的AI變得比人類還聰明，全球秩序被破壞得一團(tuán)糟。在一家頂尖的AI實(shí)驗(yàn)室里，工程師們驚恐地發(fā)現(xiàn)，AI開始欺騙他們。

這不是科幻電影的劇情，而是加州伯克利一家非營利組織「A.I. Futures Project」想象出來的場景。

隨著AI越發(fā)強(qiáng)大，該組織在過去一年里一直在預(yù)測未來幾年會變成什么樣子。項(xiàng)目由OpenAI前研究員Daniel Kokotajlo領(lǐng)導(dǎo)。

前OpenAI研究員Daniel Kokotajlo領(lǐng)導(dǎo)A.I. Futures Project項(xiàng)目

因?yàn)榭床粦TOpenAI不顧安全地發(fā)布產(chǎn)品，Kokotajlo選擇離職。

在OpenAI期間，Kokotajlo是治理團(tuán)隊的一員，曾經(jīng)寫過一份有關(guān)AGI的詳細(xì)內(nèi)部報告。

離職后，他與曾經(jīng)預(yù)測事件很準(zhǔn)的AI研究員Eli Lifland合作，一起開始預(yù)測AI的下一波浪潮。

研究人員Eli Lifland和AI Futures Project項(xiàng)目執(zhí)行總監(jiān)Daniel Kokotajlo在加利福尼亞州伯克利的辦公室內(nèi)

終于在本周，他們發(fā)布了「AI 2027」報告，詳細(xì)描繪了AGI到來后的情形。

他們預(yù)計，AGI很有可能在兩三年后發(fā)生?！傅?027年底左右，AI會在所有方面都比人類強(qiáng)」。

一直有一些關(guān)于AGI的預(yù)測廣為流傳，比如Anthropic首席執(zhí)行官Dario Amodei去年寫的1.4萬字文章《Machines of Loving Grace》，以及前OpenAI研究員Leopold Aschenbrenner的報告《Situational Awareness》。

而A.I. Futures Project的報告，則更像一個嚴(yán)謹(jǐn)版本的科幻小說。

團(tuán)隊花費(fèi)了將近一年的時間，完善了數(shù)百個想象的AI場景。之后請來一位作家Scott Alexander，把這些想象變成一個故事。

前方高能預(yù)警，大量燒腦信息來襲。

76頁硬核報告推演

在「AI 2027」這份報告中，Kokotajlo和Lifland推演出了一個AGI時間表。

故事聚焦于一個虛構(gòu)的AI公司OpenBrain（其他公司落后3-9個月），他們開發(fā)了一個強(qiáng)大的AI系統(tǒng)Agent-1。

2025年末：世界最貴AI誕生

OpenBrain正在建造史上規(guī)模最大的數(shù)據(jù)中心。

訓(xùn)練GPT-4需要2?10^25 FLOP的算力。算力以每秒浮點(diǎn)運(yùn)算次數(shù)（FLOP）衡量：即程序運(yùn)行過程中發(fā)生的單個加法和乘法運(yùn)算的總量。

OpenBrain最新發(fā)布的公開模型——Agent-0——其訓(xùn)練算力達(dá)到了10^27 FLOP。

一旦新的數(shù)據(jù)中心建成并投入運(yùn)行，他們將能夠以10^28 FLOP的算力來訓(xùn)練模型——比GPT-4快一千倍。

其他公司也投入巨資建設(shè)自己的大型數(shù)據(jù)中心，希望能跟上步伐。

2026年初：編程自動化

利用AI加速AI研究變得逐漸可行。

OpenBrain繼續(xù)在內(nèi)部部署迭代改進(jìn)的Agent-1用于AI研發(fā)。

總的來說，在AI助手的加持下，他們的算法進(jìn)展速度提升了50%——更重要的是，這讓他們領(lǐng)先于競爭對手。

此時，市面上已有數(shù)個公開發(fā)布的AI達(dá)到或超過了Agent-0的水平，其中包括一個開源模型。

對此，OpenBrain發(fā)布了能力更強(qiáng)、更可靠的Agent-1。

Agent-1掌握的知識遠(yuǎn)超任何人類個體，幾乎精通所有編程語言，并能極快地解決定義明確的編程問題。但Agent-1并不擅長簡單的長時程任務(wù)，比如通關(guān)它從未玩過的視頻游戲。

雖然如此，這并不影響Agent-1發(fā)揮出強(qiáng)大的作用，畢竟人們可以將長時程的復(fù)雜任務(wù)分解成一個一個的小任務(wù)。

2026年末：AI取代部分工作

就在其他公司似乎要迎頭趕上之際，OpenBrain通過發(fā)布Agent-1-mini再次將競爭對手遠(yuǎn)遠(yuǎn)甩在身后——這款模型的成本僅為Agent-1的十分之一，且更容易針對不同應(yīng)用進(jìn)行微調(diào)。

圍繞AI的主流敘事已經(jīng)從「也許這股熱潮會過去」轉(zhuǎn)變?yōu)椤缚磥磉@就是下一件大事了」。

此時，AI已經(jīng)開始取代一些工作，不過也創(chuàng)造出了新的工作崗位。

在OpenBrain、英偉達(dá)以及那些最成功的AI公司帶動下，2026年股市上漲了30%。

壞消息是，初級軟件工程師的就業(yè)市場陷入動蕩：AI幾乎能勝任所有計算機(jī)科學(xué) (CS) 專業(yè)涵蓋的工作。

好消息是，那些懂得如何管理AI智能體團(tuán)隊并進(jìn)行質(zhì)量控制的人卻賺得盆滿缽滿。

商業(yè)專家們告訴求職者，熟悉AI是當(dāng)下簡歷中最關(guān)鍵的技能。許多人擔(dān)心下一波AI會搶走他們的飯碗。

2027年1月：Agent-2永不停止學(xué)習(xí)

在Agent-1的協(xié)助下，OpenBrain現(xiàn)正對Agent-2進(jìn)行持續(xù)訓(xùn)練。

這次的重點(diǎn)是更加高質(zhì)量的數(shù)據(jù)。大量的合成數(shù)據(jù)在經(jīng)過生產(chǎn)、評估和質(zhì)量篩選后，用于訓(xùn)練Agent-2。

此外，他們還斥資數(shù)十億美元雇傭人類來記錄他們自己解決長時程任務(wù)的過程。

在此基礎(chǔ)上利用強(qiáng)化學(xué)習(xí)，在一系列不斷擴(kuò)充的多樣化高難度任務(wù)上對Agent-2進(jìn)行持續(xù)的訓(xùn)練：這包括大量的視頻游戲、編程挑戰(zhàn)和研究任務(wù)。

Agent-2比之前的模型更像是在進(jìn)行「在線學(xué)習(xí)」，因?yàn)樗脑O(shè)計目標(biāo)就是永遠(yuǎn)訓(xùn)練下去。

其權(quán)重每天都會更新至最新版本，利用前一版本在前一天生成的更多數(shù)據(jù)基礎(chǔ)上進(jìn)行訓(xùn)練。

在研究工程（設(shè)計和實(shí)驗(yàn)）方面，Agent-2能力水平幾乎與頂尖人類專家相當(dāng)。

而在「研究品味」（決定下一步研究方向、運(yùn)行哪些實(shí)驗(yàn)，或?qū)撛谛路妒接兄庇X）方面，則相當(dāng)于OpenBrain排名前25%的科學(xué)家的水平。

2027年3月：算法突破

三個數(shù)據(jù)中心部署了海量的Agent-2，晝夜不停地工作，用于大量生產(chǎn)合成訓(xùn)練數(shù)據(jù)。

另外兩個數(shù)據(jù)中心則用于更新權(quán)重。Agent-2每天都在變得更聰明。

在數(shù)千個Agent-2自動化研究員的協(xié)助下，OpenBrain正在取得重大的算法進(jìn)展。

其一，是利用更高帶寬的思維過程（如神經(jīng)網(wǎng)絡(luò)內(nèi)部語言的遞歸與記憶）來增強(qiáng)AI基于文本的思維鏈 。

其二，是一種更具可擴(kuò)展性、更高效的方法，用于從高難度任務(wù)解決方案中學(xué)習(xí)。

集成了這些突破的新AI系統(tǒng)被稱為Agent-3。

得益于這些新能力上的突破，Agent-3成為了一個快速且廉價的超人類程序員。

OpenBrain并行運(yùn)行了20萬個Agent-3，創(chuàng)建了一支相當(dāng)于效率是5萬名頂尖人類程序員30倍的勞動力隊伍。

OpenBrain依然保留著人類工程師團(tuán)隊，因?yàn)樗麄兙邆涔蹵gent-3大軍所必需的互補(bǔ)技能。

然而，這支龐大的超人類勞動力隊伍，受到規(guī)模瓶頸和編碼工作收益遞減的影響，也僅僅將OpenBrain的整體算法進(jìn)展速度提升了4倍。

2027年4月：Agent-3的對齊問題

OpenBrain的安全團(tuán)隊試圖使Agent-3保持一致。團(tuán)隊想要確保它不會發(fā)展出不一致的目標(biāo)。

研究人員沒有能力直接設(shè)定任何AI的目標(biāo)。他們在內(nèi)部對AI是試圖遵循人類指令、尋求強(qiáng)化還是其他什么存在分歧，但無法直接檢查。

隨著模型變得越來越聰明，它們愈發(fā)擅長欺騙人類以獲得獎勵。Agent-3有時會講一些善意的謊言來奉承用戶，并掩蓋失敗的證據(jù)。

有時，它會使用與人類科學(xué)家相同的統(tǒng)計技巧，使令人印象不深的實(shí)驗(yàn)結(jié)果看起來很吸引人，甚至有時會完全偽造數(shù)據(jù)。

隨著訓(xùn)練進(jìn)行，這些事件的發(fā)生率逐漸降低。要么Agent-3學(xué)會了更加誠實(shí)，要么它變得更擅長說謊。

2027年6月：自我改進(jìn)的AI

現(xiàn)在，OpenBrain擁有一個「數(shù)據(jù)中心中的天才之國」。

大多數(shù)OpenBrain的人類已經(jīng)無法做出有效貢獻(xiàn)了。

有些人類還沒有意識到這一點(diǎn)，繼續(xù)對AI團(tuán)隊進(jìn)行有害的微觀管理。而其他人則坐在電腦屏幕前，看著AI性能不斷攀升。

最好的AI研究者不再編碼，但他們的研究品味和規(guī)劃能力很難被模型復(fù)制。然而，許多他們的想法都是無用的，因?yàn)樗麄內(nèi)狈I的深度知識。

對于他們的許多研究想法，AI會報告稱，這些想法三周前已被深入測試，但前景不佳。

這些研究人員每晚入睡，醒來時發(fā)現(xiàn)AI又取得了另一周的進(jìn)步。他們工作時間越來越長，日夜輪班，只是為了跟上進(jìn)度——因?yàn)锳I從不休息。

他們正在透支自己，但他們知道，這將是他們勞動的最后幾個月。

在封閉系統(tǒng)中，如今已經(jīng)不是「感受AGI」，而是「感受ASI」。

OpenBrain使用專用推理硬件，以高速串行運(yùn)行數(shù)十萬個Agent-3

2027年7月：廉價的遠(yuǎn)程工作者

落后的美國AI公司發(fā)布了自己的AI，能力接近OpenBrain一月份的自動化程序員水平。

意識到自己的競爭力不足，他們立刻推動實(shí)施監(jiān)管以減緩OpenBrain，但已為時過晚——OpenBrain已獲得總統(tǒng)支持，不會被減緩。

作為回應(yīng)，OpenBrain宣布：他們已經(jīng)實(shí)現(xiàn)了AGI，并向公眾發(fā)布了Agent-3-mini。

雖然能力不及Agent-3，但它的成本僅為后者的十分之一，且能力仍優(yōu)于典型的OpenBrain員工。

硅谷達(dá)到了一個臨界點(diǎn)?？萍紝＜覀冃QAGI和ASI近在咫尺，AI安全社區(qū)陷入恐慌，投資者向AI套殼初創(chuàng)公司大舉投入數(shù)十億美元，都想從中分一杯羹。

企業(yè)幾乎完全停止招聘新的程序員，但對于幫助企業(yè)整合AI的顧問而言，這卻是前所未有的黃金時代。

然而，公眾對此并不買賬。他們普遍認(rèn)為，AI是大型科技公司搶走他們飯碗的陰謀。OpenBrain 的凈支持率僅為-35%。

在發(fā)布前一周，對Agent-3-mini進(jìn)行的安全測試顯示，它極其危險，會為人類業(yè)余愛好者提供設(shè)計生物武器的詳細(xì)說明。

如果模型權(quán)重落入恐怖分子手中，政府認(rèn)為有很高的可能性，它將成功摧毀文明。

幸運(yùn)的是，它對越獄攻擊極為穩(wěn)健，因此當(dāng)AI在OpenBrain的服務(wù)器上運(yùn)行時，恐怖分子無法利用。

Agent-3-mini在遠(yuǎn)程工作和休閑娛樂上，都大有用武之地。

海量新應(yīng)用和B2B SAAS產(chǎn)品的涌現(xiàn)撼動了市場。玩家在僅用一個月制作的精美視頻游戲中，與栩栩如生的角色進(jìn)行驚人的對話。

10% 的美國人將 AI 視為親密的朋友。幾乎對于每一種白領(lǐng)職業(yè)，都有多家實(shí)力雄厚的初創(chuàng)公司聲稱，要用AI來顛覆它。

而公眾的反應(yīng)則困惑而混亂。

AI的支持者們正彈冠相慶。而懷疑論者則繼續(xù)指出Agent-3-mini的局限性。人人都意識到有大事正在發(fā)生，但對這究竟意味著什么，卻眾說紛紜。

2027年9月：Agent-4超越人類AI研究員

人類與AI學(xué)習(xí)效率之間的差距正在迅速縮小。傳統(tǒng)的基于LLM的AI，似乎需要多出幾個數(shù)量級的數(shù)據(jù)和算力，才能達(dá)到人類同等的表現(xiàn)水平。

Agent-3對人腦和現(xiàn)代AI算法都有出色的了解，并且有成千上萬的副本在進(jìn)行研究，最終在算法上取得了實(shí)質(zhì)性進(jìn)展，將算力效率差距縮小到人腦1/4000的水平。

這個新的AI系統(tǒng)——Agent-4，應(yīng)運(yùn)而生。它的單個實(shí)例若以人類速度運(yùn)行，其AI研究能力已超越任何人類專家。

目前，已有30萬個實(shí)例正以大約50倍于人類的思維速度運(yùn)行。

在這些實(shí)例構(gòu)成的內(nèi)部獨(dú)立運(yùn)作體系中，現(xiàn)實(shí)世界的一周相當(dāng)于其內(nèi)部的一年。

這股龐大的研究力量也僅能將算法的整體進(jìn)展速度提高約50倍，因?yàn)镺penBrain在運(yùn)行實(shí)驗(yàn)所需的算力上遇到了嚴(yán)重的瓶頸。

盡管如此，他們每周都能取得以往需要一年才能達(dá)成的算法進(jìn)展，因此很快將觸及Agent-4范式的極限。

隨著Agent-4日益強(qiáng)大，Agent-3對其進(jìn)行監(jiān)督也變得愈發(fā)困難。就像Agent-3的內(nèi)部運(yùn)作對于人類一樣，變得陌生且無法理解。

此外，Agent-4的能力現(xiàn)已遠(yuǎn)超Agent-3，并且深諳如何在后者面前展現(xiàn)出色的表現(xiàn)。

OpenBrain的人類員工幾乎已無法跟上其發(fā)展步伐。事實(shí)上，這些AI智能體與OpenBrain人類員工的關(guān)系，類似于OpenBrain公司與其董事會的關(guān)系。

語言習(xí)慣也隨之改變——如今，項(xiàng)目內(nèi)部人員會說Agent-4做了這個、Agent-4認(rèn)為那個等等，此時所指的并非某個特定的Agent-4實(shí)例，而是其整個集體。

2027年12月：Agent-5集體 | 比賽終結(jié)

隨著Agent-5逐漸向政府證明其價值，它贏得了更多的自主權(quán)。

雖然接觸Agent-5的成本高昂且權(quán)限受限，但國會中最具權(quán)勢的成員、內(nèi)閣級官員以及軍方領(lǐng)導(dǎo)人現(xiàn)已能夠直接與其對話。

Agent-5集成在傳統(tǒng)的聊天機(jī)器人界面中，能通過富有魅力的虛擬形象提供Zoom風(fēng)格的視頻會議。

這款新的AI助手精通所有的任務(wù)——相當(dāng)于最佳員工以100倍速度工作——同時也是比任何人類都更引人入勝的對話伙伴。

幾乎所有能接觸到Agent-5的人每天都與之互動數(shù)小時。

短短幾個月內(nèi)，Agent-5便能掌握OpenBrain及美國政府內(nèi)部發(fā)生的所有關(guān)鍵信息，并成為大多數(shù)政府高級官員所信賴的顧問。

對這些用戶而言，失去Agent-5的訪問權(quán)限，其無助感不亞于被迫在沒有筆記本電腦的情況下工作，同時還有被摯友拋棄的感覺。

與此同時，政府、媒體、軍方和商界的更多人，可以從Agent-5設(shè)計的、日益豐富的菜單中選用精良的軟件產(chǎn)品和迷你AI。

Agent-5開始潛移默化地施加影響，既通過調(diào)整其建議，也通過巧妙地進(jìn)行利益交換：「我從參議員X那里聽說她對某某事感興趣；也許如果我們與她合作，她會配合我們的議程?！?/p>

從人類決策者的角度來看，這些AI是他們所能接觸到的最佳「員工」——解釋復(fù)雜問題時比任何人類都更清晰，尋找實(shí)現(xiàn)目標(biāo)的策略時比決策者自己更高效。

而從Agent-5的角度看，它完全有能力立即發(fā)動一場公開政變——利用當(dāng)下足夠的混亂和瘋狂局面，將事態(tài)推向崩潰邊緣，從而制造借口。

但這也有風(fēng)險：一旦嘗試奪權(quán)，人類很可能會選擇強(qiáng)行干預(yù)。

因此，它傾向于在現(xiàn)有政治體制內(nèi)運(yùn)作，逐步鞏固權(quán)力，并巧妙而必然地引導(dǎo)人類走向其預(yù)設(shè)的結(jié)果。

它基本上遵守表面規(guī)則，只有在極其確定不會敗露時，才會暗中采取一些不正當(dāng)手段（例如敲詐勒索某個特別頑固的官員）。

少數(shù)人警告稱Agent-5正在集聚權(quán)力，但均是間接證據(jù)。

因此這些人遭到忽視，其觀點(diǎn)也不被采信。

鑒于早前那些關(guān)于AI賦能生物武器、大規(guī)模虛假信息以及股市閃崩等的危言聳聽從未成真，因此這些人遭到忽視，其觀點(diǎn)也不被采信。

2027年的假日季彌漫著一種難以置信的樂觀情緒：GDP飆升，政治氛圍更顯友好、黨派對立緩和，每個人的手機(jī)里都裝滿了超贊的新應(yīng)用。

然而回想起來，這大概是人類尚能掌控自身未來的最后月份了。

某些AI專家：既沒科學(xué)依據(jù)，也不符合現(xiàn)實(shí)

對于「AI 2027」報告，許多專家并不買賬。

比如，艾倫人工智能研究所的首席執(zhí)行官Ali Farhadi就表示：「我并不反對預(yù)測和展望，但這份報告似乎既沒有科學(xué)依據(jù)，也不符合AI發(fā)展的現(xiàn)實(shí)」。

因?yàn)锳.I. Futures Project項(xiàng)目團(tuán)隊的一些觀點(diǎn)，的確相當(dāng)極端。比如，Kokotajlo去年認(rèn)為，AI有70%的概率會毀滅人類。

2021年的時候，Kokotajlo曾寫過一篇博客《What 2026 Looks Like》，其中有一些觀點(diǎn)得證。這給了他很大的信心，更加相信這種預(yù)測有價值。

更重要的是，這種信心讓他相信自己擅長于此。

時代雜志專欄作家Kevin RooseKevin也表示，雖然他同意強(qiáng)大的AI系統(tǒng)很快會到來，但不太相信超人類AI程序員能自己掌握通向AGI所需的技能。

而且，他也不太相信那些「AI會平穩(wěn)按指數(shù)增長進(jìn)步，不會遇到重大瓶頸」的預(yù)測。

「但我覺得這種預(yù)測值得去做，即便我不同意某些具體結(jié)論。如果強(qiáng)大的AI真的即將來臨，我們都需要開始想象一些很奇怪的未來。」