眼看著 ChatGPT 持續(xù)爆火了幾個(gè)月，期間微軟、谷歌、Meta 等科技巨頭接連入局，如今英特爾也終于官宣“參賽”。
上周末，在德國(guó)漢堡舉行的國(guó)際超級(jí)計(jì)算大會(huì) （ISC） 高性能會(huì)議 （HPC）上，英特爾不僅展示了其在 HPC 和 AI 工作負(fù)載方面的領(lǐng)先性能，還宣布了一項(xiàng)出人意料的計(jì)劃：與阿貢國(guó)家實(shí)驗(yàn)室攜手，用 Aurora 超級(jí)計(jì)算機(jī)開(kāi)發(fā)生成式 AI 模型 Aurora genAI，參數(shù)量將多達(dá) 1 萬(wàn)億！
要知道，ChatGPT 的參數(shù)規(guī)模僅為 1750 億，即 Aurora genAI 模型將比它至少大 5 倍。
（圖片來(lái)自英特爾官網(wǎng)）
01.AI 模型將由 Aurora 超算提供算力
據(jù)了解，英特爾 Aurora genAI 模型將以?xún)蓚€(gè)框架為基礎(chǔ)：NVIDIA 的 Megatron 和微軟的 DeepSpeed。
Megatron：用于分布式訓(xùn)練大規(guī)模語(yǔ)言模型的架構(gòu)，專(zhuān)門(mén)針對(duì) Transformer 進(jìn)行了優(yōu)化，不僅支持傳統(tǒng)分布式訓(xùn)練的數(shù)據(jù)并行，也支持模型并行。
DeepSpeed：專(zhuān)注于優(yōu)化大型深度學(xué)習(xí)模型的訓(xùn)練，通過(guò)提高規(guī)模、速度、成本和可用性，釋放了訓(xùn)練 1000 億參數(shù)模型的能力，極大促進(jìn)大型模型的訓(xùn)練。
除了這兩個(gè)框架，Aurora genAI 模型還將由 Aurora 超級(jí)計(jì)算機(jī)來(lái)提供算力——這臺(tái)英特爾為阿貢國(guó)家實(shí)驗(yàn)室設(shè)計(jì)的超級(jí)計(jì)算機(jī)，在經(jīng)歷了各種推遲后，如今終于成型了。
根據(jù)目前公開(kāi)的資料顯示，Aurora 超級(jí)計(jì)算機(jī)由英特爾 Xeon CPU Max 和 Xeon GPU Max 系列芯片提供支持，總共有 10624 個(gè)節(jié)點(diǎn)，擁有 63744 個(gè) Ponte Vecchio GPU、21248 個(gè) Sapphire Rapids 至強(qiáng) CPU、1024 個(gè)分布式異步對(duì)象存儲(chǔ) （DAOS） 存儲(chǔ)節(jié)點(diǎn)以及 10.9 PB 的 DDR5 傲騰持久內(nèi)存。
此外，英特爾方面還透露了 Aurora 超級(jí)計(jì)算機(jī)的早期性能結(jié)果：“Aurora 超算在科學(xué)和工程工作負(fù)載上具有領(lǐng)先性能，比 AMD MI250 GPU 的性能高 2 倍，在 QMCPACK 量子力學(xué)應(yīng)用上比 H100 提高了 20%，并接近線(xiàn)性擴(kuò)展，可達(dá)到數(shù)百個(gè)節(jié)點(diǎn)。”
值得一提的是，與最初的 1 Exaflop 目標(biāo)相比，預(yù)計(jì) Aurora 超級(jí)計(jì)算機(jī)在今年推出時(shí)，將提供超過(guò) 2 Exaflops 的雙精度浮點(diǎn)計(jì)算性能——比目前多次蟬聯(lián)全球超算 Top500 榜首的 Frontier 超級(jí)計(jì)算機(jī)（1.194 Exaflop/s）還要高。
02.以科學(xué)為重點(diǎn)的生成式 AI 模型
有了算力強(qiáng)悍的 Aurora 超算打底，注定 Aurora genAI 模型的規(guī)模不會(huì)小。據(jù)英特爾官方介紹，阿貢國(guó)家實(shí)驗(yàn)室正在為 Aurora genAI 模型牽頭開(kāi)展國(guó)際合作。
阿貢副實(shí)驗(yàn)室主任 Rick Stevens 表示：“該項(xiàng)目旨在利用 Aurora 超級(jí)計(jì)算機(jī)的全部潛力，以產(chǎn)生一種資源，可用于能源部實(shí)驗(yàn)室的下游科學(xué)，并與其他機(jī)構(gòu)合作?！?/p>
總體而言，Aurora genAI 是一個(gè)以科學(xué)為重點(diǎn)的生成式 AI 模型，因此將在通用文本、代碼、科學(xué)文本以及生物學(xué)、化學(xué)、材料科學(xué)、物理學(xué)、醫(yī)學(xué)等科學(xué)數(shù)據(jù)上進(jìn)行訓(xùn)練。
由此產(chǎn)生的 AI 模型，將具有多達(dá) 1 萬(wàn)億個(gè)參數(shù)，包括從分子和材料的設(shè)計(jì)到數(shù)百萬(wàn)個(gè)來(lái)源的綜合知識(shí)，可用于各種科學(xué)應(yīng)用：系統(tǒng)生物學(xué)、癌癥研究、氣候科學(xué)、宇宙學(xué)研究、高分子化學(xué)與材料等。除了科學(xué)之外，Aurora genAI 模型還可能用于其他領(lǐng)域，如金融建模、自然語(yǔ)言處理、機(jī)器翻譯、圖像識(shí)別和語(yǔ)音識(shí)別等。
03.計(jì)劃 2024 年完成
除此之外，有關(guān) Aurora genAI 模型的更多信息英特爾尚未劇透，不過(guò)據(jù)外媒報(bào)道，英特爾計(jì)劃在 2024 年開(kāi)發(fā)和完成 Aurora genAI 模型——如果進(jìn)展順利，或許我們等待的時(shí)間并不會(huì)太久。
這一消息的發(fā)布，引來(lái)了不少人的關(guān)注，而英特爾入局 AI 大模型即宣布 1 萬(wàn)億參數(shù)起步，更是令人期待未來(lái) GPT-4 等競(jìng)品的發(fā)展：
“萬(wàn)億參數(shù)應(yīng)該是一個(gè)特殊的極限，但你也可以持懷疑態(tài)度，說(shuō)這只是一個(gè)需要關(guān)注的巨大整數(shù)。毫無(wú)疑問(wèn)，如果此模型類(lèi)似于 GPT-4，這將增加一個(gè)數(shù)據(jù)點(diǎn)。但隨著各大公司宣布這個(gè)又宣布那個(gè)，我想知道我們是否會(huì)在 6 月達(dá)到頂峰?！?/p>
“人們正在使用 H100 構(gòu)建新系統(tǒng)，并且已經(jīng)有明顯更好的 AI GPU 了，如果這種情況繼續(xù)下去，NVIDIA 可能需要盡快宣布新卡以保持領(lǐng)先地位?！?/p>
“我猜 GPT-4 很快就不會(huì)在許多基準(zhǔn)測(cè)試中繼續(xù)保持 SOTA（state of the art，指在特定任務(wù)中目前表現(xiàn)最好的方法或模型）了，或許未來(lái)它也將在世界上最快的超級(jí)計(jì)算機(jī)上進(jìn)行訓(xùn)練。作為參考，OpenAI 超級(jí)計(jì)算機(jī)擁有大約 10000 個(gè) GPU，而 Aurora 有 63744 個(gè) GPU。”