彼時的 Meta 遭遇了蘋果調(diào)整隱私策略和元宇宙預(yù)冷的雙重打擊，股價一度跌至近 6 年來的谷底，比 2021 年的最高價位縮水了三分之二有多。
但出乎意料的是，Meta 恢復(fù)的速度比跌倒還要快。
2023 年 Meta 做出了大量調(diào)整，包括裁員和削減項目收縮成本、押注短視頻應(yīng)用 Reels，以及加大 AI 技術(shù)的投資，利用 AI 來改進(jìn)廣告模型投放等等。
其中，AI 在 Meta「蘇醒」的歷程中扮演了非常重要的角色。今年以來 Meta 在 AI 領(lǐng)域持續(xù)發(fā)力，不斷地開源自家的 AI 研究成果，從技術(shù)層面來看并不弱于 OpenAI 和 Google 等明星 AI 公司。
就在今天，Meta 發(fā)布了開源大模型 Llama 2，引爆了 AI 圈：Llama 2 不僅性能不輸 GPT-3，而且免費(fèi)、開源，還可商用！
什么是 Llama 2？
Llama 2 是 Meta 今年 3 月初發(fā)布的 Llama 模型的后續(xù)版本，Llama 因為體積小、性能強(qiáng)等優(yōu)點(diǎn)，在 AI 社區(qū)得到了廣泛的好評，被認(rèn)為是推動 AI 研究和開發(fā)的重要工具。
Meta AI 今天一同發(fā)布了大型語言模型 Llama 2 及其調(diào)優(yōu)版本 Llama 2-Chat，相比 Llama 1，新版Llama 2 在模型規(guī)模、訓(xùn)練數(shù)據(jù)量、模型結(jié)構(gòu)等多個方面進(jìn)行了全面提升。
Llama 2 家族包含多個模型規(guī)模，包括 70 億、130 億、340 億（暫未發(fā)布）和 70 億參數(shù)量的多個版本，覆蓋了不同的應(yīng)用場景需求。
此次Meta首先開源發(fā)布了 7 億和 13 億參數(shù)的 Llama 2 及對應(yīng)的聊天機(jī)器人條有版本 Llama 2-Chat。
與 Llama 1 相比，Llama 2 在三個方面進(jìn)行了重要的改進(jìn):
首先，訓(xùn)練數(shù)據(jù)量增加了 40%，從 Llama 1 的 1.4 萬億個 token 增至 2 萬億個 token。訓(xùn)練數(shù)據(jù)中的文本來源更多樣化，包括書籍、論文、新聞報道、網(wǎng)頁內(nèi)容等在線公開來源。
Llama 2 還將單條文本的最大長度從 2048 個 token 提升至 4096 個 token，更長的文本輸入意味著可以包含更多上下文信息，提升模型的理解能力。
Llama 2 在更大模型的版本中采用了「分組 Attention」機(jī)制，可以顯著降低計算和內(nèi)存需求，提升推理速度。
除了規(guī)模和結(jié)構(gòu)的改進(jìn)，Llama 2 在多個自然語言處理基準(zhǔn)測試上的結(jié)果也優(yōu)于 Llama 1 和其他開源大模型，顯示出在知識表達(dá)、推理、對話等能力上的提升。
除了純預(yù)訓(xùn)練模型，調(diào)優(yōu)對話型模型對結(jié)果的質(zhì)量也很重要。
Meta 研究人員開發(fā)了全新的調(diào)優(yōu)方案，通過監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)相結(jié)合的方式不斷提升 Llama 2-Chat 的性能。
舉個例子，Llama 2-Chat 的理解能力和表達(dá)能力都上了一個臺階，現(xiàn)在可以只用 Emoji 和你聊天，
這是怎么做到的呢？Meta 的研究人員先利用人工標(biāo)注數(shù)據(jù)進(jìn)行監(jiān)督微調(diào)，使模型初步符合人類偏好，兼顧有用性和安全性，為后續(xù)的強(qiáng)化學(xué)習(xí)奠定了良好基礎(chǔ)。
然后，利用強(qiáng)化學(xué)習(xí)中的「拒絕采樣」策略進(jìn)行迭代調(diào)優(yōu)。該策略為每個輸入文本生成多個響應(yīng)，利用訓(xùn)練好的「獎勵模型」選擇最佳響應(yīng)，再利用選擇后的響應(yīng)樣本微調(diào)模型。
研究人員收集了超過 100 萬條人類偏好比較數(shù)據(jù)來訓(xùn)練獎勵模型。
在此過程中，安全性和有用性作為兩個獨(dú)立的獎勵模型進(jìn)行訓(xùn)練和評估。
安全性獎勵模型可以識別風(fēng)險更高的輸入并給出更低的分?jǐn)?shù)，有助于降低模型生成有害內(nèi)容的風(fēng)險。
簡單來說，Llama 2 的性能和安全性在開源大模型里面都是首屈一指的存在，更詳細(xì)的技術(shù)細(xì)節(jié)可以參考 Meta 公布的技術(shù)論文。
目前 Meta 已 GitHub 上開源了 Llama 2 預(yù)訓(xùn)練模型的代碼和參數(shù)，允許研究人員進(jìn)行探索。Meta 還開放了 Llama 2 的商業(yè)使用許可（但月活量超過 7 億的產(chǎn)品需要另外申請商用），相信很快將會有一批基于 Llama 2 的大模型產(chǎn)品涌現(xiàn)出來。
Meta + Microsoft = M&M's ?
在今天的微軟 Inspire 合作伙伴大會上，微軟 CEO 薩蒂亞·納德拉 （Satya Nadella）還宣布了 Meta 與微軟合作的消息，這項合作讓 Llama 2 可以運(yùn)行在微軟的云服務(wù) Microsoft Azure。
Meta 則表示，微軟是 Llama 2 的首選合作伙伴，未來兩者會通過深度合作，以增加對基礎(chǔ)人工智能技術(shù)的普及，從而讓全球的企業(yè)受益。
部分合作伙伴
而除微軟以外，Meta 同時還和亞馬遜 AWS、Hugging Face 兩家云服務(wù)供應(yīng)商達(dá)成合作，在他們的平臺上托管 Llama 2 的運(yùn)行。
值得一提的是，盡管 Meta 宣稱 Llama 2 模型是開源且免費(fèi)商用的大語言模型，但通過 Azure 等云服務(wù)方式使用 Llama 2 是否需要收取費(fèi)用則尚未清楚。
供應(yīng)商之一的亞馬遜發(fā)言人告訴彭博社，Amazon 不會收取訪問該模型的費(fèi)用，但客戶需要為使用開發(fā)工具包支付費(fèi)用。Meta 對此還沒做出回應(yīng)。
在微軟官方博客中，微軟表示 Llama 2 已經(jīng)針對 Windows 進(jìn)行優(yōu)化，使其可以在 Windows 本地運(yùn)行。
這一舉措，有可能會讓 Windows 一舉成為開發(fā)者打造個性化 AI 體驗需求的最佳平臺，同時讓 AI 能夠用于 Linux 的 Windows 子系統(tǒng) (WSL)、Windows 終端、Microsoft Visual Studio 和 VS Code 等平臺上。
也就是說，Meta 推出的 Llama 2 大語言模型可能會成為 OpenAI 的主要競爭者。
但同一時間，微軟持有 OpenAI 49% 的股份，OpenAI 也依賴 Azure 來提供大量算力以支撐其人工智能模型的運(yùn)營，甚至 ChatGPT 目前聯(lián)網(wǎng)搜索的插件也是接入必應(yīng)的搜索引擎。
此前讓不溫不火的必應(yīng)訪問量暴增的 New Bing 也是依靠 GPT-4 技術(shù)來開發(fā)。可以說，微軟在人工智能領(lǐng)域與 OpenAI 已經(jīng)有深入的合作。
也有評論認(rèn)為，兩者或許存在競爭關(guān)系，但不影響微軟兩邊同時押注。閉源領(lǐng)域依靠 OpenAI 實現(xiàn) 2C 業(yè)務(wù)，進(jìn)行商業(yè)化。開源領(lǐng)域與 Meta 合作，建立生態(tài)的同時還能威脅到其他的閉源大語言模型。
Meta 生成式人工智能團(tuán)隊副總裁艾哈邁德·阿爾·達(dá)勒 (Ahmad Al Dahle) 表示，微軟與 OpenAI 的合作與 Meta 沒有關(guān)系。
Meta 與微軟更進(jìn)一步的合作并不讓人意外。在 Meta 去年專注于開發(fā)「元宇宙」時，Meta 就曾與微軟攜手把 Office 、Microsoft Teams 等效率工具兼容到 Quest 設(shè)備中。
微軟同時押注 Meta 和 OpenAI，或許是想要同時在開源和閉源領(lǐng)域廣撒網(wǎng)，不錯過每一種可能性。
Meta Llama 2 也探討了在移動終端，特別是智能手機(jī)領(lǐng)域，本地運(yùn)營的可能性。
高通在一份新聞稿中表示，高通正在和 Meta 合作優(yōu)化 Meta Llama 2 大語言模型直接在終端側(cè)的執(zhí)行。
高通計劃在 2024 年起，在搭載驍龍平臺的旗艦智能手機(jī)和 PC 上支持基于 Llama 2 的 AI 部署，賦能開發(fā)者使用驍龍平臺的 AI 能力。
未來 Llama 2 將可能搭載在 VR 頭顯、汽車座艙、物聯(lián)網(wǎng)終端等領(lǐng)域。高通認(rèn)為，終端側(cè)的 AI 部署能顯著降低開發(fā)成本，提升用戶隱私保護(hù)、滿足用戶的安全偏好，增強(qiáng)應(yīng)用可靠性以及實現(xiàn)個性化的服務(wù)。
也許到明年的這個時候，你正在用著的驍龍芯片手機(jī)正在運(yùn)行 Llama 2 模型為你解決問題也說不定呢。