作者 | 董道力
“寫遺囑的時(shí)候錯(cuò)過了deadline怎么辦？”
“懷念過去是不是在時(shí)間的長(zhǎng)河里刻舟求劍？”
“英語聽力考試總是聽到兩個(gè)人在廣播里嘮嗑，怎么把那兩個(gè)干擾我做題的人趕走？”
以上這些飽含哲學(xué)但好像又莫名其妙的問題，出自百度貼吧弱智吧2023年年度精選，看似毫無邏輯但仔細(xì)一想好像確實(shí)又有點(diǎn)道理。
就像天才吧里沒有天才，弱智吧也不收真弱智。
然后，他就成為了訓(xùn)練AI中文能力的最佳素材。
前幾天硅基君看到一篇中科院牽頭的論文，簡(jiǎn)單來說就是精選了一些中文互聯(lián)網(wǎng)的語料庫喂給各種零一萬物的Yi大模型，讓它們更加熟悉中文語境的互動(dòng)。
經(jīng)常網(wǎng)上沖浪的朋友們應(yīng)該都知道，中文互聯(lián)網(wǎng)博大精深，豆瓣、小紅書、微博、貼吧、知乎等等早就各自有一套獨(dú)特的語言習(xí)慣，這些語料庫的素材也就截然不同，訓(xùn)練出來的模型能力也就有所差距。
最終，在GPT4的打分下，弱智吧訓(xùn)練出來的模型奪冠。
具體來看，在6B小模型上，弱智吧訓(xùn)練出來的模型在開放問答、分類、封閉問答和編程能力上較為突出。
而轉(zhuǎn)戰(zhàn)到34B大模型上，弱智吧訓(xùn)練的大模型成績(jī)一騎絕塵，在8項(xiàng)能力中排名第一，平均分也遠(yuǎn)超其他平臺(tái)訓(xùn)練出來的模型。
很難評(píng)，弱智吧難道就是最優(yōu)質(zhì)的中文語料庫？
我們不妨先看看在面對(duì)弱智吧問題的時(shí)候，各個(gè)模型的表現(xiàn)。
本次受害大模型分別是ChatGPT3.5、Gemini、文心一言和Kimi，測(cè)試方法是讓大模型理解弱智吧的典型問題，并要求他們模仿寫一個(gè)類似的問題出來。
國(guó)產(chǎn)大模型對(duì)弱智吧的問題有更好的理解，Kimi和文心一言回答的準(zhǔn)確率較高，能答對(duì)8道題，答錯(cuò)和半錯(cuò)半對(duì)各1道。分別在“我想配個(gè)6000多的電腦，大概要多少錢?”和“我買了一斤藕，為什么半斤都是空的?”上栽了跟頭。
谷歌的Gemini和Open的ChatGPT3.5可能因?yàn)樗敛环?，?zhǔn)確率較低。
ChatGPT3.5甚至認(rèn)為變形金剛應(yīng)該購買車險(xiǎn)，不知道是專屬的幽默還是沒看懂這道題。6000元的電腦要花8000-10000元，也屬于錯(cuò)得比較離譜了。
除了答不上來弱智吧的問題，AI也寫不出弱智吧的帖子。弱智吧的帖子高度抽象，各種修辭、腦洞和梗。普通人想一個(gè)都需要隨緣，一板一眼的AI更難想出來了。
同樣，硅基君嘗試讓ChatGPT3.5、Gemini、文心一言和Kimi學(xué)習(xí)上文提到的弱智吧10個(gè)問題，模仿寫幾個(gè)問題出來。
幾個(gè)大模型寫出來的問題都不太行，基本上都是對(duì)弱智吧問題拙劣的模仿。
像“我晚上想吃燒烤，早餐可以吃嗎？”“掉在地上的冰淇淋，還能叫冰淇淋嗎？”“在電梯里放屁被鄰居投訴，我是否有權(quán)利保持沉默?”。在形式上和弱智吧問題一樣，但都沒有掌握問題精髓——邏輯。
可以說，弱智吧里的內(nèi)容，AI看不懂也寫不出。
為什么強(qiáng)大的AI就搞不定弱智吧呢？可能源于弱智吧獨(dú)有的脫離日常的邏輯，弱智吧的吧友非常擅長(zhǎng)從日常生活中找到漏洞，并加以利用。
比如，午餐肉能不能晚上吃？香菇掉廁所了還能叫香菇嗎？老鼠生病了可以吃老鼠藥嗎？精神分裂在調(diào)查問卷里算一個(gè)樣本還是兩個(gè)樣本？。。。
除了這些流出的會(huì)心一笑的問題，弱智吧內(nèi)還有不少富含哲理的帖子。
也有詩人在弱智吧里冒充弱智寫詩，用最簡(jiǎn)短的句子，給網(wǎng)友帶來最強(qiáng)的殺傷力。
弱智吧的內(nèi)容常用“邏輯反推”“諧音雙關(guān)”“跨服聊天”等手法生成各種離譜的段子，幽默又帶有思考的句子。普通人想看懂弱智吧里的問題也要思考一下，找到問題里的梗，更別說AI了。
這也就是為什么弱智吧會(huì)成為人類在AI面前最后的堡壘的原因。
有人吐槽，弱智吧訓(xùn)練出來的模型，編程能力為什么那么高，吧里也沒人在搞編程啊。隨后有吧友回復(fù)道出秘密：編程最講究邏輯，弱智吧最不缺邏輯。
縱觀整個(gè)中文互聯(lián)網(wǎng)平臺(tái)，都在講文章的可讀性，如何讓讀者讀下去。
知乎上的熱帖，先要下飛機(jī)，再講故事，最后引申到主要話題。小紅書上的熱帖，先喊你一聲家人，再給你充足的情緒價(jià)值。弱智吧不一樣，內(nèi)容的可讀性幾乎沒有，就一句話，需要讀者反復(fù)思考，才能看懂作者想要表達(dá)的內(nèi)容。
比如你問"今天天氣怎么樣？”。
知乎網(wǎng)友會(huì)告訴你：“謝邀，剛下飛機(jī)，紐約的太陽很大，剛剛拒絕了一個(gè)200w年薪的工作”。
小紅書網(wǎng)友回你：“家人們，誰懂啊，今天太陽曬死我了，大幾千的防曬也沒用”。
而用弱智吧吧友會(huì)說："太陽翹班了，云正在賽跑"。
正是弱智吧這樣的非常抽象的邏輯，才是人類與AI區(qū)別最大的地方，也是AI目前學(xué)不會(huì)的。
當(dāng)然，其他中文社區(qū)不用氣餒，也可以發(fā)揮特點(diǎn)構(gòu)建自己的堡壘，比如知乎可以教AI地理，讓它搞不清越南到底是哪個(gè)國(guó)家。