北京時(shí)間4月16日，據(jù)彭博社報(bào)道，英偉達(dá)周二在監(jiān)管文件中表示，美國(guó)政府已于周一通知公司，H20芯片未來(lái)在出口至中國(guó)時(shí)需要“無(wú)限期”申請(qǐng)?jiān)S可證。
英偉達(dá)因此預(yù)警稱(chēng)，公司將在本財(cái)年第一季度計(jì)入大約55億美元的費(fèi)用，這些費(fèi)用與H20系列芯片相關(guān)的“庫(kù)存、采購(gòu)承諾及相關(guān)準(zhǔn)備金”有關(guān)。
正如英偉達(dá)所言，進(jìn)一步收緊出口限制只會(huì)強(qiáng)化中國(guó)擺脫美國(guó)技術(shù)依賴(lài)的決心，并將削弱美國(guó)企業(yè)的競(jìng)爭(zhēng)力。
現(xiàn)在，美國(guó)政府給英偉達(dá)的心臟刺入了一把尖刀，更是給國(guó)產(chǎn)芯片生態(tài)發(fā)展送了一個(gè)助攻。
今年3月，鳳凰網(wǎng)科技與專(zhuān)注做AI智能算力基礎(chǔ)系統(tǒng)軟件的公司清程極智進(jìn)行了一場(chǎng)對(duì)話，這正是一家專(zhuān)注于推動(dòng)國(guó)產(chǎn)芯片發(fā)展的公司，其最近開(kāi)源的赤兔，可以幫助國(guó)產(chǎn)芯片更好跑滿血版DeepSeek。
鳳凰網(wǎng)科技《浪潮》出品
作者 董雨晴
在五道口的清華科技園，很容易偶遇清華系的人工智能公司，但今天，這里最忙碌的身影不再專(zhuān)屬于基座大模型六小龍，更為顯眼的是位于中間層的AI infra（基礎(chǔ)設(shè)施）公司。
清程極智就是這樣一家企業(yè)，2023年底，清華大學(xué)計(jì)算機(jī)系里的一伙人創(chuàng)辦了清程極智，清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘教授翟季冬出任首席科學(xué)家，翟教授曾經(jīng)帶領(lǐng)清華超算團(tuán)隊(duì)奪得過(guò)十幾個(gè)世界冠軍，清程極智的核心成員也多來(lái)自于清華計(jì)算機(jī)系高性能計(jì)算研究所，CEO湯雄超即是如此。
他們是國(guó)內(nèi)少有的有過(guò)十萬(wàn)臺(tái)服務(wù)器超大規(guī)模國(guó)產(chǎn)算力集群使用和調(diào)優(yōu)經(jīng)驗(yàn)的團(tuán)隊(duì)。而大規(guī)模集群的訓(xùn)練和推理，是算力發(fā)展過(guò)程中最復(fù)雜的一種情況。
成立僅一年，清程極智就拿到了兩輪投資，其中包括北京市人工智能產(chǎn)業(yè)投資基金與中科創(chuàng)星。中科創(chuàng)星曾表示，國(guó)內(nèi)AI Infra市場(chǎng)在編譯器和并行訓(xùn)練推理系統(tǒng)等核心技術(shù)軟件方面尤為空缺，而清程極智是國(guó)內(nèi)少有的完全掌握全棧研發(fā)能力的團(tuán)隊(duì)。
今年初，DeepSeek的爆火，為AI infra添了一把柴。更早就預(yù)判到推理側(cè)需求的清程極智直接迎來(lái)了業(yè)務(wù)上的爆發(fā)。
湯雄超告訴鳳凰網(wǎng)科技，清程極智的新增需求幾乎都來(lái)自于推理側(cè)?！拔覀冎笆怯型评硭懔π枨罂焖僭鲩L(zhǎng)這樣的一些判斷，但是沒(méi)想象到它來(lái)得這么快，這么洶涌”。
隨著整個(gè)大模型算力需求的趨勢(shì)從訓(xùn)練側(cè)轉(zhuǎn)向推理側(cè)，相應(yīng)的硬件供給矛盾也逐漸凸顯?！癉eepSeek也在某種程度上拉大了國(guó)產(chǎn)算力與英偉達(dá)的差距”。
湯雄超認(rèn)為，DeepSeek通過(guò)算法的創(chuàng)新突破了大規(guī)模硬件的瓶頸，這可以很好的解決當(dāng)前國(guó)內(nèi)算力不足的窘迫，給AI企業(yè)提供一個(gè)創(chuàng)新的樣本。
但同時(shí)，DeepSeek的技術(shù)創(chuàng)新主要圍繞英偉達(dá)H卡的架構(gòu)，DeepSeek模型采用的FP8數(shù)據(jù)格式與英偉達(dá)H系列卡深度綁定，未來(lái)可能還會(huì)支持更新的FP4等，但目前大多數(shù)國(guó)產(chǎn)芯片尚沒(méi)法原生支持FP8, “從這個(gè)層面看,硬件層面產(chǎn)品的代際差距拉大了”。如何發(fā)揮Infra層的作用，通過(guò)軟硬協(xié)同，將優(yōu)秀的國(guó)產(chǎn)大模型和國(guó)產(chǎn)硬件更好的協(xié)同起來(lái)，以及把市場(chǎng)上的閑置算力更好的用起來(lái)，是清程極智始終在思考的。
抱著這樣的想法，今年初，清程極智與清華共同開(kāi)源了大模型推理引擎“赤兔”，通過(guò)赤兔的部署，大部分英偉達(dá)老卡舊卡及國(guó)產(chǎn)芯片都可支撐DeepSeek滿血版，與此同時(shí)在首期開(kāi)源的版本中，對(duì)比國(guó)際主流開(kāi)源推理引擎，在算力減少一半的基礎(chǔ)上，速度還能翻番。
赤兔的出現(xiàn)對(duì)于國(guó)產(chǎn)算力而言是一股強(qiáng)大的驅(qū)動(dòng)力，特別針對(duì)國(guó)產(chǎn)算力在支持DeepSeek方面是重要的催化劑，于當(dāng)下而言更是恰逢其時(shí)。
一些例子已在證明。去年，算力概念火熱時(shí)期，就有聲音認(rèn)為，市場(chǎng)上部分國(guó)產(chǎn)算力是屬于空置狀態(tài)。但DeepSeek的火熱激活了國(guó)產(chǎn)算力市場(chǎng)。據(jù)湯雄超觀察，他發(fā)現(xiàn)DeepSeek走紅之后，此前不少閑置的算力已經(jīng)運(yùn)轉(zhuǎn)起來(lái)。
赤兔的出現(xiàn)，更是對(duì)國(guó)產(chǎn)算力的重大利好。短期來(lái)看，它實(shí)現(xiàn)了 DeepSeek FP8 精度模型在存量GPU 上的無(wú)損且高效部署。長(zhǎng)期來(lái)看，赤兔的開(kāi)源是國(guó)產(chǎn)大模型、國(guó)產(chǎn)算力和國(guó)產(chǎn)引擎閉環(huán)形成中的必要一環(huán)。
在這個(gè)特別的時(shí)期，鳳凰網(wǎng)科技《浪潮》與清程極智CEO湯雄超進(jìn)行了一場(chǎng)對(duì)話，聊了聊他對(duì)于DeepSeek爆火之后，國(guó)產(chǎn)生態(tài)變化的思考，以下是對(duì)話全文，經(jīng)編輯發(fā)布：
談推理側(cè)需求的爆發(fā)：閑置的算力都用起來(lái)了
鳳凰網(wǎng)科技：你們最近一兩個(gè)月在忙著做什么？
湯雄超：變化主要在業(yè)務(wù)精力的調(diào)整上。我們是做AI智能算力基礎(chǔ)系統(tǒng)軟件的，業(yè)務(wù)精力的投入力度顯然也是跟市場(chǎng)上算力需求的變化是相匹配的。去年其實(shí)大部分的算力需求是來(lái)自于預(yù)訓(xùn)練這一側(cè)，包括非常多的像英偉達(dá)、不同廠商的國(guó)產(chǎn)卡，千卡集群、萬(wàn)卡集群、異構(gòu)集群上做預(yù)訓(xùn)練，優(yōu)化他們的訓(xùn)練性能，加速降本。
去年我們也有在做推理的一些工作，我們和燧原科技一起做的高吞吐推理一體機(jī)拿了不少獎(jiǎng)項(xiàng)，在多模態(tài)方面，我們?nèi)ツ晔歉鷶?shù)科技聯(lián)合優(yōu)化，對(duì)于圖片生成有接近5倍的提速。但是相對(duì)來(lái)說(shuō)，去年推理側(cè)的算力需求相對(duì)于預(yù)訓(xùn)練側(cè)來(lái)說(shuō)是比較小的，今年DeepSeek走紅之后，我們感覺(jué)到的最大的一個(gè)變化，就是推理算力的占比有一個(gè)非常大的提升。
鳳凰網(wǎng)科技：大概是一個(gè)什么樣的比例變化？
湯雄超：現(xiàn)在我們新增的業(yè)務(wù)基本上都來(lái)自于推理側(cè)。其實(shí)我們之前是有這樣的一些判斷，但是我們沒(méi)有想象到它來(lái)得這么快，這么洶涌。去年底的時(shí)候，OpenAI的o1發(fā)布了之后，其實(shí)大家也都能感覺(jué)到推理算力的占比一定是會(huì)提升的，但是當(dāng)時(shí)的話，OpenAI還是遙遙領(lǐng)先。開(kāi)源的話其實(shí)之前一直也主要以Llama和千問(wèn)這種傳統(tǒng)的大模型為主，但是DeepSeek R1的出現(xiàn)確實(shí)很驚艷，我們也看到隨著而來(lái)整個(gè)推理算力，包括推理方面的需求都變得非常多。
鳳凰網(wǎng)科技：我記得你去年其實(shí)就說(shuō)過(guò)，部署一體機(jī)可能還是應(yīng)該專(zhuān)注于推理側(cè)。
湯雄超：其實(shí)現(xiàn)在回過(guò)頭來(lái)看，我們現(xiàn)在正在做的就是當(dāng)初的判斷，比如當(dāng)初判斷推理算力將有大規(guī)模爆發(fā)，隨之帶來(lái)的大模型私有化部署需求等也是我們正在忙碌的事。而且我們也看到，現(xiàn)在推理跟訓(xùn)練有一些趨同的地方在于大家都會(huì)逐漸形成對(duì)集群算力有需求的狀態(tài)。以前推理市場(chǎng)更多是獨(dú)自的分散需求現(xiàn)在也需要一個(gè)集群。但是確實(shí)從所需要的芯片能力來(lái)說(shuō)，訓(xùn)練側(cè)對(duì)計(jì)算能力可能要求還是更高一些
鳳凰網(wǎng)科技：推理算力需求的爆發(fā)也隨之帶來(lái)了國(guó)產(chǎn)算力的爆發(fā)嗎？
湯雄超：兩個(gè)方面來(lái)說(shuō)，一方面隨著大模型私有化部署需求的增加，我們會(huì)看到一些以前的閑置算力確實(shí)正在被消化。
但另一方面我們也可以看到DeepSeek拉大了國(guó)產(chǎn)算力和英偉達(dá)的差距。有一種聲音是認(rèn)為DeepSeek的出現(xiàn)是縮小了國(guó)產(chǎn)算力和英偉達(dá)之間的差距，我認(rèn)為這種說(shuō)法也沒(méi)錯(cuò)，因?yàn)樵诔笠?guī)模預(yù)訓(xùn)練集群的場(chǎng)景下，國(guó)產(chǎn)算力和英偉達(dá)的差距非常大，系統(tǒng)穩(wěn)定性、可用性、芯片出貨量等等都是問(wèn)題；現(xiàn)在DeepSeek破除了對(duì)超大規(guī)模預(yù)訓(xùn)練集群的依賴(lài)，讓更多的算力需求轉(zhuǎn)向推理側(cè)，相當(dāng)于降低了使用國(guó)產(chǎn)算力替代方案的難度。
但是我們單純從推理側(cè)來(lái)說(shuō)的話，其實(shí)DeepSeek的出現(xiàn)更加拉大了國(guó)產(chǎn)算力跟英偉達(dá)的差距。雖然大家也看到DeepSeek開(kāi)源了非常多的東西，但他們的一些技術(shù)創(chuàng)新更多是跟英偉達(dá)
H卡架構(gòu)的卡綁定的，很多優(yōu)化無(wú)法直接復(fù)制到國(guó)產(chǎn)算力上。
DeepSeek滿血版本身是FP8原生訓(xùn)練的，但目前幾乎所有的國(guó)產(chǎn)卡都不支持FP8的計(jì)算，如果要部署DeepSeek滿血版，需要把FP8轉(zhuǎn)換成其它數(shù)據(jù)格式，這樣有時(shí)會(huì)導(dǎo)致顯存占用大，用起來(lái)非常卡，有時(shí)會(huì)使模型精度受損，推理的效果不盡人意，那這樣的話大家用國(guó)產(chǎn)卡的意愿又沒(méi)有那么高了，同時(shí)未來(lái)英偉達(dá)會(huì)支持FP4等新的數(shù)據(jù)類(lèi)型，現(xiàn)在的差距在未來(lái)有可能進(jìn)一步加大，從這個(gè)角度上來(lái)說(shuō)，DeepSeek的出現(xiàn)讓這個(gè)差距顯得更加明顯。
我們前段時(shí)間開(kāi)源了赤兔，因?yàn)槲覀冇X(jué)得DeepSeek幾乎是一個(gè)我們?cè)陂_(kāi)源社區(qū)能拿到的最好的模型，但是它跟非常難獲得的硬件是深度綁定的，大家利用現(xiàn)有的硬件條件把它充分利用起來(lái)還是有很高的門(mén)檻，因此我們開(kāi)源了赤兔推理引擎，讓市場(chǎng)上的英偉達(dá)的大部分老卡舊卡以及國(guó)產(chǎn)芯片，支持FP8計(jì)算模型的推理，同時(shí)又做了一些優(yōu)化助力計(jì)算效率的提升，使得不僅用的起來(lái)，還比原來(lái)便宜，速度也更快。
談赤兔開(kāi)源：給國(guó)產(chǎn)芯片送助攻
鳳凰網(wǎng)科技：赤兔的開(kāi)源對(duì)行業(yè)來(lái)說(shuō)價(jià)值不小，你們當(dāng)時(shí)為什么直接選擇了開(kāi)源？
湯雄超：我們本身是一個(gè)商業(yè)公司，但是我們覺(jué)得開(kāi)源赤兔推理引擎或者開(kāi)源這件事本身跟我們獲得商業(yè)上的收益并不是沖突的。第一我們覺(jué)得赤兔的技術(shù)方案確實(shí)非常的有價(jià)值，是可以給整個(gè)國(guó)產(chǎn)AI行業(yè)的生態(tài)帶來(lái)正向影響的，我們也非常愿意和大家能夠共享這樣一個(gè)技術(shù)的進(jìn)步，從另外一個(gè)方面，從商業(yè)上的角度來(lái)考慮的話，我們的價(jià)值肯定是多維的？說(shuō)個(gè)最簡(jiǎn)單的例子，雖然赤兔是開(kāi)源的，但是需要基于赤兔進(jìn)行部署，需要運(yùn)維，而我們本身是最懂赤兔的。
更長(zhǎng)期的角度上來(lái)說(shuō)，比如都是支持原生FP8的推理訓(xùn)練，但實(shí)際上我們也可以提供不同性能水平的算子的實(shí)現(xiàn)，能夠通過(guò)軟硬協(xié)同更廣泛的提升國(guó)產(chǎn)AI芯片的性能。但是從更本質(zhì)的角度來(lái)說(shuō)，我們?cè)趧?chuàng)立之初就是希望能夠促進(jìn)國(guó)產(chǎn)生態(tài)的發(fā)展，我們也相信算力國(guó)產(chǎn)化是大趨勢(shì)，所以我覺(jué)得像這種比較有意義的事情，還是比較愿意開(kāi)源出來(lái)，讓大家一起來(lái)分享idea。
鳳凰網(wǎng)科技：你剛才說(shuō)原來(lái)大家浪費(fèi)的算力已經(jīng)被用起來(lái)了，能不能舉個(gè)例子？
湯雄超：我們了解到的是，有很多庫(kù)存的國(guó)產(chǎn)算力，可能本來(lái)囤在一些算力中心里面，但在春節(jié)后陸陸續(xù)續(xù)的全都跑起來(lái)了。之前有很多的算力是不太好用起來(lái)的，甚至就處于一個(gè)關(guān)機(jī)的狀態(tài)，今年確實(shí)我們想租，他們說(shuō)已經(jīng)租完了，沒(méi)有了。
鳳凰網(wǎng)科技：之前聽(tīng)說(shuō)很多大廠本來(lái)都有自己開(kāi)發(fā)的卡，但是自己的大模型也沒(méi)有用自己的卡，為什么沒(méi)用起來(lái)？
湯雄超：也不能說(shuō)完全沒(méi)有用起來(lái)，可能就是相對(duì)用的比例沒(méi)有那么的高，因?yàn)槲矣X(jué)得主要還是英偉達(dá)的卡設(shè)計(jì)的水平，所能獲得的全球最先進(jìn)的產(chǎn)能，以及多年以來(lái)維持的生態(tài)上的優(yōu)勢(shì)，使得業(yè)務(wù)部門(mén)在有選擇的情況下，還是會(huì)傾向于用比較簡(jiǎn)單易用的、性?xún)r(jià)比高的英偉達(dá)的卡。
鳳凰網(wǎng)科技：所以這可能對(duì)國(guó)產(chǎn)算力的發(fā)展也是個(gè)阻礙。
湯雄超：我對(duì)國(guó)產(chǎn)芯片長(zhǎng)期發(fā)展之后的性?xún)r(jià)比優(yōu)勢(shì)是比較有信心的。因?yàn)閺拈L(zhǎng)期的角度來(lái)看，從過(guò)往的經(jīng)驗(yàn)來(lái)看，我覺(jué)得國(guó)產(chǎn)的東西在性?xún)r(jià)比上面卷贏國(guó)外沒(méi)有什么大的問(wèn)題，但肯定是需要有一個(gè)發(fā)展的過(guò)程。
鳳凰網(wǎng)科技：今年對(duì)國(guó)產(chǎn)算力，會(huì)有一個(gè)比較明顯的曲線變化嗎？
湯雄超：我覺(jué)得受太多因素的影響，我很難去評(píng)估什么時(shí)候會(huì)發(fā)生一個(gè)變化。首先國(guó)內(nèi)的芯片設(shè)計(jì)水平肯定是在持續(xù)的發(fā)展，包括我們合作了這么多家芯片公司，也感覺(jué)到大家新一代的芯片都會(huì)比老一代的有一個(gè)非常大的提升。
但我覺(jué)得可能會(huì)有很多偶然因素在里面。另外在軟件生態(tài)上的話，我覺(jué)得也是看大家生態(tài)共建的水平怎么樣，這本身也是我們把赤兔開(kāi)源出來(lái)，希望大家一起來(lái)做的事情。
鳳凰網(wǎng)科技：你們現(xiàn)在覺(jué)得哪些國(guó)產(chǎn)芯片的表現(xiàn)比較好？
湯雄超：如果我們看的話，去年也有一些國(guó)產(chǎn)芯片公司，已經(jīng)開(kāi)始走IPO的流程了，這些其實(shí)就相對(duì)來(lái)說(shuō)，是比較成熟的，已經(jīng)迭代了好幾個(gè)版本。芯片行業(yè)的話，雖然大家在做設(shè)計(jì)的時(shí)候都會(huì)考慮到很多，但確實(shí)有很多問(wèn)題是要在使用中，在社區(qū)里面才會(huì)有反饋的，就包括我們?cè)?010 年左右的時(shí)候，清華實(shí)驗(yàn)室這邊就在搞英偉達(dá)CUDA的這些東西，其實(shí)那個(gè)時(shí)候也感覺(jué)各種問(wèn)題。因?yàn)橹按蠹叶际窃谟⑻貭?X86 上面做，英特爾的東西已經(jīng)很成熟了，一做CUDA就發(fā)現(xiàn)適配性不好，自己也不習(xí)慣，一度感覺(jué)也沒(méi)那么好用。但是過(guò)了幾年之后，等到 2015 年的時(shí)候再想在CUDA上面去找一些它的缺陷就比較困難了。到現(xiàn)在的話實(shí)際相對(duì)來(lái)說(shuō)CUDA生態(tài)也都變成一個(gè)很成熟的生態(tài)，所以我覺(jué)得這些其實(shí)都是要有一個(gè)發(fā)展的過(guò)程。
談AI創(chuàng)企的發(fā)展：大模型跑起來(lái)只是第一步，還有很多問(wèn)題沒(méi)解決
鳳凰網(wǎng)科技：你們?cè)诔闪⒅?“助力國(guó)產(chǎn)化”“大規(guī)模集群訓(xùn)練”等標(biāo)簽讓人印象深刻，現(xiàn)在公司發(fā)展了一年多，你認(rèn)為這些代表你們的標(biāo)簽有變化嗎？
湯雄超：我們之所以給別人留下了這個(gè)印象，只是說(shuō)我們的技術(shù)特長(zhǎng)和既往的項(xiàng)目經(jīng)驗(yàn)，在國(guó)產(chǎn)化方面積累是非常深的，特別是在大規(guī)模集群的訓(xùn)練方面。我們當(dāng)時(shí)成立公司的時(shí)候，其實(shí)主要考慮到我們自身的團(tuán)隊(duì)基因或者說(shuō)背景，我們有非常強(qiáng)的并行計(jì)算方面的，以及像這種芯片架構(gòu)適配方面的優(yōu)勢(shì)。因?yàn)槲覀冞^(guò)去做高性能計(jì)算，10年前就遇到過(guò)今天芯片行業(yè)的問(wèn)題，今天AI領(lǐng)域發(fā)生的一切，我們都非常熟悉。但是通過(guò)一些軟硬件的協(xié)同設(shè)計(jì)，做一些比較好的軟件實(shí)現(xiàn)的話，還是能夠把國(guó)產(chǎn)算力充分發(fā)揮起來(lái)的。本身如果從性?xún)r(jià)比的角度去看，我們會(huì)發(fā)現(xiàn)這種國(guó)外最先進(jìn)的算力，是有高溢價(jià)的，如果真的愿意在軟件上面去做一些工作的話，其實(shí)最終國(guó)產(chǎn)的算力方案未必就不如國(guó)外的。
AI的發(fā)展肯定對(duì)算力的需求是越來(lái)越大的，首先，模型越來(lái)越大，AI的滲透率也會(huì)越來(lái)越高，另外從長(zhǎng)期來(lái)看的話，可能會(huì)更多的轉(zhuǎn)向一個(gè)自主可控的國(guó)產(chǎn)算力趨勢(shì)。兩個(gè)明確的大方向下，我們覺(jué)得做這樣的一個(gè)公司，就是非常正確的事情。
鳳凰網(wǎng)科技：你覺(jué)得大模型的數(shù)據(jù)可能會(huì)越來(lái)越大，但現(xiàn)在各家可能已經(jīng)不再去刻意卷參數(shù)了，甚至是不做預(yù)訓(xùn)練了？
湯雄超：我們現(xiàn)在看到的是說(shuō)預(yù)訓(xùn)練的玩家可能會(huì)進(jìn)一步的減少。就是可能有一些實(shí)力特別強(qiáng)的，還是會(huì)堅(jiān)持去做預(yù)訓(xùn)練，對(duì)于更多玩家來(lái)說(shuō)，他可能覺(jué)得我自己做預(yù)訓(xùn)練，不如等著這些寡頭來(lái)推出新的開(kāi)源模型，像前段時(shí)間DeepSeek又發(fā)了V3的更新版，阿里的千問(wèn)，其實(shí)更新都挺快的，所以對(duì)于很多參與者來(lái)說(shuō)，自己做預(yù)訓(xùn)練可能就不如等一下這些技術(shù)寡頭再給大家發(fā)一個(gè)新的福利。
鳳凰網(wǎng)科技：所以六小龍可能得換條路走？
湯雄超：我覺(jué)得對(duì)于更多新玩家來(lái)說(shuō)，如果是做這種基于公開(kāi)數(shù)據(jù)集的預(yù)訓(xùn)練的話，一個(gè)是貴，一個(gè)是感覺(jué)還不如等大廠發(fā)，另外一個(gè)角度上，對(duì)于一些做垂域大模型的公司來(lái)說(shuō)，他可以深入到不同行業(yè)里面去，針對(duì)這些行業(yè)私有數(shù)據(jù)去做微調(diào)，做這種后訓(xùn)練。這塊也比較有市場(chǎng)，因?yàn)槲覀兇_實(shí)看到通用大模型也不是全知全能的，肯定也需要獲得一些行業(yè)的特有知識(shí)，才能夠在垂類(lèi)里面有更好的表現(xiàn)。
鳳凰網(wǎng)科技：你們現(xiàn)在做哪些類(lèi)型的需求多一些？
湯雄超：其實(shí)都會(huì)有，我們現(xiàn)在更偏向于做這種本地化部署的業(yè)務(wù)，因?yàn)槲覄倓傉f(shuō)推理業(yè)務(wù)，其實(shí)你可以簡(jiǎn)單分成，云上的MaaS和線下本地化部署。本地化部署的話，顯然大家一說(shuō)就覺(jué)得像政企肯定會(huì)有很多這種強(qiáng)的數(shù)據(jù)安全的合規(guī)需求。其實(shí)也有很多我們所謂的這種私企或者民營(yíng)企業(yè)，其實(shí)他們也會(huì)有比較強(qiáng)的數(shù)據(jù)安全的要求，比如說(shuō)金融行業(yè)或者法律行業(yè)。
我們覺(jué)得DeepSeek對(duì)大家有一個(gè)啟蒙的作用，讓大家意識(shí)到用大模型是大勢(shì)所趨了?；蛘哒f(shuō)之前我覺(jué)得大模型更多是c端的在玩，現(xiàn)在就是強(qiáng)調(diào)了私有化部署，大家都會(huì)自問(wèn)我的企業(yè)是不是真的要把大模型用起來(lái)了，所以現(xiàn)在不管是咨詢(xún)的還是真實(shí)迫切需要部署的，真的還挺多的。
鳳凰網(wǎng)科技：您說(shuō)到清程更偏向于做這種本地化部署的業(yè)務(wù)，現(xiàn)在市場(chǎng)上對(duì)MaaS也有一些不同的聲音，您如何看待MaaS？
湯雄超：首先關(guān)于MaaS的需求是真實(shí)存在的，大家都是有共識(shí)的，就包括我自己也會(huì)調(diào)API來(lái)做一些開(kāi)發(fā)，因?yàn)榇_實(shí)調(diào)云上API比自己部署要稍微簡(jiǎn)單。
但是大家討論比較多的是，有人用產(chǎn)品，但是你做產(chǎn)品也要有成本，那在商業(yè)上是不是盈利的？我覺(jué)得其實(shí)因素會(huì)非常的多，比如說(shuō)算力的成本，產(chǎn)品的調(diào)用量，包括客戶(hù)付費(fèi)的這種意愿等等，我覺(jué)得這些平時(shí)都比較復(fù)雜，而且這幾個(gè)因素本身不是固定不變的。
我們也有MaaS，也有一些客戶(hù)，他可能在私有化部署的時(shí)候，就是不想買(mǎi)硬件。如果我先租的話，先云上部署的話，先試試東西是不是真的有用，然后之后再說(shuō)，我覺(jué)得很多東西的存在價(jià)值肯定是多維的。
所以我是覺(jué)得MaaS能不能盈利的話，其實(shí)可能會(huì)要用發(fā)展的眼光去看待，并不能一概而論。首先算力成本是不是會(huì)持續(xù)的下降？因?yàn)榘凑找郧拔覀兯熘倪@種摩爾定律來(lái)說(shuō)，其實(shí)算力成本就是會(huì)逐年下降的。第二點(diǎn)是模型的能力，或者說(shuō)同樣尺寸的模型能提供的能力是不是能夠持續(xù)的增長(zhǎng)？我現(xiàn)在需要671B的模型，提供了一個(gè)表現(xiàn)，是不是過(guò)兩年之后我只要100B的模型就可以了？另外就是客戶(hù)付費(fèi)的意愿，現(xiàn)在如果是單純的聊天，我肯定不愿意付很多錢(qián)，但是如果他未來(lái)幫我承接了很多很有價(jià)值的業(yè)務(wù)，那可能我付費(fèi)的能力就提升了，比如現(xiàn)在收費(fèi)標(biāo)準(zhǔn)是100萬(wàn)token16塊錢(qián)，未來(lái)如果是高價(jià)值業(yè)務(wù)的話，可以提高價(jià)格啊。
鳳凰網(wǎng)科技：目前本地化部署這塊業(yè)務(wù)，清程的研發(fā)壓力會(huì)在哪些方面？
湯雄超：主要還是看我們追求一個(gè)什么樣的目標(biāo)，因?yàn)楸旧砦覀兪窍胂驑I(yè)界提供更加靈活的算力底座，包括支持不同架構(gòu)的算力芯片。除了英偉達(dá)的這種旗艦的顯卡之外，也會(huì)支持一些老一點(diǎn)的型號(hào)，或者是一些國(guó)產(chǎn)GPU卡。因?yàn)橛泻芏嗥髽I(yè)其實(shí)它也是先從低門(mén)檻的入手開(kāi)始，會(huì)慢慢的擴(kuò)大，所以我們會(huì)希望說(shuō)算力底座是有彈性可伸縮的，你一開(kāi)始不太好說(shuō)直接批一個(gè)200萬(wàn)的預(yù)算來(lái)買(mǎi)東西，而是買(mǎi)一個(gè)比如說(shuō)幾萬(wàn)、十幾萬(wàn)的這種小的機(jī)器，上面可能就插了一兩張卡，等到有預(yù)算的時(shí)候，就補(bǔ)到8卡的一臺(tái)機(jī)器。
其實(shí)這兩點(diǎn)也是我們前段時(shí)間跟清華聯(lián)合發(fā)布開(kāi)源赤兔引擎時(shí)提到的，我們會(huì)專(zhuān)注于做靈活的部署方案跟多元化的算力底座的支持，但是要支持這兩個(gè)特性的話，確實(shí)會(huì)給研發(fā)帶來(lái)一些額外的量。
鳳凰網(wǎng)科技：比如說(shuō)哪些額外的工作量？
湯雄超：如果我只針對(duì)英偉達(dá)的H20來(lái)做，那我就只做一款芯片，但如果說(shuō)我要支持更多的底層算力芯片的話，我需要考慮不同芯片的特性。從另外一個(gè)角度來(lái)說(shuō)，雖然這么做短期內(nèi)會(huì)難一些，但是我們還是會(huì)往這個(gè)方向去。這一方面還是剛剛提到，我們從公司成立之初，就覺(jué)得長(zhǎng)期的國(guó)產(chǎn)化趨勢(shì)是比較明確的。從另外一個(gè)角度來(lái)說(shuō)，我們的AI行業(yè)肯定不可能一直受制于人，你現(xiàn)在覺(jué)得H卡好用，但是明天就傳來(lái)說(shuō)H20也要禁售，然后就一波漲價(jià)，當(dāng)然后來(lái)也沒(méi)有禁售（編者注：本次對(duì)話發(fā)生于3月中下旬）。對(duì)我們來(lái)說(shuō)就相當(dāng)于算力底座是不可靠的，肯定不是一個(gè)好消息。為了能夠滿足這種不同芯片架構(gòu)的適配，其實(shí)我們也有一些這種自動(dòng)化的代碼生成的手段來(lái)加速這樣一個(gè)研發(fā)的過(guò)程，就包括其實(shí)去年我們一直在公開(kāi)場(chǎng)合說(shuō)，我們主要是三塊產(chǎn)品，一塊是大規(guī)模的訓(xùn)練系統(tǒng)，一塊是高性能推理引擎，還有一個(gè)就是智能編譯器，可以去做一些自動(dòng)化的高性能代碼生成，這樣就可以減少一些算子開(kāi)發(fā)的人力，加快我們的研發(fā)過(guò)程。
不過(guò)即使加速了也還是會(huì)有一些額外的壓力，但是我們覺(jué)得事情是值得做的，就包括我們前段時(shí)間開(kāi)源赤兔，在英偉達(dá)平臺(tái)上可能只是一件錦上添花的事情，但是對(duì)國(guó)產(chǎn)算力來(lái)說(shuō)，它就是成本降一半的一個(gè)非常有價(jià)值的事情。所以我們研發(fā)團(tuán)隊(duì)做完了之后，確實(shí)也比較有成就感，大家其實(shí)也都挺開(kāi)心的。
鳳凰網(wǎng)科技：你們現(xiàn)在人才方面的壓力會(huì)比較大嗎？
湯雄超：壓力挺大的，我們的技術(shù)門(mén)檻確實(shí)比較高。但我們公司還是保持嚴(yán)選狀態(tài)，除了技術(shù)上的能力，更多看重人才對(duì)我們團(tuán)隊(duì)文化的認(rèn)同。
鳳凰網(wǎng)科技：你們現(xiàn)在更需要哪些方面的人才？
湯雄超：因?yàn)槲覀儠?huì)持續(xù)的去做好推理引擎，AI系統(tǒng)層面的人才是我們一直關(guān)注的。另外因?yàn)?AI 應(yīng)用落地的速度可能會(huì)加快，所以了解上層具體場(chǎng)景的解決方案的同學(xué)，我們最近也聊的比較多。大模型跑起來(lái)本身只是 AI 應(yīng)用的第一步，一個(gè)基礎(chǔ)的聊天窗口，它能解決一些問(wèn)題，但是也有很多問(wèn)題它不太好解決。最典型的，幾乎所有的企業(yè)都想要一個(gè)知識(shí)庫(kù)，都想要有一個(gè)智能問(wèn)答機(jī)器人，那其實(shí)不是說(shuō)有一個(gè) API就結(jié)束了，我還是要去做一些事情?？赡苁峭ㄟ^(guò)微調(diào)的方式，或者通過(guò)一些別的方式，才能滿足千行百業(yè)的實(shí)際需求。