要投的早投了,沒投的也在路上。
來源:獵云精選;文/孫媛
大模型這股熱風(fēng),已經(jīng)吹到了上游算力。
(相關(guān)資料圖)
隨著百度、騰訊、阿里等紛紛拿出相關(guān)技術(shù)布局以及底層設(shè)施儲備,為中國的ChatGPT奮力一戰(zhàn),密集上線的大模型面臨著巨大的算力需求,“算力從何而來”的問題隨之搬上臺面。
一方面,算力昂貴。以ChatGPT為例,支撐其算力至少需要上萬顆英偉達(dá)的GPU A100,單次模型訓(xùn)練成本超過1200萬美元。
另一方面,算力有限。今年4月5日,Open AI就因需求量過大為由關(guān)閉過ChatGPT Plus的付費渠道,這意味著僅發(fā)布幾個月,OpenAI就曾面臨算力缺口。
那么問題就來了,GPU燒錢且有限的算力現(xiàn)況,對于大模型來說是否就是最優(yōu)解?
“蹭”大模型和AIGC的熱度,業(yè)內(nèi)也涌現(xiàn)技術(shù)及方案的“混戰(zhàn)”。國內(nèi)外云計算大廠發(fā)力自研芯片和軟硬件系統(tǒng)優(yōu)化、二級市場CPO(共封裝光學(xué))概念股一路飆升、存算跳出來說是“突破困境的清晰路線”、量子計算更是被認(rèn)為“最具潛力的破局者”。
在投算力未來上,投資人也開始兵分幾路,有人堅定燒GPU、有人開始刷起模型訓(xùn)練優(yōu)化的項目,更有投資過存算、Chiplet的VC計劃在賽道內(nèi)尋找更優(yōu)的投資標(biāo)的,還有投資量子計算的機(jī)構(gòu)在期待從底層到上層的一場算力革命的大爆發(fā)。
儼然,這場“算力軍備競賽”在一級市場,已經(jīng)暗潮涌動。
國產(chǎn)GPU:以量取勝
大模型的發(fā)展有算法、算力、數(shù)據(jù)三大重要因素。
算力是大模型訓(xùn)練的重要能量引擎,也是目前國內(nèi)發(fā)展大模型產(chǎn)業(yè)的一大壁壘。芯片能力直接影響著高算力訓(xùn)練效果和速度,故而高端GPU芯片的數(shù)量多少,成為業(yè)內(nèi)判斷企業(yè)大模型能力的重要指標(biāo)。
然而,對于國內(nèi)大模型玩家而言,高端GPU芯片面臨著進(jìn)口受限的問題,已經(jīng)由“買不買得起”變?yōu)椤坝貌挥玫蒙稀薄?jù)此前媒體報道,國內(nèi)云廠商主要采用的是英偉達(dá)的中低端性能產(chǎn)品,譬如GPU A800。
在國外芯片能否撐起大模型的算力需求疑問下,一眾GPU國產(chǎn)廠商也在抓住國產(chǎn)替代的契機(jī)。
但是,國內(nèi)GPU芯片的云端訓(xùn)練公司如壁仞科技(通用GPU芯片BR100)、天數(shù)智芯(“智鎧100”)、寒武紀(jì)(云端推理思元270)的產(chǎn)品雖在多媒體和圖形處理的單精度浮點計算FP32的理論指標(biāo)上做得不錯,但沒有處理FP64的能力。
而大模型訓(xùn)練需要處理高顆粒度的信息,對云端訓(xùn)練芯片的芯片處理信息的精細(xì)度和算力速度要求更高,在超算領(lǐng)域,雙精度浮點計算能力FP64是進(jìn)行高算力計算的硬性指標(biāo)。
英偉達(dá)的A100就同時具備上述兩類能力。
根據(jù)公開消息,目前國內(nèi)唯一支持FP64雙精度浮點運算的只有海光推出的DCU(協(xié)處理器),但是它的性能只有A100的60%左右。
對此,戈壁創(chuàng)投VP俞悅坦言,雖然目前燒GPU是最為現(xiàn)實的方案,但就國內(nèi)GPU廠商的角度,還需要更多時間去追趕。
普華資本合伙人蔣純則認(rèn)為,技術(shù)差距是一方面,還有一方面是美國卡脖子的問題,這就要求國內(nèi)企業(yè)想做高端GPU芯片,要有能力走出一條從設(shè)備到材料,完全國產(chǎn)化的道路。如果做不到,就只能退而求其次。
但這樣的國產(chǎn)GPU對于大模型是否就無用了?不然。
蔣純進(jìn)一步解釋,國產(chǎn)GPU即便做不出最強(qiáng)大,但也能做出目前所需要的產(chǎn)品,只是更多是以低端的GPU去追趕和堆疊,讓一堆GPU通過優(yōu)化和協(xié)調(diào)來協(xié)同作用,即以量取勝、再去組合模擬優(yōu)化的路徑。
值得注意的是,GPU越堆越多,內(nèi)部管理的難度也就越大,故而提高GPU并行運行的資源利用率,做模型推理/訓(xùn)練優(yōu)化的項目也開始在VC圈開始涌現(xiàn),成為了一線投資人研究的方向之一。
但就蔣純來說,這類項目雖然有價值,也是個不錯的方向,但并不足以戳中他的心巴。他坦言,有時候有價值的事不一定有好的商業(yè)模式。
“就系統(tǒng)來說,阿里、華為等大廠一定比小公司有優(yōu)勢。因為技術(shù)從大環(huán)境里磨練出來,最后應(yīng)用到大環(huán)境里。創(chuàng)業(yè)公司獨立做,大公司一上來就學(xué)走了,要不就是技術(shù)賣給大廠?!?/p>
而就GPU芯片而言,大廠又未必有絕對優(yōu)勢,反倒給了創(chuàng)業(yè)公司機(jī)會。
他表示,雖然大廠有資金、場景,但存在一個老問題,就是以部門形式來做,無法做到創(chuàng)業(yè)公司all in的 “瘋狂”。而芯片有知識產(chǎn)權(quán)以及商業(yè)壁壘,創(chuàng)業(yè)公司有能力將芯片賣給大廠。
GPU“防守”,存算“包抄”
值得注意的是,燒GPU,并非長久之策。
動輒幾億算力投入的模型訓(xùn)練階段只是開始,模型推理應(yīng)用階段算力成本更是可能高達(dá)百億級別。大算力之下,背后的功耗更是驚人。
環(huán)球零碳研究中心曾粗略合計了ChatGPT全生命周期的碳足跡:自 2022 年 11 月 30 日運行以來,其制造設(shè)備的碳排放量超過了33. 41 噸,模型訓(xùn)練碳排放超過 552 噸,運行 60 天碳排放約為229. 2 噸。
而隨著模型越來越大,按照傳統(tǒng)方式計算將越來越麻煩。而國內(nèi)想用高端GPU這一傳統(tǒng)的數(shù)字電路方法來解決大算力,存在上游材料、設(shè)備等根本障礙,短期難以解決。
面對未來潛在的算力指數(shù)增長,也有不少企業(yè)和VC開啟了換擋操作,以存算、Chiplet等技術(shù),來達(dá)到能夠支撐大模型的算力。
其中,就存算賽道來說,身處一線的蔣純明顯感覺到變熱鬧了。
2019年投知存科技時,他發(fā)現(xiàn)很多人還不知道存內(nèi)計算,而現(xiàn)在這個高技術(shù)壁壘的賽道,他觀察到創(chuàng)業(yè)公司可能有近10家,且熱度還在持續(xù)升溫。
“越來越多人會發(fā)現(xiàn)存內(nèi)計算在全球的大模型時代非常重要。傳統(tǒng)的計算機(jī)體系架構(gòu)是適應(yīng)計算密集型應(yīng)用的,而現(xiàn)在AI都是數(shù)據(jù)密集型應(yīng)用,所以一定要有新的架構(gòu)來更好地應(yīng)對AI這種數(shù)據(jù)密集型應(yīng)用。從原理上來說,存內(nèi)計算是一種解決AI算力需求的根本性手段,而且相較于量子計算、光計算而言更有望在短期內(nèi)實現(xiàn)出來。芯粒跟堆疊也會對AI類計算提供幫助?!?/p>
蔣純表示,存算即用器件本身特性來算,相當(dāng)于是一次并行計算,譬如ChatGPT 1700多億參數(shù),傳統(tǒng)的數(shù)字電路要算很多次,而存算可能一個節(jié)拍就能算完。至于堆疊,則是將一片memory和一片邏輯電路堆在一起,創(chuàng)造了一個有巨大內(nèi)存的CPU,應(yīng)用在大模型上就會非常好地加速運算。
蔣純對賽道的感受的確也跟公開數(shù)據(jù)表現(xiàn)相一致。
據(jù)企查查數(shù)據(jù)顯示,存算賽道2018年-2019年融資交易數(shù)量為11筆,而2020年至今,融資交易數(shù)為28筆,其中有22筆集中在2021年至2022年間,加速態(tài)勢明顯。
但他也指出,目前全球已經(jīng)商用的存算還是用在邊緣端,譬如高保真降噪耳機(jī)等,以低功耗帶來高算力。與此同時,從公司戰(zhàn)略上來看,目前存算企業(yè)可分為兩派。
一派是上來就大容量的計算,要狂投入研發(fā)成本,短期看不出結(jié)果,融資幾輪估值上百億,但最后沒有成果,就會越到后面越難做,可能就無人接盤;而另一派則是小步快跑,先流片、應(yīng)用,甚至搭生態(tài),邊研發(fā)邊回血,讓投資人有信心續(xù)投,也是蔣純認(rèn)為國內(nèi)存算企業(yè)更現(xiàn)實的發(fā)展戰(zhàn)略。
據(jù)他觀察,現(xiàn)在大模型出來之后,投資人在看到市場的前景下,對這兩派存算企業(yè)都有意愿去投錢,即使當(dāng)下沒有成果展示。
“我們投的時候,這些技術(shù)肯定有很多的不確定性,譬如能不能做出來,能不能成為主流?,F(xiàn)在來看確定性是越來越高了,存算企業(yè)都在做大模型支撐的相關(guān)研發(fā),優(yōu)質(zhì)項目會呈現(xiàn)加速發(fā)展的態(tài)勢。我認(rèn)為5年內(nèi),存算能夠成為一個比較成熟的解決方案,甚至有可能是主流解決方案?!?/p>
在這場全球技術(shù)較量中,蔣純認(rèn)為GPU跟存算是合大于競的關(guān)系:GPU作為目前最成熟的方案,不能放棄,需要有一批公司扛著,來正面剛;而存算屬于包抄穿插進(jìn)攻,打破國外技術(shù)壁壘,實現(xiàn)新技術(shù)的換道超車。
防御進(jìn)攻都有了,量子計算還能做什么?
按照上述所說,大模型算力之爭,短期看GPU自研,中期看存算、Chiplet,那么被投資人視為新計算方向的量子計算在其中又能扮演什么角色?
事實上,VC對量子計算的關(guān)注不只限于此次ChatGPT的熱潮,AR/VR、5G等新應(yīng)用場景的不斷涌現(xiàn),以及各類型的應(yīng)用場景爆發(fā)式增長,讓市場對算力的需求水漲船高,產(chǎn)業(yè)亟待挖掘具有顛覆性的計算形式。
量子計算作為一種新型架構(gòu)的計算,可以實現(xiàn)指數(shù)級算力提升,更可謂是不得不關(guān)注的焦點。
據(jù)企查查數(shù)據(jù)顯示,2017年至今,國內(nèi)量子計算賽道共完成31起融資事件,公開披露融資金額超25億元,融資主要發(fā)生在2021年及以后,占比近7成。其中圖靈量子、本源量子、量旋科技、玻色量子、國儀量子等在近年獲多輪融資。
對于這一疑問,量旋科技CEO項金根對量子計算跟經(jīng)典計算機(jī)的算力差距,給出了飛機(jī)和地面交通工具的比喻。
他表示,當(dāng)下存算、光芯片、其他一些封裝的改進(jìn)技術(shù),本質(zhì)上還是經(jīng)典計算機(jī)的范疇,它運算的原理跟GPU本質(zhì)上沒有太大改變,更多是在傳統(tǒng)的框架下做的一些改進(jìn),使得人工智能的芯片效率更高。
對于現(xiàn)有的AI芯片、存算一體或其他封裝技術(shù)對AI算力的提升,項金根表示認(rèn)可,同時他也認(rèn)為需要不同維度去看不同解決方案對算力的助力,這里面不一定存在最優(yōu)解。
“未來,量子計算機(jī)肯定能夠助力人工智能。AI需要的算力會越來越多,到 2030 年左右可能不光是算力,連耗電量都是非??植赖臄?shù)據(jù)級。所以要真正解決AI大規(guī)模的算力需求,量子計算機(jī)是一個很有潛力的應(yīng)用方向,而且量子計算機(jī)的運算模式跟人工智能有天然的貼合性,量子計算機(jī)可以加速AI的一些應(yīng)用場景,而AI亦可以加速量子計算的研發(fā),優(yōu)化其操控精度?!?/p>
那么,如此具有革命性的量子計算何時能應(yīng)用到AI領(lǐng)域?項金根認(rèn)為,到2030年行業(yè)發(fā)展順利進(jìn)入容錯量子計算階段,將可能是一個落地的時間點。
相較于項金根給出的10年之約,俞悅認(rèn)為量子計算相關(guān)算法在一些行業(yè)特定任務(wù)上的嘗試落地,在這個時間點可能會有一些結(jié)果,至于解決AI的通用任務(wù)上,他則相對保守地給出了“50年”的看法。甚至投了圖靈量子的聯(lián)想創(chuàng)投也表示,量子計算從產(chǎn)業(yè)化的角度看,仍挑戰(zhàn)諸多,充滿機(jī)遇。
聯(lián)想創(chuàng)投坦言,量子計算落地需要解決百萬量子比特操縱能力、低環(huán)境要求、高集成度等核心問題,具有較高的入局門檻,其產(chǎn)業(yè)化仍面臨技術(shù)路徑不確定、人才儲備稀缺、產(chǎn)業(yè)鏈配套早期以及無法用傳統(tǒng)的邏輯、電路思維進(jìn)行推導(dǎo)和復(fù)刻的四大痛點。
如此看來,這些問題待解之下,量子計算就略微顯得理想豐滿、現(xiàn)實骨感。
此外,俞悅還指出,從邏輯上說,量子計算肯定能解決很多算力問題,但即便如此,還需要結(jié)合成本,才能知道量子計算是不是一個從投入產(chǎn)出看的最佳方案。
在俞悅看來,眼下量子計算行業(yè)還未發(fā)生一些根本性的變化進(jìn)展,中短期與其寄希望于其他方案來解決大模型所遇到的算力問題,不如指望GPU這些經(jīng)典計算的硬件價格能下來。
“解決算力的成本肯定會越來越便宜,GPU價格對于大模型玩家來說只是暫時的,終究不會對AI發(fā)展構(gòu)成太大瓶頸。而其他方案的成熟還需要很多配套的軟件生態(tài)匹配,相對來說更是一個非常長周期的事情?!?/p>
關(guān)鍵詞: