科技云報道原創(chuàng)。
在19世紀的淘金熱中,最賺錢的并不是挖金礦的,反而是那些賣鏟子、賣牛仔褲的人。正如賣鏟人在淘金熱中成為最大贏家,在當今AIGC時代,AI Infra也扮演著類似的角色。
如果用云計算三層構(gòu)架做類比,AI Infra與PaaS層級相似,是鏈接算力和應(yīng)用的中間層基礎(chǔ)設(shè)施,包括硬件、軟件、工具鏈和優(yōu)化方法等,為大模型應(yīng)用開發(fā)提供一站式模型算力部署和開發(fā)工具平臺。算力、算法、數(shù)據(jù)可以看作IaaS層,各種開源和閉源模型則是SaaS在大模型時代的新演變,即MaaS。
隨著大模型應(yīng)用落地的進程不斷加速,AI Infra的價值潛力被進一步釋放。中金數(shù)據(jù)預測,目前,AI Infra產(chǎn)業(yè)處于高速增長的發(fā)展早期,未來3-5年內(nèi)各細分賽道空間或保持30%的高速增長。
當大模型進入大規(guī)模應(yīng)用落地時期,提供大模型訓練、部署和應(yīng)用時所需的基礎(chǔ)設(shè)施成為關(guān)鍵一環(huán),AI Infra成為大模型應(yīng)用爆發(fā)背后“掘金賣鏟”的最佳生意。
中臺模式解鎖AI生產(chǎn)力
從ICT產(chǎn)業(yè)的演進軌跡來看,三層架構(gòu)似乎是宿命般的終極圖景。在傳統(tǒng)的本地部署階段,操作系統(tǒng)、數(shù)據(jù)庫、中間件等基礎(chǔ)軟件通過控制硬件交互、存儲管理數(shù)據(jù)、網(wǎng)絡(luò)通信調(diào)度等功能,解決底層硬件系統(tǒng)的復雜性難題,讓上層應(yīng)用開發(fā)者能專注于業(yè)務(wù)邏輯進行創(chuàng)新。
在云定義一切的時代,也形成了IaaS、PaaS、SaaS協(xié)同進化的經(jīng)典架構(gòu),其中PaaS層提供應(yīng)用開發(fā)環(huán)境和數(shù)據(jù)分析管理等服務(wù),為云計算加速滲透奠定了堅實基礎(chǔ)。
經(jīng)歷了漫長的蟄伏期后,AIGC按下了人工智能通用化進程的快進鍵,整個產(chǎn)業(yè)在狂飆突進的氛圍中急速重構(gòu)。算力與應(yīng)用無疑是最耀眼的主角,但二者之間的鴻溝堪比天塹,大模型面臨“懸浮”或“踏空”的風險。
從這個意義上講,AI Infra猶如一座橋,可以承擔類似基礎(chǔ)軟件或PaaS曾經(jīng)扮演的角色——通過構(gòu)建新型的軟件棧及綜合服務(wù),賦能算力挖潛、模型優(yōu)化和應(yīng)用開發(fā),成為連接算力與應(yīng)用的中堅力量。
AI Infra涵蓋一切跟開發(fā)部署相關(guān)的工具和流程。隨著云計算的不斷發(fā)展,又逐漸衍生出了DataOps、ModelOps、DevOps、MLOps、LLMOps等一些XOps的概念。
從宏觀的角度來看,所有XOps本質(zhì)上是為了開發(fā)部署生命周期的提效。比如DataOps是為IaaS層的存儲和PaaS層的數(shù)據(jù)處理提效的,DevOps、MLOps實際上是為PaaS層開發(fā)部署提效的,LLMOps是為MaaS層提效的。
事實上,在AIGC風起云涌之前,關(guān)于AI中臺的理論與實踐就已如火如荼地展開。但當時的AI中臺更像是“救火隊員”,功能比較龐雜,干了不少“臟活”、“累活”,卻難以獲得上下游的認可。
大模型為AI平臺化搭建起更寬廣的舞臺,也讓AI Infra“掘金賣鏟”的邏輯更具確定性,進而贏得可觀的發(fā)展空間。相關(guān)機構(gòu)預測顯示,未來3~5年AI Infra產(chǎn)業(yè)將保持30%+的高速增長。
就像“三明治”的兩片面包間可以有無數(shù)種夾層選擇,身處算力與應(yīng)用之間的AI Infra同樣不拘一格。從廣義上看,AI Infra涵蓋人工智能基礎(chǔ)框架技術(shù),涉及大模型訓練、部署領(lǐng)域的各種底層設(shè)施;狹義而言,基礎(chǔ)軟件棧是AI Infra的核心組成部分,優(yōu)化算力算法、促進應(yīng)用落地是其主要目標。
AI Infra定義的相對開放為不同的路徑探索提供了更多可能?;诟髯缘馁Y源稟賦與市場定位,業(yè)界的資深廠商與新興玩家正在積極拓展AI Infra的疆界,不少做法值得借鑒。
AI Infra將是下一個應(yīng)用熱點?
相比模型價值,卷AI應(yīng)用成為行業(yè)共識。李彥宏堅信,基礎(chǔ)模型之上將誕生數(shù)以百萬計的應(yīng)用,它們對于現(xiàn)有業(yè)態(tài)的改造作用,比從0到1的顛覆作用更大。
如今AI應(yīng)用的供給在不斷增加,IDC在年初時預測,2024年全球?qū)⒂楷F(xiàn)出超過5億個新應(yīng)用,這相當于過去40年間出現(xiàn)的應(yīng)用數(shù)總和。
最近,視頻生成類模型產(chǎn)品扎堆出現(xiàn),快手的可靈、字節(jié)跳動的即夢、商湯的Vimi集體亮相,此外還有AI搜索產(chǎn)品、AI陪伴類產(chǎn)品等層出不窮。
大模型應(yīng)用爆發(fā)趨勢已然確定,根據(jù)InfoQ研究中心數(shù)據(jù),2030年AGI應(yīng)用市場規(guī)模將達4543.6億元,模型應(yīng)用層的巨大機會已經(jīng)吸引了幾乎各行各業(yè)的參與。
而在大模型應(yīng)用之下,AI Infra成為其爆發(fā)的隱藏推手。
目前,大模型產(chǎn)業(yè)鏈大致可以分為數(shù)據(jù)準備、模型構(gòu)建、模型產(chǎn)品三個層次。在國外,AI大模型的產(chǎn)業(yè)鏈比較成熟,形成了數(shù)量眾多的AI Infra(架構(gòu))公司,但這一塊市場在國內(nèi)還相對空白。
在充滿不確定性的道路上,率先找到清晰的賽道,快速建立顯著的里程碑尤為重要。AI Infra市場尚處于混沌期,每個科技巨頭都希望在自己的生態(tài)中形成閉環(huán)。
在國內(nèi),巨頭們都有一套自己的訓練架構(gòu)。
比如,華為的模型采用的是三層架構(gòu),其底層屬于通識性大模型,具備超強的魯棒性的泛化性,在這之上是行業(yè)大模型和針對具體場景和工作流程的部署模型。這種構(gòu)架的好處是,當訓練好的大模型部署到垂類行業(yè)時,可以不必再重復訓練,成本僅是上一層的5%~7%。
阿里則是為AI打造了一個統(tǒng)一底座,無論是CV、NLP、還是文生圖大模型都可以放進去這個統(tǒng)一底座中訓練,阿里訓練M6大模型需要的能耗僅是GPT-3的1%。
百度和騰訊也有相應(yīng)的布局,百度擁有覆蓋超50億實體的中文知識圖譜,騰訊的熱啟動課程學習可以將萬億大模型的訓練成本降低到冷啟動的八分之一。
整體來看,各個大廠之間的側(cè)重點雖然有所不同,但主要特點就是降本增效,而能夠?qū)崿F(xiàn)這一點,很大程度上就是受益于“一手包辦”的閉環(huán)訓練體系。
反觀國外,成熟的AI產(chǎn)業(yè)鏈形成了數(shù)量眾多的AI Infra公司。
如果把開發(fā)AI應(yīng)用看成建房子,那么AI Infra就是提供水泥鋼筋的施工隊。AI Infra施工隊的價值點在于它是一個集成平臺,將下層的算力芯片層與上層的AI應(yīng)用層打通,讓開發(fā)者實現(xiàn)一鍵調(diào)用,并且實現(xiàn)降低算力成本、提升開發(fā)效率并且保持模型優(yōu)秀性能的效果。
讓應(yīng)用更簡單,讓AI落地更便捷,是AI Infra的使命??梢哉f,AI應(yīng)用的市場有多大,AI Infra的機會就有多大。
AI Infra公司有的專門做數(shù)據(jù)標注、做數(shù)據(jù)質(zhì)量、或者模型架構(gòu)等。這些企業(yè)的專業(yè)性,能夠讓他們在某一個單一環(huán)節(jié)的效率、成本、質(zhì)量上都要比大廠親自下場做得更好。
比如,數(shù)據(jù)質(zhì)量公司Anomalo就是Google Cloud和Notion的供應(yīng)商,它可以通過ML自動評估和通用化數(shù)據(jù)質(zhì)量檢測能力,來實現(xiàn)數(shù)據(jù)深度觀察和數(shù)據(jù)質(zhì)量檢測。
這些公司就像汽車行業(yè)的Tier 1,通過專業(yè)的分工,能夠讓大模型企業(yè)不必重復造輪子,而只需要通過整合供應(yīng)商資源,就能快速地搭建起自己模型構(gòu)架,從而降低成本。
但國內(nèi)在這一方面并不成熟,原因在于:一方面國內(nèi)大模型的主要玩家都是大廠,他們都有一套自己的訓練體系,外部供應(yīng)商幾乎沒有機會進入;另一方面,國內(nèi)也缺乏足夠龐大的創(chuàng)業(yè)生態(tài)和中小企業(yè),AI供應(yīng)商也很難在大廠之外找到生存的空間。
以谷歌為例,谷歌愿意將自己訓練的數(shù)據(jù)結(jié)果分享給它的數(shù)據(jù)質(zhì)量供應(yīng)商,幫助供應(yīng)商提高數(shù)據(jù)處理能力,供應(yīng)商能力提升之后,又會反過來給谷歌提供更多高質(zhì)量數(shù)據(jù),從而形成一種良性循環(huán)。
國內(nèi)AI Infra生態(tài)的不足,直接導致的就是大模型創(chuàng)業(yè)門檻的拔高。如果將在中國做大模型比喻成吃上一頓熱乎飯,那必須從挖地、種菜開始。
目前,在AI 2.0的熱潮中,一個重要的特點就是“兩極化”:最熱門的要么是大模型層、要么就是應(yīng)用層。而類似AI Infra的中間層,反而是很大的真空地帶,也可能是下一個機遇所在。
鏟子難賣,金礦難挖
盡管在大模型應(yīng)用爆發(fā)的當下,AI Infra層潛藏著巨大的生意。但是對于這些做AI Infra的公司來說,即使他們在自己的專業(yè)領(lǐng)域如此強大,在潮水的變化面前依然脆弱。
英偉達CUDA生態(tài)已經(jīng)發(fā)展了20年,在AI領(lǐng)域,最先進的模型和應(yīng)用都首先在CUDA上跑起來。
每個硬件之間都有不同的接口,CUDA統(tǒng)一了不同接口之間的語言,讓使用者能夠用一套標準語言去使用不同硬件。在模型開發(fā)過程中,開發(fā)者勢必會趨同于在同一個語言體系中去完成自己的開發(fā)。而這實際上就構(gòu)成了英偉達CUDA生態(tài)厚度。
目前,CUDA生態(tài)在AI算力市場占據(jù)了90%以上的份額。不過隨著AI模型的標準化,模型之間結(jié)構(gòu)差異變小,不再需要調(diào)度多種大小模型,英偉達CUDA生態(tài)厚度在變薄。
即使如此,英偉達在算力市場也是絕對王者。據(jù)業(yè)內(nèi)人士預測,英偉達在接下來的3~5年當中,還會是整個AI硬件提供商中絕對的領(lǐng)頭羊,市場發(fā)展占有率不會低于80%。
對AI Infra層的賣鏟廠商來說,外有英偉達守礦人,堵在門口賣門票與鏟子,好不容易找到一條進入金礦的小路,卻發(fā)現(xiàn),里面的挖礦人已經(jīng)習慣“徒手”挖礦,不再接受新鏟子。
在國內(nèi),企業(yè)為軟件付費意愿低,且大多習慣集成式服務(wù)。國內(nèi)SaaS投資已經(jīng)降到冰點,如果AI Infra層廠商單靠賣硬件或軟件難以實現(xiàn)商業(yè)化。
伴隨AI應(yīng)用的快速發(fā)展,未來誰能夠為多樣化的應(yīng)用場景提供高效便捷的大模型一站式部署方案,誰就有可能在這場競爭中勝出。而這其中,底層技術(shù)、中層平臺、上層應(yīng)用缺一不可,只有讓各方面能力得到更全面、均衡地發(fā)展,才能在AI之路上走得更遠、更穩(wěn)健。
放眼未來,人工智能重塑千行百業(yè)的進程剛拉開帷幕,Al Infra鋪就的厚雪長坡有助于這個超級賽道行穩(wěn)致遠。今年,數(shù)據(jù)基礎(chǔ)設(shè)施已在頂層設(shè)計中“獨立門戶”,人工智能基礎(chǔ)設(shè)施戰(zhàn)略地位的躍遷亦不遙遠。
免責聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請自行核實相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 長壽只屬于1%的人?中科院提高NMN產(chǎn)量100倍,普羅大眾拿到入場券
- 小象超市,可能會成為下一個「美團打車」
- 庫克頻繁來訪難挽銷量頹勢,蘋果在華困境加劇
- 主打“真實”的快手三農(nóng)達人,僅150萬粉闖出單場千萬GMV
- 江湖老劉:漲價兇猛的共享充電寶,正被用戶拋棄
- 燒麥風波,董宇輝犯的三個錯誤
- TCL華星亮相2024深圳國際全觸與顯示展,美好視界觸手可及
- 藕粉缺“藕”,酸辣粉無“粉”,良品鋪子非“良品”?
- 青云科技連年虧損,押注智能算力似乎也無力回天
- 數(shù)據(jù)庫這場持久戰(zhàn),誰能最終打贏?
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。