大模型爭霸的下一站：不僅是超越GPT-4，更是尋求模型之間的平衡應(yīng)用

文 | 智能相對(duì)論

作者 | 沈浪

知名科學(xué)雜志《Nature》發(fā)表了一篇關(guān)于大模型規(guī)模參數(shù)大小爭議的文章《In Al, is bigger always better?》——AI大模型，越大越好嗎？隨著大模型應(yīng)用走向?qū)嵺`，這一問題不可避免地成為了當(dāng)前AI行業(yè)發(fā)展的焦點(diǎn)與爭議。

有人認(rèn)為，大模型當(dāng)然是越大越好，參數(shù)越大，性能越優(yōu)。也有人認(rèn)為，小模型更好，消耗更小，更能精準(zhǔn)地解決專業(yè)問題。兩相對(duì)比之下，各有各的道理，懸而未決，究竟什么才是AI大模型發(fā)展的出路？

這一問題或許在日前商湯科技舉辦的技術(shù)交流日活動(dòng)上有所解答。在活動(dòng)現(xiàn)場，商湯科技發(fā)布了行業(yè)首個(gè)“云、端、邊”全棧大模型產(chǎn)品矩陣，以滿足不同規(guī)模場景的應(yīng)用需求，對(duì)大模型的場景應(yīng)用提出了新的思路，并且全新升級(jí)了“日日新SenseNova 5.0”大模型體系，綜合能力全面對(duì)標(biāo)GPT-4 Turbo。

當(dāng)然，在當(dāng)前節(jié)點(diǎn)上，領(lǐng)先的意義已經(jīng)不僅僅是超越GPT-4，更是探索出能解決實(shí)際應(yīng)用問題的有效路徑。

01、離譜or靠譜？日日新端側(cè)大模型“暴打”GPT-4

在技術(shù)交流日活動(dòng)的現(xiàn)場，商湯科技以一個(gè)很有趣的畫面闡釋了大模型與小模型之間的差別?；谌视螒虻漠嬅嫜菔?，商湯科技將自家的SenseChat-Lite 版本日日新端側(cè)?模型與GPT-4進(jìn)行PK。

一開始，GPT-4還能略占上風(fēng)，但是SenseChat-Lite出拳速度更快，隨后各種連招打到他根本反應(yīng)不過來，只得被商湯科技的模型“暴打”，直接K.O出局。

這一結(jié)局似乎太離譜了？商湯科技對(duì)此做了解釋：實(shí)際上其中的差距并非模型能力強(qiáng)弱問題，而是在不同的適用場景之下小模型決策速度快。當(dāng)大模型還在計(jì)算的時(shí)候，小模型已經(jīng)完成了判斷并且出拳了，而且實(shí)實(shí)在在打到了對(duì)手身上。

正所謂，“天下武功，唯快不破”！對(duì)比大模型，小模型在具體的場景應(yīng)用中有著更明顯的決策優(yōu)勢。

因此，業(yè)內(nèi)正在形成一個(gè)全面的共識(shí)：在實(shí)際應(yīng)用中，大模型并非越大越好，而是得看具體場景需求。前不久，美國AI公司Anthropic發(fā)布Claude 3系列模型，一度超越GPT-4，登頂全球最強(qiáng)大模型。其中Claude 3系列就給出了不同量級(jí)的模型產(chǎn)品，包括Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus，以便適用于不同的企業(yè)和場景。

同樣的，基于這一思路，商湯科技也在搭建完善的基模型體系與小模型系統(tǒng)方案，并發(fā)布了一系列的垂類大模型和端側(cè)大模型。其中，SenseChat-Lite版本端側(cè)大模型就可以面向手機(jī)、平板、VR 眼鏡、智能汽車等提供輕量、高效的大模型能力，結(jié)合端云解決方案，及時(shí)適應(yīng)變化的環(huán)境和需求，保持高性能和準(zhǔn)確性。

對(duì)比來說，中國更注重實(shí)踐。商湯科技在這個(gè)思路上給出的解決方案更具有主動(dòng)性和服務(wù)意識(shí)以及更有實(shí)踐價(jià)值。具體的，商湯端側(cè)大模型不僅是參數(shù)量級(jí)小，還講究端側(cè)部署與端側(cè)處理能力的強(qiáng)化，在解決實(shí)際問題上響應(yīng)更快速。

與此同時(shí)，商湯科技還面向金融、代碼、醫(yī)療、政務(wù)等多個(gè)領(lǐng)域推出了邊緣產(chǎn)品“商湯企業(yè)級(jí)大模型一體機(jī)”，在實(shí)際場景應(yīng)用中更能滿足專業(yè)化需求，主動(dòng)貼合客戶需求。比如，“大醫(yī)”醫(yī)療健康大模型一體機(jī)就可以在醫(yī)療機(jī)構(gòu)內(nèi)部一鍵部署大模型應(yīng)用，實(shí)現(xiàn)“開箱即用”，并有效針對(duì)智能問診、導(dǎo)診、病歷結(jié)構(gòu)化、影像報(bào)告解讀等場景，支持智能調(diào)整回復(fù)內(nèi)容的語言風(fēng)格、詳略程度、格式要求等。

當(dāng)然，這也是目前商湯科技在AI大模型領(lǐng)域領(lǐng)先行業(yè)的關(guān)鍵點(diǎn)。同樣的思路，以小模型為應(yīng)用焦點(diǎn)，商湯比別人多走了幾步，提出了軟硬兼顧的解決方案。

02、在尺度定律之下，沒有永恒的“最強(qiáng)”，唯有“日日新”

從經(jīng)濟(jì)性而言，小模型更利于企業(yè)應(yīng)用與解決實(shí)際問題。那么，是否對(duì)于AI行業(yè)而言，就不需要訓(xùn)練大模型了？

實(shí)則不然。

在技術(shù)交流日活動(dòng)現(xiàn)場，商湯科技提到了一個(gè)同為業(yè)內(nèi)共識(shí)的理論：尺度定律。在普遍的認(rèn)知中，以尺度定律為參考，隨著模型的參數(shù)變大、數(shù)據(jù)量變大、訓(xùn)練時(shí)長加長，則算法性能會(huì)越來越好。

OpenAl于2020年曾發(fā)布一篇論文《Scaling Laws for Neural Language Models》，其中也有類似的觀點(diǎn)，即模型性能隨著模型參數(shù)大小的增長而變好。因此，在后續(xù)的大模型迭代中，OpenAI通過構(gòu)建一個(gè)巨大的海量數(shù)據(jù)集，再簡單增加GPT模型的深度，就做出了具有驚人的涌現(xiàn)能力的大模型產(chǎn)品。

對(duì)此，很多廠商也作了相關(guān)驗(yàn)證，包括谷歌、商湯科技等。其中，谷歌曾精調(diào)了三個(gè)尺寸的Minerva模型，分別使用了80億，620億和5400億個(gè)參數(shù)的預(yù)訓(xùn)練PaLM模型。

結(jié)果發(fā)現(xiàn)，Minerva的性能隨著規(guī)模的擴(kuò)大而提高。在整個(gè)MATH數(shù)據(jù)集上，最小模型的準(zhǔn)確率為25%，中型模型達(dá)到43%，最大模型突破50%大關(guān)。

由此，基于尺度定律的認(rèn)知，他們發(fā)現(xiàn)自家的模型產(chǎn)品在一定測試級(jí)上超越GPT-4的能力，并非不可能。如今，商湯科技發(fā)布的最新的“日日新SenseNova 5.0”大模型體系，其性能就超越了GPT-4。

其中，日日新·商量大模型5.0主模型在語言、知識(shí)、推理、數(shù)學(xué)、代碼等領(lǐng)域的能力，在主流客觀評(píng)測上就達(dá)到或超越了GPT-4 Turbo，在聊天、多輪對(duì)話、信息提取、寫作等場景能和GPT-4 Turbo相媲美。

更值得一提的是，日日新·商量多模態(tài)大模型的圖文感知能力達(dá)到了全球領(lǐng)先水平，在多模態(tài)大模型權(quán)威綜合基準(zhǔn)測試MMBench中綜合得分排名首位，并在多個(gè)知名多模態(tài)榜單MathVista、AI2D、ChartQA、TextVQA、DocVQA、MMMU 取得領(lǐng)先成績。

換句話說，在尺度定律的認(rèn)知下，GPT-4被超越是遲早的事情，AI大模型領(lǐng)域沒有永恒的“最強(qiáng)”。

當(dāng)然，若要登頂最強(qiáng)，雖說可行，但絕不簡單。大模型的參數(shù)爭議，其中就有能耗的問題。谷歌曾坦言，PaLM的訓(xùn)練在2個(gè)月內(nèi)消耗了大約300個(gè)美國家庭一年的電力消耗，其中所需要的算力、數(shù)據(jù)等基礎(chǔ)設(shè)施絕非常規(guī)企業(yè)可以負(fù)擔(dān)。

在這一點(diǎn)上，商湯科技秉持“大模型+大算力”的“雙輪驅(qū)動(dòng)”戰(zhàn)略布局又一次為其拓寬了道路。其中，SenseCore商湯大裝置作為商湯科技前瞻決策所打造的高效率、低成本、規(guī)?；男乱淮鶤I基礎(chǔ)設(shè)施，可以支撐超過20個(gè)千億超大模型同時(shí)訓(xùn)練，并支持萬億參數(shù)大模型的全生命周期生成，為大模型的打造提供了非常關(guān)鍵的支撐。

簡單來說，雖說有尺度定律作為理論支持，但是以SenseCore商湯大裝置為代表的大算力才是商湯科技能超越GPT-4的底氣。從這個(gè)角度來看，商湯科技做AI，比大多企業(yè)要更加純粹且徹底。

03、大模型的最優(yōu)解，是場景平衡

從國內(nèi)外的實(shí)驗(yàn)與實(shí)踐來看，模型的大小之爭意義不大，離開基礎(chǔ)理論和場景應(yīng)用去拋棄任何一方都不可取。因此，目前主流的AI廠商在迭代和發(fā)布系列模型時(shí)，往往都會(huì)推出主模型與小模型以及垂類專業(yè)模型，根據(jù)場景需求按需提供服務(wù)。

這一點(diǎn)將在接下來的時(shí)間里拉開專業(yè)AI服務(wù)商之間的差距。目前，日日新SenseNova5.0大模型體系采用了混合專家模式，這樣做的目的在于通過將模型分割成多個(gè)具有專門功能的模塊，使得模型在推理過程中能更有效地利用計(jì)算資源，并可能提高模型的泛化能力和應(yīng)對(duì)復(fù)雜任務(wù)的性能。

具體來看，商湯瓊宇發(fā)布的3D高斯?jié)姙R技術(shù)，就具備輕量化的web渲染能力，可以產(chǎn)生更輕量的模型資產(chǎn)，使城市級(jí)三維模型的構(gòu)建和編輯重建效果更加真實(shí)，成本更低，也可以應(yīng)用在更多場景。

這是混合專家模式思想在實(shí)際應(yīng)用中的體現(xiàn)，通過不同技術(shù)和模型組件之間的配合，實(shí)現(xiàn)了對(duì)特定任務(wù)定制化處理和資源優(yōu)化，從而加速大模型在不同場景中的應(yīng)用，實(shí)現(xiàn)AI普惠。目前，瓊宇已服務(wù)客戶超過60個(gè)，實(shí)現(xiàn)了15個(gè)城市120多種場景的重建。

因此，當(dāng)我們把目光投遞到實(shí)際中的場景問題，就會(huì)發(fā)現(xiàn)大模型和小模型均有用武之地，問題則在于如何去平衡地調(diào)配資源，實(shí)現(xiàn)最優(yōu)解。由此來看，商湯科技對(duì)混合專家模式的應(yīng)用，可以視為是一種領(lǐng)先行業(yè)的熟練決策。

未來不屬于大模型或小模型，而是大小模型之間的平衡。因此，“AI大模型是否越大越好”類似的問題不必糾結(jié)，但需要面對(duì)，即如何去打造大模型，又如何把大模型的能力調(diào)配出小模型服務(wù)好市場，會(huì)是各大廠商接下來的必修課程。

*本文圖片均來源于網(wǎng)絡(luò)

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。