丨劃重點
1. 大型模型的每次訓(xùn)練成本通常在數(shù)百萬美元以上,是一個非常消耗財力和計算資源的過程。
2. 參數(shù)是構(gòu)成模型本身的要素,類似大腦神經(jīng)元數(shù)量等指標(biāo),參數(shù)量大小決定了模型的復(fù)雜程度,但不意味著參數(shù)越大越好。
3. 大模型應(yīng)用普遍存在計算能力的不足、數(shù)據(jù)的問題、大模型訓(xùn)練所需的工具鏈以及缺乏專業(yè)團隊和經(jīng)驗四個問題。
4. 模型即服務(wù)意味著用戶只用關(guān)注模型本身,而無需關(guān)心模型本身底層的各類復(fù)雜算法和工程化的過程。
丨概述
ChatGPT爆火7個月,盡管關(guān)注度略有下降,但“現(xiàn)象級產(chǎn)品”已經(jīng)不足以形容這款來自人工智能時代的產(chǎn)品。
在很多人看來,以GPT為代表的大模型,是人類到達通用人工智能(AGI)時代的橋梁,無論是谷歌、微軟這樣的巨頭,還是剛剛成立的初創(chuàng)團隊,都希望押寶大模型賽道,拿到通往未來時代的門票,“萬模大戰(zhàn)”的局面就此誕生。
盡管人們對大模型、人工智能巨大的變革能力存在共識,但是在具體的模型、算法、數(shù)據(jù)和算力等領(lǐng)域存在不同的觀點和看法。
7月5日20:00,《亮見》獨家邀請到了騰訊云TI平臺產(chǎn)品負(fù)責(zé)人 侯方,直播解讀大模型數(shù)據(jù)、算力價值、應(yīng)用場景探索以及平臺對大模型創(chuàng)業(yè)的賦能理念。
在侯方看來,大模型的訓(xùn)練是一個成本非常高業(yè)務(wù),模型的參數(shù)量需要跟應(yīng)用場景匹配,越合適越好,算力則是越大越好,“大型模型的參數(shù)量越大,就需要更多的訓(xùn)練過程來填充這些參數(shù),這也意味著成本更高”。
與此同時,侯方也分享了與客戶共同推動大模型應(yīng)用方面的難題,包括 “計算能力的不足、數(shù)據(jù)的問題、大模型訓(xùn)練所需的工具鏈以及缺乏專業(yè)團隊和經(jīng)驗。”,與此同時他也提出了自己對大模型應(yīng)用的建議,他說,“從目前實際的經(jīng)驗來看,第一個需要解決的問題是確定適用的場景?!?/p>
侯方認(rèn)為會有越來越多的平臺加入到賦能的行列當(dāng)中,推出以模型即服務(wù)為代表的行業(yè)大模型精選商店,幫助解決客戶在模型和算力方面的難題,他也呼吁更多的團隊選擇這樣的形式踏入大模型時代的門檻,以解決企業(yè)大模型落地的成本和效率方面的問題。
以下為直播文字精華:
01
參數(shù)量越適合越好,算力越大越好
劉興亮:先科普一下大模型的參數(shù)量越大是否意味著越好?
侯方:大型模型看起來非常智能、復(fù)雜,實際上我們可以簡單地理解它只是一系列矩陣。這些矩陣在數(shù)學(xué)中表示各種值,通過大量的矩陣運算,完成整個智能的實現(xiàn)。
關(guān)于參數(shù)規(guī)模,自從ChatGPT問世以來,人們迅速開始進行比較。大家驚嘆于巨大的參數(shù)量,也意識到它產(chǎn)生了大量的智能涌現(xiàn)。
就模型本身而言,并不是說參數(shù)越大越好,也不是說參數(shù)越小越好,最重要的是要看你要解決什么問題。在不同問題場景下,你可能需要一個更大、更專業(yè)、更聚焦的模型,也可能只需要一個很小的模型。
所以,就參數(shù)量而言,從我的觀點來看,適合的才是最好的。
劉興亮:大模型參數(shù)是過去理解的數(shù)據(jù)嗎?如果用一句話來解釋可能是什么?
侯方:簡單來說,大型模型通過學(xué)習(xí)數(shù)據(jù)并將其轉(zhuǎn)化為其內(nèi)部的參數(shù),這是相對直觀的解釋。
數(shù)據(jù)是指我們用于大型模型學(xué)習(xí)的語料,也就是我們提供給它的知識,而參數(shù)則是構(gòu)成模型本身的要素,類似于我們大腦中的神經(jīng)元數(shù)量等指標(biāo),參數(shù)量的大小一定程度上體現(xiàn)的是模型的復(fù)雜程度。
需要注意的是,訓(xùn)練大型模型的成本與數(shù)據(jù)、參數(shù)息息相關(guān)。模型訓(xùn)練涉及的數(shù)據(jù)量會影響訓(xùn)練成本,學(xué)習(xí)100條知識與學(xué)習(xí)1000萬條知識的成本完全不同,因此數(shù)據(jù)規(guī)模對成本產(chǎn)生影響;而模型的參數(shù)量越大,就需要更多的訓(xùn)練數(shù)據(jù)和訓(xùn)練時間,這也意味著成本會更高。
從ChatGPT中可以看出,大型模型的每次訓(xùn)練成本通常在數(shù)百萬美元以上,所以這是一個非常消耗財力和計算資源的過程。
大模型發(fā)展進程圖,來源:新智元
劉興亮:說到大模型,算力是躲不開的話題,到底什么是算力,對于模型來說,它的價值在哪?
侯方:一般來說算力越大越好。
算力多意味著模型訓(xùn)練本身的耗時就會變短,訓(xùn)練模型,大模型的智能涌現(xiàn)過程有一些大力出奇跡的過程,所以如果你擁有更多的算力資源,那就在模型訓(xùn)練本身就有更多嘗試的可能性。
算力是指在AI大模型訓(xùn)練中的計算能力,通常指的是GPU卡,也就是用于圖形處理的顯卡。這些顯卡在并行計算方面非常擅長,并且內(nèi)置了芯片和處理單元。當(dāng)然,CPU也可能提供一定的算力,因為它是計算單元的一種形式,這就是算力的意義。
02
大模型應(yīng)用的四個難題
劉興亮:現(xiàn)如今企業(yè)對于大模型的需求體現(xiàn)在哪些方面?
侯方:自從大模型問世以來,我們與客戶交流和合作的頻次顯著增多。大家的想法和創(chuàng)意變得無限多樣化,我們也在不斷滿足各種各樣的需求。
在我之前接觸的客戶中,有幾個典型的例子,最常見的一個例子是客服領(lǐng)域應(yīng)用,以提升智能客服的體驗和效率。許多企業(yè)都會面臨類似的問題,無論是銷售部門還是其他后勤支持部門,客服的升級是我們目前接觸最多的一類客戶需求。
客服領(lǐng)域涉及許多方面,不僅僅是直接生成答案,它還包括準(zhǔn)確性的要求,以及完成各種具體的任務(wù),比如預(yù)訂酒店、預(yù)訂機票等等。
除了客服領(lǐng)域,我們還接觸到了許多生成類的需求,比如寫小說、撰寫公文、報告、視頻腳本和營銷文案等等,這個領(lǐng)域的需求非常廣泛多樣,因為要寫的東西種類繁多,這是第二類需求。
第三類需求逐漸偏向?qū)I(yè)領(lǐng)域,包括編程、研報撰寫、會議紀(jì)要等等。
劉興亮:企業(yè)現(xiàn)在在應(yīng)用大模型方面,遇到的核心難題會是什么?
侯方:由于ChatGPT 的出現(xiàn),大家一開始都會有比較高的預(yù)期,認(rèn)為大模型能夠解決所有的問題。單我們與客戶合作時常常遇到以下四個難點:計算能力的不足、數(shù)據(jù)的問題、大模型訓(xùn)練所需的工具鏈以及缺乏專業(yè)團隊和經(jīng)驗。
首先是資源問題,特別是計算能力。許多企業(yè)想要進行大規(guī)模的模型訓(xùn)練,但他們自身的計算能力有限。例如,我們遇到過一些客戶只有兩張顯卡的機器,但他們想要處理更多復(fù)雜的任務(wù)。這不是因為他們沒有足夠的資金,而是在這個領(lǐng)域的積累或儲備相對不足,而當(dāng)前市場環(huán)境下比較難找到可用的計算資源,算力供不應(yīng)求已經(jīng)成為一個普遍的現(xiàn)象。
第二個問題是數(shù)據(jù)。許多企業(yè)希望訓(xùn)練自己的模型,但卻面臨數(shù)據(jù)量不足,或者數(shù)據(jù)質(zhì)量不夠好的問題,而模型訓(xùn)練非常依賴于數(shù)據(jù)的質(zhì)量和數(shù)量。此外,數(shù)據(jù)的清洗、配比和預(yù)處理等一系列工程任務(wù)也需要大量的工作,數(shù)據(jù)工程本身也具有一定難度。
第三個問題是大模型訓(xùn)練所需的工具鏈。大模型訓(xùn)練需要一套完整的工具鏈,因為這個涉及到對于高性能算力、高性能存儲、多機多卡調(diào)度能力、加速框架等等。
最后一個問題是缺乏專業(yè)團隊和經(jīng)驗。大模型的雖然越來越多,但很多企業(yè)缺乏將其落地的專業(yè)團隊和經(jīng)驗,在實際落地的時候,會面臨模型選型、數(shù)據(jù)處理、訓(xùn)練方法選擇等問題。
劉興亮:你會給企業(yè)管理者在應(yīng)用大模型方面提什么建議?
侯方:從目前的經(jīng)驗來看,首要解決的是確定適用的場景。我們在與各個客戶的交流中發(fā)現(xiàn),這是我們共同面臨的第一個關(guān)鍵問題。
由于大模型技術(shù)還比較新穎,沒有人能夠斷言自己的大模型在某個特定場景下就是絕對最佳選擇,這需要我們不斷摸索和實踐。
其次是算力、數(shù)據(jù)、平臺工具的建設(shè),這些都是需要考慮的關(guān)鍵因素。
最后是一個比較普遍的建議,即擁抱大模型。由于大模型對于許多軟件和業(yè)務(wù)設(shè)計,包括解決特定場景下問題的方法,都提出了全新的思路和交互方式。
03
人工智能讓互聯(lián)網(wǎng)“又行了”
劉興亮:有哪些原因和客觀條件促成了現(xiàn)在的大模型的創(chuàng)業(yè)潮?
侯方:大模型技術(shù)的出現(xiàn)是整個技術(shù)領(lǐng)域中的一次根本性變革。
過去,我們更加注重算法,而隨后逐漸發(fā)展到深度學(xué)習(xí)階段,這個階段數(shù)據(jù)的作用開始凸顯,但算法在其中仍然占有相對較高的比重。
隨著大模型的出現(xiàn),會發(fā)現(xiàn)只要提供數(shù)據(jù)和算力,模型就能自主學(xué)習(xí)很多東西。在這種情況下,算法本身的重要性在逐步降低,從技術(shù)的發(fā)展路徑來看,這是一個非常大的變革和進化。
而從應(yīng)用的角度來看,過去幾年,AI在企業(yè)中的落地場景越來越多,應(yīng)用也越來越廣泛,并且融入到人們的生活中,接觸度也越來越高。
在以上幾個因素的推動下,人們開始堅定地?fù)肀?a href="http://picoinsstore.com/AI_1.html" target="_blank" class="keylink">AI和大模型技術(shù)。
劉興亮:AIGC的價值到底是什么,它給互聯(lián)網(wǎng)行業(yè)帶來什么樣的變化?
侯方:大模型最大的特點是生成式,通過將大量的數(shù)據(jù)和知識映射到數(shù)學(xué)空間中,通過多個維度對這些知識進行解構(gòu)。一旦知識被解構(gòu),它們就可以通過重新組合產(chǎn)生現(xiàn)實中的各種作品,如藝術(shù)繪畫、文字或其他創(chuàng)作。
大模型的運行依賴于大量的計算過程,這意味著它能夠以一種非常結(jié)構(gòu)化的方式學(xué)習(xí)和創(chuàng)造,利用上千億個維度進行隨機組合,從而產(chǎn)生令人難以置信的作品,這就是為什么有時候它創(chuàng)作的畫作或文案讓人感到驚訝,而人類自己往往無法想到或?qū)懗鲞@樣的作品。
因此,AI和大模型技術(shù)在內(nèi)容創(chuàng)作領(lǐng)域,尤其是內(nèi)容生成方面,將帶來許多新的技術(shù),輔助或替代人類的創(chuàng)作過程,使我們能夠更加聰明地生成內(nèi)容,這確實是一種非常有效的狀態(tài)。
AIGC的上中下游,來源:《AIGC+AI生成內(nèi)容產(chǎn)業(yè)展望報告》量子位智庫
劉興亮: 在算力和數(shù)據(jù)上,小團隊其實不占優(yōu)勢,選擇成熟的開源大模型進行訓(xùn)練難道不香嗎?
侯方:實際上,現(xiàn)在很多企業(yè)都會嘗試開源模型,大模型的發(fā)展離不開開源社區(qū)的貢獻。
不過,使用開源模型進行訓(xùn)練存在一些門檻,需要一定的算法知識和行業(yè)經(jīng)驗。
從落地的可行性的角度來看,更建議的做法是選擇云廠商提供的行業(yè)大模型,這些模型通常會針對特定行業(yè)進行優(yōu)化,會更適合解決企業(yè)的實際問題。
04
讓大模型創(chuàng)業(yè)變成“逛超市”?
劉興亮:我知道騰訊行業(yè)大模型不久前也剛剛發(fā)布,騰訊云也推出了大模型精選商店,并且提出了模型及服務(wù)(MaaS)的概念,應(yīng)該是在行業(yè)較早的提出這種行業(yè)大模型的模式,那什么是大模型精選商店,什么是模型即服務(wù)?
騰訊云Maas,打造一站式行業(yè)大模型精選商店
侯方:先從MAAS開始說起,這個概念其實很有趣,也是一個不斷演變的過程。
從最開始的基礎(chǔ)設(shè)施及服務(wù)(Infrastructure and Services,簡稱IaaS),到后面的 PaaS,再到現(xiàn)在的 MaaS,都是在讓云服務(wù)本身變成越來越簡單,以前使用的服務(wù)需要客戶業(yè)務(wù)系統(tǒng)自己開發(fā)實現(xiàn),隨著 MaaS 服務(wù)的普及,會越來越降低大家使用 AI 服務(wù)的門檻。
MaaS在AI和大模型領(lǐng)域里有很多重要的意義,它意味著我們可以將底層的內(nèi)部工作完全包裝起來,用戶只需關(guān)注一個問題:向模型請求某些東西,模型直接提供對應(yīng)的服務(wù)。
目前行業(yè)內(nèi)有模型領(lǐng)域有大量的可供選擇,不完全統(tǒng)計已經(jīng)超過800個模型。面對如此多的選擇,我們需要思考如何選擇和應(yīng)用模型,類似的問題在算法模型方面也存在。因此,騰訊的思路是在TI平臺上精選了各個行業(yè)的大模型,類似“模型超市”的概念,根據(jù)客戶場景和行業(yè)特性進行精選,以提供最適合的模型。
劉興亮:模型商店給客戶提供的核心價值是什么?
侯方:多個行業(yè)的高質(zhì)量大模型,相應(yīng)的配套工具,更低成本,更高效地幫助企業(yè)應(yīng)用大模型,這是大模型精選商店的三個核心價值。
劉興亮:從實際的觀察來看,行業(yè)大模型是目前AI大模型技術(shù)落地的有效路徑嗎?
侯方:行業(yè)大模型是目前來看比較有效的路徑之一,在面對一些普遍性的挑戰(zhàn),包括算力、數(shù)據(jù)時,行業(yè)大模型提供了一個較好的解決方案。然而我們很難確定未來五年或十年的發(fā)展方向,因為大模型的產(chǎn)業(yè)革命才剛剛開始,它將演化成何種狀態(tài)還不得而知。
劉興亮:AI大模型商業(yè)化落地有哪些方式?
侯方:行業(yè)大模型是一個有效的方式,因為在商業(yè)化落地中,我們除了解決問題外,還要考慮到ROI,這是商業(yè)化中大家都關(guān)注的核心問題。
我認(rèn)為,在商業(yè)化落地中,一個關(guān)鍵因素是創(chuàng)造出能夠解決客戶問題的價值,無論是商業(yè)提供方還是商業(yè)需求方。只有這樣,商業(yè)化落地才能持久發(fā)展。商業(yè)化落地不僅涉及解決客戶問題,還涉及人們情感和交流需求等方面。雖然這種場景可能不一定是行業(yè)大模型所涉及的,但它確實也是一個非常好的商業(yè)化落地場景。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請自行核實相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 美國無人機禁令升級?當(dāng)?shù)乜茖W(xué)家率先“喊疼”:我們離不開大疆
- iQOO Neo10 Pro:性能特長之外,亦有全能實力
- 自動駕駛第一股的轉(zhuǎn)型迷途:圖森未來賭上了AIGC
- 明星熱劇、品牌種草、平臺資源,京東讓芬騰雙11的熱度“沸騰”了
- 一加 Ace 5 Pro明牌:游戲手機看它就夠了!
- 游戲體驗天花板,一加 Ace 5 系列售價 2299 元起
- 16個月沒工資不敢離職,這些打工人“自費上班”
- 怎樣利用微信小店“送禮”功能賺錢?
- 鴻蒙智行問界M9,中國豪華車的龍門一躍
- 科技云報道:人工智能時代“三大件”:生成式AI、數(shù)據(jù)、云服務(wù)
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。