丨劃重點
1. 大型模型的每次訓練成本通常在數(shù)百萬美元以上,是一個非常消耗財力和計算資源的過程。
2. 參數(shù)是構成模型本身的要素,類似大腦神經(jīng)元數(shù)量等指標,參數(shù)量大小決定了模型的復雜程度,但不意味著參數(shù)越大越好。
3. 大模型應用普遍存在計算能力的不足、數(shù)據(jù)的問題、大模型訓練所需的工具鏈以及缺乏專業(yè)團隊和經(jīng)驗四個問題。
4. 模型即服務意味著用戶只用關注模型本身,而無需關心模型本身底層的各類復雜算法和工程化的過程。
丨概述
ChatGPT爆火7個月,盡管關注度略有下降,但“現(xiàn)象級產品”已經(jīng)不足以形容這款來自人工智能時代的產品。
在很多人看來,以GPT為代表的大模型,是人類到達通用人工智能(AGI)時代的橋梁,無論是谷歌、微軟這樣的巨頭,還是剛剛成立的初創(chuàng)團隊,都希望押寶大模型賽道,拿到通往未來時代的門票,“萬模大戰(zhàn)”的局面就此誕生。
盡管人們對大模型、人工智能巨大的變革能力存在共識,但是在具體的模型、算法、數(shù)據(jù)和算力等領域存在不同的觀點和看法。
7月5日20:00,《亮見》獨家邀請到了騰訊云TI平臺產品負責人 侯方,直播解讀大模型數(shù)據(jù)、算力價值、應用場景探索以及平臺對大模型創(chuàng)業(yè)的賦能理念。
在侯方看來,大模型的訓練是一個成本非常高業(yè)務,模型的參數(shù)量需要跟應用場景匹配,越合適越好,算力則是越大越好,“大型模型的參數(shù)量越大,就需要更多的訓練過程來填充這些參數(shù),這也意味著成本更高”。
與此同時,侯方也分享了與客戶共同推動大模型應用方面的難題,包括 “計算能力的不足、數(shù)據(jù)的問題、大模型訓練所需的工具鏈以及缺乏專業(yè)團隊和經(jīng)驗?!?,與此同時他也提出了自己對大模型應用的建議,他說,“從目前實際的經(jīng)驗來看,第一個需要解決的問題是確定適用的場景?!?/p>
侯方認為會有越來越多的平臺加入到賦能的行列當中,推出以模型即服務為代表的行業(yè)大模型精選商店,幫助解決客戶在模型和算力方面的難題,他也呼吁更多的團隊選擇這樣的形式踏入大模型時代的門檻,以解決企業(yè)大模型落地的成本和效率方面的問題。
以下為直播文字精華:
01
參數(shù)量越適合越好,算力越大越好
劉興亮:先科普一下大模型的參數(shù)量越大是否意味著越好?
侯方:大型模型看起來非常智能、復雜,實際上我們可以簡單地理解它只是一系列矩陣。這些矩陣在數(shù)學中表示各種值,通過大量的矩陣運算,完成整個智能的實現(xiàn)。
關于參數(shù)規(guī)模,自從ChatGPT問世以來,人們迅速開始進行比較。大家驚嘆于巨大的參數(shù)量,也意識到它產生了大量的智能涌現(xiàn)。
就模型本身而言,并不是說參數(shù)越大越好,也不是說參數(shù)越小越好,最重要的是要看你要解決什么問題。在不同問題場景下,你可能需要一個更大、更專業(yè)、更聚焦的模型,也可能只需要一個很小的模型。
所以,就參數(shù)量而言,從我的觀點來看,適合的才是最好的。
劉興亮:大模型參數(shù)是過去理解的數(shù)據(jù)嗎?如果用一句話來解釋可能是什么?
侯方:簡單來說,大型模型通過學習數(shù)據(jù)并將其轉化為其內部的參數(shù),這是相對直觀的解釋。
數(shù)據(jù)是指我們用于大型模型學習的語料,也就是我們提供給它的知識,而參數(shù)則是構成模型本身的要素,類似于我們大腦中的神經(jīng)元數(shù)量等指標,參數(shù)量的大小一定程度上體現(xiàn)的是模型的復雜程度。
需要注意的是,訓練大型模型的成本與數(shù)據(jù)、參數(shù)息息相關。模型訓練涉及的數(shù)據(jù)量會影響訓練成本,學習100條知識與學習1000萬條知識的成本完全不同,因此數(shù)據(jù)規(guī)模對成本產生影響;而模型的參數(shù)量越大,就需要更多的訓練數(shù)據(jù)和訓練時間,這也意味著成本會更高。
從ChatGPT中可以看出,大型模型的每次訓練成本通常在數(shù)百萬美元以上,所以這是一個非常消耗財力和計算資源的過程。
大模型發(fā)展進程圖,來源:新智元
劉興亮:說到大模型,算力是躲不開的話題,到底什么是算力,對于模型來說,它的價值在哪?
侯方:一般來說算力越大越好。
算力多意味著模型訓練本身的耗時就會變短,訓練模型,大模型的智能涌現(xiàn)過程有一些大力出奇跡的過程,所以如果你擁有更多的算力資源,那就在模型訓練本身就有更多嘗試的可能性。
算力是指在AI大模型訓練中的計算能力,通常指的是GPU卡,也就是用于圖形處理的顯卡。這些顯卡在并行計算方面非常擅長,并且內置了芯片和處理單元。當然,CPU也可能提供一定的算力,因為它是計算單元的一種形式,這就是算力的意義。
02
大模型應用的四個難題
劉興亮:現(xiàn)如今企業(yè)對于大模型的需求體現(xiàn)在哪些方面?
侯方:自從大模型問世以來,我們與客戶交流和合作的頻次顯著增多。大家的想法和創(chuàng)意變得無限多樣化,我們也在不斷滿足各種各樣的需求。
在我之前接觸的客戶中,有幾個典型的例子,最常見的一個例子是客服領域應用,以提升智能客服的體驗和效率。許多企業(yè)都會面臨類似的問題,無論是銷售部門還是其他后勤支持部門,客服的升級是我們目前接觸最多的一類客戶需求。
客服領域涉及許多方面,不僅僅是直接生成答案,它還包括準確性的要求,以及完成各種具體的任務,比如預訂酒店、預訂機票等等。
除了客服領域,我們還接觸到了許多生成類的需求,比如寫小說、撰寫公文、報告、視頻腳本和營銷文案等等,這個領域的需求非常廣泛多樣,因為要寫的東西種類繁多,這是第二類需求。
第三類需求逐漸偏向專業(yè)領域,包括編程、研報撰寫、會議紀要等等。
劉興亮:企業(yè)現(xiàn)在在應用大模型方面,遇到的核心難題會是什么?
侯方:由于ChatGPT 的出現(xiàn),大家一開始都會有比較高的預期,認為大模型能夠解決所有的問題。單我們與客戶合作時常常遇到以下四個難點:計算能力的不足、數(shù)據(jù)的問題、大模型訓練所需的工具鏈以及缺乏專業(yè)團隊和經(jīng)驗。
首先是資源問題,特別是計算能力。許多企業(yè)想要進行大規(guī)模的模型訓練,但他們自身的計算能力有限。例如,我們遇到過一些客戶只有兩張顯卡的機器,但他們想要處理更多復雜的任務。這不是因為他們沒有足夠的資金,而是在這個領域的積累或儲備相對不足,而當前市場環(huán)境下比較難找到可用的計算資源,算力供不應求已經(jīng)成為一個普遍的現(xiàn)象。
第二個問題是數(shù)據(jù)。許多企業(yè)希望訓練自己的模型,但卻面臨數(shù)據(jù)量不足,或者數(shù)據(jù)質量不夠好的問題,而模型訓練非常依賴于數(shù)據(jù)的質量和數(shù)量。此外,數(shù)據(jù)的清洗、配比和預處理等一系列工程任務也需要大量的工作,數(shù)據(jù)工程本身也具有一定難度。
第三個問題是大模型訓練所需的工具鏈。大模型訓練需要一套完整的工具鏈,因為這個涉及到對于高性能算力、高性能存儲、多機多卡調度能力、加速框架等等。
最后一個問題是缺乏專業(yè)團隊和經(jīng)驗。大模型的雖然越來越多,但很多企業(yè)缺乏將其落地的專業(yè)團隊和經(jīng)驗,在實際落地的時候,會面臨模型選型、數(shù)據(jù)處理、訓練方法選擇等問題。
劉興亮:你會給企業(yè)管理者在應用大模型方面提什么建議?
侯方:從目前的經(jīng)驗來看,首要解決的是確定適用的場景。我們在與各個客戶的交流中發(fā)現(xiàn),這是我們共同面臨的第一個關鍵問題。
由于大模型技術還比較新穎,沒有人能夠斷言自己的大模型在某個特定場景下就是絕對最佳選擇,這需要我們不斷摸索和實踐。
其次是算力、數(shù)據(jù)、平臺工具的建設,這些都是需要考慮的關鍵因素。
最后是一個比較普遍的建議,即擁抱大模型。由于大模型對于許多軟件和業(yè)務設計,包括解決特定場景下問題的方法,都提出了全新的思路和交互方式。
03
人工智能讓互聯(lián)網(wǎng)“又行了”
劉興亮:有哪些原因和客觀條件促成了現(xiàn)在的大模型的創(chuàng)業(yè)潮?
侯方:大模型技術的出現(xiàn)是整個技術領域中的一次根本性變革。
過去,我們更加注重算法,而隨后逐漸發(fā)展到深度學習階段,這個階段數(shù)據(jù)的作用開始凸顯,但算法在其中仍然占有相對較高的比重。
隨著大模型的出現(xiàn),會發(fā)現(xiàn)只要提供數(shù)據(jù)和算力,模型就能自主學習很多東西。在這種情況下,算法本身的重要性在逐步降低,從技術的發(fā)展路徑來看,這是一個非常大的變革和進化。
而從應用的角度來看,過去幾年,AI在企業(yè)中的落地場景越來越多,應用也越來越廣泛,并且融入到人們的生活中,接觸度也越來越高。
在以上幾個因素的推動下,人們開始堅定地擁抱AI和大模型技術。
劉興亮:AIGC的價值到底是什么,它給互聯(lián)網(wǎng)行業(yè)帶來什么樣的變化?
侯方:大模型最大的特點是生成式,通過將大量的數(shù)據(jù)和知識映射到數(shù)學空間中,通過多個維度對這些知識進行解構。一旦知識被解構,它們就可以通過重新組合產生現(xiàn)實中的各種作品,如藝術繪畫、文字或其他創(chuàng)作。
大模型的運行依賴于大量的計算過程,這意味著它能夠以一種非常結構化的方式學習和創(chuàng)造,利用上千億個維度進行隨機組合,從而產生令人難以置信的作品,這就是為什么有時候它創(chuàng)作的畫作或文案讓人感到驚訝,而人類自己往往無法想到或寫出這樣的作品。
因此,AI和大模型技術在內容創(chuàng)作領域,尤其是內容生成方面,將帶來許多新的技術,輔助或替代人類的創(chuàng)作過程,使我們能夠更加聰明地生成內容,這確實是一種非常有效的狀態(tài)。
AIGC的上中下游,來源:《AIGC+AI生成內容產業(yè)展望報告》量子位智庫
劉興亮: 在算力和數(shù)據(jù)上,小團隊其實不占優(yōu)勢,選擇成熟的開源大模型進行訓練難道不香嗎?
侯方:實際上,現(xiàn)在很多企業(yè)都會嘗試開源模型,大模型的發(fā)展離不開開源社區(qū)的貢獻。
不過,使用開源模型進行訓練存在一些門檻,需要一定的算法知識和行業(yè)經(jīng)驗。
從落地的可行性的角度來看,更建議的做法是選擇云廠商提供的行業(yè)大模型,這些模型通常會針對特定行業(yè)進行優(yōu)化,會更適合解決企業(yè)的實際問題。
04
讓大模型創(chuàng)業(yè)變成“逛超市”?
劉興亮:我知道騰訊行業(yè)大模型不久前也剛剛發(fā)布,騰訊云也推出了大模型精選商店,并且提出了模型及服務(MaaS)的概念,應該是在行業(yè)較早的提出這種行業(yè)大模型的模式,那什么是大模型精選商店,什么是模型即服務?
騰訊云Maas,打造一站式行業(yè)大模型精選商店
侯方:先從MAAS開始說起,這個概念其實很有趣,也是一個不斷演變的過程。
從最開始的基礎設施及服務(Infrastructure and Services,簡稱IaaS),到后面的 PaaS,再到現(xiàn)在的 MaaS,都是在讓云服務本身變成越來越簡單,以前使用的服務需要客戶業(yè)務系統(tǒng)自己開發(fā)實現(xiàn),隨著 MaaS 服務的普及,會越來越降低大家使用 AI 服務的門檻。
MaaS在AI和大模型領域里有很多重要的意義,它意味著我們可以將底層的內部工作完全包裝起來,用戶只需關注一個問題:向模型請求某些東西,模型直接提供對應的服務。
目前行業(yè)內有模型領域有大量的可供選擇,不完全統(tǒng)計已經(jīng)超過800個模型。面對如此多的選擇,我們需要思考如何選擇和應用模型,類似的問題在算法模型方面也存在。因此,騰訊的思路是在TI平臺上精選了各個行業(yè)的大模型,類似“模型超市”的概念,根據(jù)客戶場景和行業(yè)特性進行精選,以提供最適合的模型。
劉興亮:模型商店給客戶提供的核心價值是什么?
侯方:多個行業(yè)的高質量大模型,相應的配套工具,更低成本,更高效地幫助企業(yè)應用大模型,這是大模型精選商店的三個核心價值。
劉興亮:從實際的觀察來看,行業(yè)大模型是目前AI大模型技術落地的有效路徑嗎?
侯方:行業(yè)大模型是目前來看比較有效的路徑之一,在面對一些普遍性的挑戰(zhàn),包括算力、數(shù)據(jù)時,行業(yè)大模型提供了一個較好的解決方案。然而我們很難確定未來五年或十年的發(fā)展方向,因為大模型的產業(yè)革命才剛剛開始,它將演化成何種狀態(tài)還不得而知。
劉興亮:AI大模型商業(yè)化落地有哪些方式?
侯方:行業(yè)大模型是一個有效的方式,因為在商業(yè)化落地中,我們除了解決問題外,還要考慮到ROI,這是商業(yè)化中大家都關注的核心問題。
我認為,在商業(yè)化落地中,一個關鍵因素是創(chuàng)造出能夠解決客戶問題的價值,無論是商業(yè)提供方還是商業(yè)需求方。只有這樣,商業(yè)化落地才能持久發(fā)展。商業(yè)化落地不僅涉及解決客戶問題,還涉及人們情感和交流需求等方面。雖然這種場景可能不一定是行業(yè)大模型所涉及的,但它確實也是一個非常好的商業(yè)化落地場景。
免責聲明:此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關。文章僅供讀者參考,并請自行核實相關內容。投訴郵箱:editor@fromgeek.com。
- 美國“對等關稅”坑慘蘋果:每年損失330億美元,產業(yè)鏈大逃殺
- 368元吸氧一小時?中年男人愛上高壓氧,店主:他們手里有錢
- 產業(yè)互聯(lián)網(wǎng),一次B端和C端的雙向奔赴
- 奇富科技與香港特區(qū)政府簽約成為重點企業(yè)
- 全網(wǎng)吹爆的大模型家電,真的值得種草嗎?
- 鏖戰(zhàn)企業(yè)級市場,AI Agent如何重塑智能商業(yè)未來?
- 阿里、騰訊們用AI讓產業(yè)互聯(lián)網(wǎng)「成真」
- 劉興亮 | 記一位突然離去的多年老友
- 海信視像營收利潤雙增!AI是王牌,還是賭局?
- 關稅嚇人,美國人搶購中國商品,蘋果慌了,緊急包機運iPhone
免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。