0.6秒!手機(jī)跑Stable Diffusion創(chuàng)下最快速度,而這僅僅是開始

導(dǎo)語:如今,隨著將大模型塞進(jìn)手機(jī)的進(jìn)程加快,普通用戶也能親自體驗(yàn)生成式AI的魅力了。

2023 已經(jīng)行至尾聲,這一年大模型和生成式 AI成為人工智能圈的主流趨勢。自ChatGPT 出現(xiàn)以來,各式各樣通用、專業(yè)的 AI 大模型層出不窮,噴涌之勢已經(jīng)不可阻擋。隨著量化、網(wǎng)絡(luò)剪枝和知識蒸餾等模型壓縮技術(shù)進(jìn)步,手機(jī)等終端設(shè)備AI算力持續(xù)增強(qiáng),大模型在云端部署之外正在向終端落地邁進(jìn)。

圖片1.jpg

對于這場已經(jīng)拉開了序幕的「終端側(cè)革命」,芯片巨頭和手機(jī)廠商們成為主力軍,他們不斷嘗試在手機(jī)等終端設(shè)備上部署運(yùn)行生成式AI大模型,時(shí)不時(shí)給人們一點(diǎn)小小的驚喜和震撼。

今年2月,我們第一次看到了在手機(jī)上運(yùn)行超過10 億參數(shù)的文生圖大模型Stable Diffusion。那是在一部搭載高通第二代驍龍 8移動(dòng)平臺(tái)的安卓手機(jī)上運(yùn)行的,不到15秒的時(shí)間執(zhí)行20步推理,生成了一張512×512像素的圖像。這也創(chuàng)造了當(dāng)時(shí)智能手機(jī)上最快的推理速度。

你以為這就是手機(jī)運(yùn)行Stable Diffusion的速度極限了嗎?顯然不是。在上個(gè)月舉行的2023驍龍技術(shù)峰會(huì)上,不到15秒的生成時(shí)間又被整整縮短數(shù)十倍。高通最新旗艦移動(dòng)平臺(tái)第三代驍龍8(以下簡稱驍龍8 Gen 3)讓速度飛升成為可能。

在峰會(huì)現(xiàn)場,高通用搭載了驍龍 8 Gen 3的手機(jī)運(yùn)行相同的Stable Diffusion大模型,這次不到1秒(0.6秒)的時(shí)間便在本地生成了一張圖像。從15秒到0.6秒,終端側(cè)生成式AI大模型的進(jìn)化速度讓我們驚嘆不已。

這只是高通在本屆驍龍技術(shù)峰會(huì)上展示其終端側(cè)AI能力的牛刀小試。除了生成速度(從 15 秒到 0.6秒)有了質(zhì)的飛躍,驍龍8 Gen 3將支持運(yùn)行的大模型參數(shù)規(guī)模(從10億到百億)提升一個(gè)量級。

大模型賦能平臺(tái)也不再局限于手機(jī),高通下一代 AI PC 芯片驍龍X Elite亮相,將百億參數(shù)大模型「塞進(jìn)」PC平臺(tái),極大拓展了生成式AI應(yīng)用的廣度。

至此,高通在終端側(cè)AI領(lǐng)域積累起來的領(lǐng)導(dǎo)力和技術(shù)領(lǐng)先性進(jìn)一步得到加強(qiáng),更賦予了手機(jī)、PC,甚至耳機(jī)等廠商更多終端AI落地的想象力和可能性。

雙平臺(tái)并進(jìn),讓生成式AI更加觸手可及

自今年2月以來,高通先后在搭載第二代驍龍8移動(dòng)平臺(tái)的安卓手機(jī)上運(yùn)行Stable Diffusion、ControlNet,讓大模型跑在手機(jī)端成為現(xiàn)實(shí)。此次驍龍峰會(huì)上發(fā)布的驍龍 8 Gen 3 將大模型終端側(cè)落地的潛力提升到了新的高度,使其自身繼續(xù)在該領(lǐng)域引領(lǐng)潮流。

據(jù)了解,驍龍8 Gen 3采用的高通AI引擎擁有面向移動(dòng)終端的強(qiáng)大Hexagon NPU,集成了升級后的硬件加速單元、微切片推理單元、加強(qiáng)張量、標(biāo)量和矢量單元,所有單元共享 2 倍帶寬的大容量共享內(nèi)存。同時(shí)支持 INT8+INT16的混合精度以及 INT4、INT8、INT16和FP16的所有精度。性能較前代提升98%,能效提升40%。

驍龍 8 Gen 3 集成的高通傳感器中樞也更強(qiáng),擁有2個(gè)始終感應(yīng)ISP、2個(gè)micro NPU和1個(gè)DPS,內(nèi)存增加了30%,支持INT4精度,AI性能提升了3.5倍。

圖片5.jpg

可以說,驍龍 8 Gen 3賦予了手機(jī)前所未有的強(qiáng)大終端側(cè)AI性能,成為高通首個(gè)專為生成式AI打造的移動(dòng)平臺(tái)。那么這款旗艦級移動(dòng)平臺(tái)是否名副其實(shí)呢?這是我們大家最為關(guān)心的問題。

在該平臺(tái)上,高通AI引擎首次支持多模態(tài)生成式AI,包括了多種大語言模型、視覺語言模型等。尤其是在終端側(cè),驍龍8 Gen 3 首次支持運(yùn)行 100億參數(shù)的模型,規(guī)模邁入百億量級。同時(shí)將 Stable Diffusion 生成圖像的時(shí)間降到了1秒之內(nèi),再次創(chuàng)下最快速度。

在跑Meta大語言模型Llama2-7B時(shí),驍龍8 Gen 3每秒可以生成20個(gè)token,同樣是手機(jī)終端側(cè)最快之一。

圖片6.jpg

(圖注)高通產(chǎn)品管理高級副總裁Ziad Asghar

驍龍平臺(tái)已經(jīng)支持運(yùn)行OpenAI、Meta、微軟、安卓、stability.ai、BLOOM、百度、智譜、百川智能、有道等企業(yè)或機(jī)構(gòu)的大模型,既為這些廠商將自身大模型能力「下放」到終端側(cè)提供契機(jī),也為用戶體驗(yàn)生成式AI帶來了豐富的選擇項(xiàng)。

牽一發(fā)而動(dòng)全身,隨著高通在賦能大模型終端落地上的進(jìn)一步動(dòng)作,采用驍龍 8 Gen 3移動(dòng)平臺(tái)的手機(jī)廠商快速跟進(jìn),加速了大模型集成到手機(jī)的進(jìn)程。

以首發(fā)搭載驍龍 8 Gen 3移動(dòng)平臺(tái)的小米14系列新機(jī)為例,AI大模型技術(shù)已經(jīng)集成到小米全新澎湃 OS 中,并上線各種終端側(cè)應(yīng)用。有了大模型能力加持,小米14 支持了 AI 妙畫、AI搜圖、AI寫真、AI擴(kuò)圖等多項(xiàng)功能,讓輸入法、WPS、相冊煥發(fā)新的活力。

vivo旗下品牌iQOO 12系列同樣搭載了驍龍8 Gen 3移動(dòng)平臺(tái),全新高通AI引擎使其影像體驗(yàn)大幅升級,照片質(zhì)感和細(xì)節(jié)拉滿。同時(shí)該系列手機(jī)預(yù)裝的 OriginOS 4系統(tǒng)引入生成式AI功能,AI助手藍(lán)心小V可以進(jìn)行超能語義搜索、超能問答、超能寫作、超能創(chuàng)圖、超能智慧交互,智能化程度明顯提升。

此前在驍龍峰會(huì)上,榮耀CEO趙明宣布新旗艦手機(jī)榮耀Magic 6將搭載驍龍8 Gen 3移動(dòng)平臺(tái),已支持70億參數(shù)的終端側(cè)AI大模型,為用戶提供更加智能化的體驗(yàn)。他在現(xiàn)場演示了終端側(cè)AI進(jìn)行照片搜索、生成視頻等智能操作,效果著實(shí)不錯(cuò)。

手機(jī)終端融合大模型能力催生了大量或好玩、或有助于提升生產(chǎn)力的生成式 AI應(yīng)用。未來更加豐富的生成式AI應(yīng)用會(huì)讓更多用戶切身體驗(yàn)到 AI的魅力,提升自身交互體驗(yàn),這也正是高通致力于在終端側(cè)打造生成式AI能力的重要源動(dòng)力之一。

在持續(xù)利用AI賦能手機(jī)移動(dòng)平臺(tái)之外,高通也在尋求利用并把握好大模型及生成式AI的發(fā)展契機(jī),以此來重塑PC行業(yè),擴(kuò)大自身在AI領(lǐng)域的領(lǐng)先優(yōu)勢。

生成式AI有了「第二陣地」

高通發(fā)布了面向PC 平臺(tái)的全新處理器驍龍X Elite,它采用4nm制程工藝,集成定制的高通Oryon CPU,運(yùn)行速度是英特爾 12 核處理器的 2倍,功耗比英特爾競品低68%,高峰時(shí)段的運(yùn)行速度比蘋果M2快了50%。

如果這些參數(shù)還無法讓你相信驍龍X Elite的強(qiáng)悍,那就跑個(gè)分吧。驍龍 X Elite 擁有兩個(gè)版本:注重續(xù)航表現(xiàn)的 23W 版本、主打性能的 80W版本。Geekbench 6測試下的單核和多核得分情況如下圖所示,單核性能尤為亮眼。

圖片10.jpg

(圖注)圖源fonearena

同樣地,驍龍X Elite專為AI打造。它采用業(yè)界領(lǐng)先的、集成高通Hexagon NPU的高通AI引擎,異構(gòu)算力高達(dá)75TOPS,Hexagon NPU算力為45TOPS,為創(chuàng)意應(yīng)用、視頻會(huì)議和生產(chǎn)力助手的變革性體驗(yàn)提供了算力基礎(chǔ)。高通 AI引擎還支持了大量的加速應(yīng)用程序和體驗(yàn),創(chuàng)造無限可能性。

超強(qiáng)生成式 AI 能力也成為驍龍X Elite的一大標(biāo)簽,截止到發(fā)布時(shí),它已支持在端側(cè)運(yùn)行超過130億參數(shù)的生成式AI模型,面向70億參數(shù)大模型每秒生成30個(gè)token,AI處理速度是競品的4.5倍。下圖為PC端AI作畫能力的展示。

從手機(jī)到 PC,多樣化的端側(cè)平臺(tái)為釋放生成式 AI能力提供了更多渠道。這也表明,高通在終端側(cè)生成式AI落地這條賽道上繼續(xù)「加碼」,背后既離不開技術(shù)上的厚積薄發(fā),也是其在大模型時(shí)代自身AI發(fā)展戰(zhàn)略的延續(xù)。

手機(jī)、PC加速迎來全新AI時(shí)代

在當(dāng)今大模型時(shí)代,終端側(cè)部署生成式AI這條路線越來越明晰?;诖?,高通秉持「混合AI是AI的未來」這一理念和戰(zhàn)略,注重云端與終端的協(xié)同發(fā)展,并認(rèn)為終端側(cè)AI是擴(kuò)展生成式AI至全球更廣泛范圍的關(guān)鍵。

遵循這一前瞻性認(rèn)知,高通一步步積累,逐漸在自身布局中構(gòu)建了強(qiáng)大、全面的終端側(cè)AI能力,并引領(lǐng)了端側(cè)大模型及生成式AI的革新與進(jìn)步。毫無疑問,此次驍龍峰會(huì)上發(fā)布的驍龍 8 Gen 3、驍龍X Elite將進(jìn)一步夯實(shí)高通作為終端側(cè)AI領(lǐng)導(dǎo)者的地位。

圖片12.jpg

(圖注)高通全棧AI優(yōu)化方案

如果大模型繼續(xù)保持當(dāng)前的落地步伐,我們將可以在手機(jī)、PC 甚至XR可穿戴設(shè)備、智能網(wǎng)聯(lián)汽車等智能終端上體驗(yàn)到更多生成式AI應(yīng)用,讓人機(jī)交互更加自然且個(gè)性化。反過來,這些生成式AI應(yīng)用以及帶來的體驗(yàn)變革也將對這些終端設(shè)備產(chǎn)生深遠(yuǎn)影響,甚至改變它們的核心驅(qū)動(dòng)力,重新定義它們。

我們以與人們?nèi)粘9ぷ?、生活息息相關(guān)的手機(jī)為例,在追求絕對性能之外,人們越來越多地關(guān)注一些創(chuàng)意性應(yīng)用。這就需要AI大顯身手,生成式AI性能更是成為下一代手機(jī)處理器角逐的核心競爭力。

驍龍移動(dòng)平臺(tái)近年來持續(xù)發(fā)力于此也在意料之中了。從去年的驍龍8 Gen 2 到此次驍龍峰會(huì)上的驍龍 8 Gen 3,AI 早已無處不在,生成式 AI 一躍成為「AI 皇冠上的新明珠」,受到了廣泛關(guān)注和青睞。

隨著大模型及生成式AI在手機(jī)終端落地的范圍越來越廣、成熟度越來越高,我們或許可以看到:傳統(tǒng)智能手機(jī)被生成式 AI 能力全方位加持的「AI 手機(jī)」所取代。小米等手機(jī)廠商新發(fā)布的旗艦機(jī)在這方面已經(jīng)初具雛形,利用生成式AI增強(qiáng)一些場景的使用體驗(yàn)和效率,為未來顛覆手機(jī)的質(zhì)變做好了充分的量變。

同時(shí),PC 終端的革新也有類似向生成式 AI 能力傾斜的發(fā)展趨勢。在這方面,集成到Windows 中的微軟 Copilot是一個(gè)很好的例證。當(dāng)然還有更多生成式AI變革人類與 PC 交互的場景和方式,借此實(shí)現(xiàn)更高效的智能協(xié)作、更簡化的工作流程、更強(qiáng)大的生產(chǎn)力、更定制化的使用體驗(yàn)。

驍龍 X Elite 一出手便瞄準(zhǔn)生成式 AI,勢必會(huì)為當(dāng)前的PC市場注入新鮮血液。在第六屆虹橋國際經(jīng)濟(jì)論壇 ——「智能科技與未來產(chǎn)業(yè)發(fā)展」分論壇上,高通公司中國區(qū)董事長孟樸發(fā)表了主題演講,認(rèn)為下一代 PC 將進(jìn)入一個(gè)全新的「AI PC」時(shí)代,以智能、高性能、高效等為特點(diǎn), 并將對辦公效率等方面產(chǎn)生重要意義。

相信未來高通會(huì)在驍龍 8 Gen 3 等移動(dòng)平臺(tái)和驍龍 X Elite等PC平臺(tái)的基礎(chǔ)上,繼續(xù)加強(qiáng)自身在大模型和生成式AI上的基礎(chǔ)能力。加之更多搭載這些平臺(tái)的廠商發(fā)布全新旗艦手機(jī)和 PC 產(chǎn)品,他們不斷增強(qiáng)的自主性及自研能力可以讓我們期待更多樣化生成式AI應(yīng)用的亮相。

不過,在「AI 手機(jī)」和「AI PC 時(shí)代」真正到來之前,還要看生成式AI能力是否能讓用戶產(chǎn)生強(qiáng)烈感知、是否能準(zhǔn)確滿足他們的需求、是否能對相關(guān)應(yīng)用產(chǎn)生依賴性、以及是否能帶動(dòng)他們換機(jī)的欲望,這些都是高通和手機(jī)廠商現(xiàn)在及未來要考慮的問題。

結(jié)語

自發(fā)布以來,驍龍 8 Gen 3、驍龍X Elite展現(xiàn)出的強(qiáng)大生成式AI能力留給人們無限的想象空間。 正如高通公司總裁兼 CEO 安蒙所言,「我們正在進(jìn)入將改變用戶體驗(yàn)的生成式AI時(shí)代,也將創(chuàng)造一個(gè)移動(dòng)行業(yè)和計(jì)算行業(yè)的全新周期?!?/p>

在這一進(jìn)程中,作為終端側(cè)領(lǐng)導(dǎo)者的高通正擔(dān)負(fù)起應(yīng)有的時(shí)代角色。一方面,利用自身強(qiáng)大的全棧AI優(yōu)化能力匯聚軟硬件各方,助力終端側(cè)AI生態(tài)快速發(fā)展;另一方面,全新的跨平臺(tái)技術(shù)「Snapdragon Seamless」實(shí)現(xiàn)安卓、Windows 和其他操作系統(tǒng)無縫銜接,這種多終端體驗(yàn)有望將 AI在手機(jī)、PC 等終端上的落地進(jìn)一步拓展開來。

可以預(yù)見,基于驍龍生態(tài)的AI體驗(yàn)會(huì)非常快速鋪展開來,各種應(yīng)用落地的速度也將大大加快。未來,高通將繼續(xù)保持自身在終端側(cè)AI的技術(shù)優(yōu)勢,推動(dòng)大模型在部署應(yīng)用時(shí)更便捷、更豐富、更有吸引力。同時(shí),攜手各大廠商創(chuàng)新基于大模型的生成式AI應(yīng)用,降低普通用戶使用生成式AI的門檻。

隨著新的生成式AI時(shí)代開啟,高通是否能持續(xù)滿足人們的期待,我想這次驍龍峰會(huì)已經(jīng)給了我們答案。

(文章轉(zhuǎn)載自機(jī)器之心公眾號)

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )