近年來(lái)，生成式AI迅猛發(fā)展，從文生文、文生圖、圖生視頻再到今年非?；馃岬?a href="http://www.picoinsstore.com/AI_1.html" target="_blank" class="keylink">AI智能體，各種生成式AI應(yīng)用的涌現(xiàn)，不斷刷新人們的使用體驗(yàn)。在這樣的趨勢(shì)下，如何降低生成式AI的使用門檻，讓更多的人隨時(shí)隨地都能體驗(yàn)，真正實(shí)現(xiàn)生成式AI普惠大眾，所有這些，引起了廣泛的關(guān)注與討論。
在最近舉辦的QCon全球軟件開發(fā)大會(huì)上，高通公司AI產(chǎn)品技術(shù)中國(guó)區(qū)負(fù)責(zé)人萬(wàn)衛(wèi)星應(yīng)邀發(fā)表演講時(shí)談到，生成式AI已經(jīng)改變了我們對(duì)終端設(shè)備的一些操作方式，比如在智能手機(jī)、汽車上，人們可以用自然語(yǔ)言與設(shè)備進(jìn)行交互。另外在個(gè)人電腦(PC)上，會(huì)議總結(jié)、文字潤(rùn)色等應(yīng)用也能夠提升用戶的使用體驗(yàn)。他認(rèn)為，大部分的生成式AI用例都可以完全在終端上運(yùn)行，并且，終端側(cè)AI在性能和效率、隱私和安全、成本等方面也具有諸多優(yōu)勢(shì)。在端側(cè)進(jìn)行AI推理，是推動(dòng)生成式AI規(guī)?；瘮U(kuò)展的一個(gè)重要因素。
另一方面，在眾多先進(jìn)技術(shù)的推動(dòng)下，AI模型可以做得更小、更高質(zhì)量。萬(wàn)衛(wèi)星在演講過(guò)程中引用第三方機(jī)構(gòu)的數(shù)據(jù)指出，今年2月，DeepSeek發(fā)布了DeepSeek R1模型，而用DeepSeek R1蒸餾出來(lái)的通義千問(wèn)7B模型版本，在某些基準(zhǔn)測(cè)試中表現(xiàn)出來(lái)的能力已經(jīng)與去年5月發(fā)布的GPT-4o相當(dāng)。他表示，如今，基于終端側(cè)AI的小模型數(shù)量越來(lái)越多，同時(shí)模型的質(zhì)量也在快速提升。
高通是終端側(cè)AI的引領(lǐng)者，在AI領(lǐng)域有著超過(guò)15年的研發(fā)經(jīng)歷，推出了一系列行業(yè)領(lǐng)先的硬件和軟件解決方案，涵蓋了數(shù)十億臺(tái)智能手機(jī)、汽車、XR頭顯和眼鏡、PC以及工業(yè)物聯(lián)網(wǎng)終端等。例如在智能手機(jī)領(lǐng)域，高通在去年第三季度發(fā)布了全新的驍龍8至尊版，采用了一系列領(lǐng)先技術(shù)，包括第二代定制的高通Oryon CPU、全新切片架構(gòu)的高通Adreno GPU和增強(qiáng)的高通Hexagon NPU，可以直接在終端側(cè)提供個(gè)性化的多模態(tài)生成式AI，支持語(yǔ)音、情境和圖像理解，從而全面增強(qiáng)從生產(chǎn)力到創(chuàng)意任務(wù)等各方面的體驗(yàn)。
在CPU、GPU、NPU等硬件之外，高通還構(gòu)建了強(qiáng)大的AI軟件棧，對(duì)開發(fā)者經(jīng)常使用的一些主流AI框架，例如TensorFlow、PyTorch等，都能提供支持。高通AI軟件棧包括庫(kù)(libraries)、SDK和優(yōu)化工具，可簡(jiǎn)化模型部署并提升性能。開發(fā)者可以利用這些資源面向高通平臺(tái)進(jìn)行模型適配，縮短AI賦能應(yīng)用的上市時(shí)間。在這方面，高通采取開發(fā)者為中心的策略，通過(guò)簡(jiǎn)化在消費(fèi)和商用產(chǎn)品中集成先進(jìn)AI特性的過(guò)程，不斷加速創(chuàng)新。
演講過(guò)程中，萬(wàn)衛(wèi)星還介紹了高通AI Hub，可以在云端為開發(fā)者提供應(yīng)用開發(fā)所需要的硬件、開發(fā)環(huán)境、AI預(yù)優(yōu)化模型庫(kù)等，使開發(fā)者僅需要幾分鐘、寫幾行代碼就能完成端到端的模型選擇和應(yīng)用開發(fā)。借助預(yù)優(yōu)化模型庫(kù)和支持定制模型優(yōu)化與集成等特性，高通AI Hub能夠支持廣大產(chǎn)業(yè)伙伴及開發(fā)者縮短開發(fā)周期，共同推動(dòng)生成式AI在終端側(cè)加速規(guī)模化擴(kuò)展。萬(wàn)衛(wèi)星透露，目前已經(jīng)有超過(guò)1500家企業(yè)使用高通AI Hub，支持的AI模型超過(guò)150個(gè)，其中既有傳統(tǒng)的CNN網(wǎng)絡(luò)等，也有近年來(lái)非常流行的一些生成式AI模型。
公開信息顯示，目前包括小米、榮耀、OPPO等在內(nèi)，很多中國(guó)廠商已采用驍龍8至尊版推出了各自的旗艦手機(jī)，能夠?yàn)橄M(fèi)者提供豐富的生成式AI體驗(yàn)。在PC領(lǐng)域，搭載驍龍X系列平臺(tái)的AI PC產(chǎn)品也已經(jīng)超過(guò)80款，可以為用戶帶來(lái)工作效率的顯著提升。此外在汽車、XR等行業(yè)，高通也與廣大產(chǎn)業(yè)伙伴深入合作，共同推動(dòng)終端側(cè)AI規(guī)?；l(fā)展。
萬(wàn)衛(wèi)星認(rèn)為，隨著終端側(cè)的AI處理能力變得越來(lái)越強(qiáng)和大量高質(zhì)量小模型的涌現(xiàn)，再加上終端側(cè)運(yùn)行AI模型在隱私安全、時(shí)延、使用成本等方面表現(xiàn)出的諸多顯著優(yōu)勢(shì)，AI推理正在從中心云向邊緣側(cè)和終端側(cè)擴(kuò)展，終端側(cè)AI推理時(shí)代已經(jīng)到來(lái)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
