高通推出全新AI Hub ：提供全面優(yōu)化的AI模型庫(kù)支持 4倍提升AI推理速度

2月26日消息（趙婷婷）隨著5G網(wǎng)絡(luò)的普及與邊緣計(jì)算技術(shù)的飛速發(fā)展，終端側(cè)AI的應(yīng)用場(chǎng)景愈發(fā)廣泛，不僅降低了數(shù)據(jù)傳輸過程中的時(shí)延問題，還確保了數(shù)據(jù)在本地處理的安全性和私密性。如今，終端側(cè)AI的商用進(jìn)程已經(jīng)開始。

2月26日，2024年世界移動(dòng)通信大會(huì)（以下簡(jiǎn)稱MWC2024）在西班牙巴塞羅那正式拉開帷幕。作為通信和AI技術(shù)的領(lǐng)軍企業(yè)，高通宣布推出全新的高通AI Hub，為開發(fā)者打造獲取開發(fā)資源的中心，從而基于驍龍或高通平臺(tái)打造AI應(yīng)用。

高通AI Hub提供全面優(yōu)化的AI模型庫(kù)支持

高通技術(shù)公司產(chǎn)品市場(chǎng)高級(jí)總監(jiān)Ignacio Contreras指出，終端側(cè)AI已經(jīng)到來，終端側(cè)AI能夠?yàn)橛脩魩砑磿r(shí)性、可靠性、隱私以及個(gè)性化等諸多優(yōu)勢(shì)。當(dāng)前需要為開發(fā)者提供更多的支持，賦能其打造全新的、令人期待的應(yīng)用。高通AI Hub為開發(fā)者提供全面優(yōu)化的AI模型庫(kù)支持，包括傳統(tǒng)AI模型和生成式AI模型，能夠跨驍龍和高通平臺(tái)部署。

具體而言，開發(fā)者只需選擇應(yīng)用所需的模型（例如Baichuan-7B），以及其開發(fā)應(yīng)用所使用的框架（例如Pytorch、Tensorflow），之后確定目標(biāo)平臺(tái)，例如一款特定型號(hào)的手機(jī)、或者一款特定型號(hào)的高通平臺(tái)（例如第三代驍龍8），高通AI Hub就可以為開發(fā)者提供面向其指定應(yīng)用、指定平臺(tái)進(jìn)行優(yōu)化的模型。

“開發(fā)者只需要幾行代碼就可以獲取模型，并將模型集成進(jìn)應(yīng)用程序。”Ignacio Contreras說道。

與此同時(shí)，高通AI Hub將支持超過75個(gè)AI模型，包括傳統(tǒng)AI模型和生成式AI模型。通過對(duì)這些模型進(jìn)行優(yōu)化，開發(fā)者運(yùn)行AI推理的速度將提升高達(dá)4倍。不僅是速度提升，優(yōu)化后的模型占用的內(nèi)存帶寬和存儲(chǔ)空間也將減少，從而實(shí)現(xiàn)更高的能效和更持久的電池續(xù)航。

“這些優(yōu)化模型將在高通AI Hub、以及HuggingFace和GitHub上提供，讓開發(fā)者能夠?qū)I模型便捷地集成到工作流中。”

展示多款“首個(gè)”多模態(tài)大模型

此次MWC2024，除發(fā)布高通AI Hub之外，高通還展示了多款“首個(gè)”多模態(tài)大模型。

據(jù)Ignacio Contreras介紹，高通展示了全球首個(gè)在搭載第三代驍龍8的Android手機(jī)上運(yùn)行的多模態(tài)大模型，此次演示中這個(gè)超過70億參數(shù)的LMM，可支持文本、語音和圖像輸入，能基于輸入的內(nèi)容及時(shí)響應(yīng)，進(jìn)行多輪對(duì)話，并且更好地保護(hù)隱私。

高通還在搭載全新驍龍X Elite平臺(tái)的Windows PC上，帶來另一個(gè)多模態(tài)AI的演示。據(jù)介紹，這是全球首個(gè)在Windows PC上運(yùn)行的音頻推理多模態(tài)大模型，它能理解鳥鳴、音樂或家中的不同聲音，并且能夠基于這些信息進(jìn)行對(duì)話，為用戶提供幫助。

另外，高通首個(gè)在Android手機(jī)上運(yùn)行的LoRA模型能夠在不改變底層模型的前提下，調(diào)整或定制模型的生成內(nèi)容。通過使用很小的適配器（大小僅為模型的2%，便于下載），個(gè)性化定制整個(gè)生成式AI模型的行為，可根據(jù)不同個(gè)人或藝術(shù)偏好創(chuàng)建高質(zhì)量自定義圖像。

不僅如此，Ignacio Contreras還表示，驍龍X Elite圖像生成速度是x86競(jìng)品的3倍。使用分別搭載驍龍X Elite和搭載市場(chǎng)中常見X86芯片的兩臺(tái)筆記本電腦進(jìn)行對(duì)比，并同時(shí)運(yùn)行集成Stable Diffusion插件的GIMP（一款廣受歡迎的圖像編輯器）進(jìn)行AI圖像生成。驍龍X Elite只需7.25秒就能生成一張圖像，速度是X86競(jìng)品（22.26秒）的3倍。驍龍X Elite的NPU運(yùn)算能力高達(dá)45TOPS，大幅領(lǐng)先于競(jìng)品。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。