4月18日，第十屆聯(lián)想創(chuàng)新科技大會(huì)Tech World在上海舉行。聯(lián)想集團(tuán)高級(jí)副總裁、首席技術(shù)官芮勇博士表示，不能再單純地用大數(shù)據(jù)+大算力+大網(wǎng)絡(luò)來堆砌大模型，而是要超越大模型，探索更接近人類的思維和行為方式。
2022年11月底，ChatGPT橫空出世，掀起了大模型的熱潮。從百億參數(shù)，到千億參數(shù)，再到萬(wàn)億參數(shù)，大模型能力越來越強(qiáng)大；從語(yǔ)言模型，到視頻模型，再到最近的音樂模型，大模型的表現(xiàn)越來越出色；AI歷史上，無論是統(tǒng)治語(yǔ)音識(shí)別30年的隱馬爾可夫模型，還是稱霸整個(gè)90年代的支持向量機(jī)，從來沒有任何一個(gè)技術(shù)，能夠像今天的大模型這樣強(qiáng)大。大模型是AI歷史上的重要里程碑，它開啟了人工智能發(fā)展的新紀(jì)元。芮勇博士稱，但是它的理解和規(guī)劃能力還很有不少局限性，這些局限性需要解決。
今天的大模型沒有真正地理解語(yǔ)言和理解世界，也沒有推理和規(guī)劃能力。它只是根據(jù)高維語(yǔ)義空間的聯(lián)合概率分布，來連接它之前見過的海量信息片段。
大模型一方面能力很強(qiáng)，另一方面有局限性。所以要'揚(yáng)長(zhǎng)補(bǔ)短'，揚(yáng)長(zhǎng)：我們要持續(xù)發(fā)揚(yáng)并增強(qiáng)大模型的強(qiáng)大能力。長(zhǎng)短：我們要打造基于大模型的智能體技術(shù)，真正解決應(yīng)用場(chǎng)景的問題。聯(lián)想的理念是，左手是大模型，右手是智能體，兩手都要抓，兩手都要硬。
聯(lián)想倡導(dǎo)混合人工智能框架，是公有大模型和私有大模型的混合。從技術(shù)角度看，還有幾個(gè)重要維度的混合。
首先，小模型不會(huì)消失。今后一定是基于大模型和小模型混合的“意圖理解”技術(shù)。大家知道信息論里面的熵 entropy 是度量信息量的。越有序，熵越小，越無序，熵越大。聯(lián)想使用交叉熵 cross entropy 損失最小化原則，將意圖理解任務(wù)最優(yōu)地分配給大模型和小模型，從而兼顧精準(zhǔn)度和復(fù)雜性。
第二，基于CPU、GPU、NPU混合調(diào)度的“異構(gòu)計(jì)算”技術(shù)。今天，在大模型的訓(xùn)練和推理過程中，瓶頸往往不在于芯片算力，而在于數(shù)據(jù)傳輸。這個(gè)方程式是說，我們來同時(shí)優(yōu)化計(jì)算負(fù)載和數(shù)據(jù)傳輸，使總體執(zhí)行時(shí)間最短。
第三，基于模型微調(diào) (SFT) 與檢索增強(qiáng) (RAG) 混合的“智能問答”技術(shù)。相信很多人都聽過RAG和模型微調(diào)。這兩種技術(shù)哪個(gè)更好呢？其實(shí)，這兩種技術(shù)各有長(zhǎng)短。
第四，基于硬件加密與全?？尚偶軜?gòu)的混合“隱私安全”技術(shù)。光用硬件是不夠的，光用軟件也是不夠的。我們知道，在前量子時(shí)代，我們是通過把一個(gè)非常大的整數(shù)進(jìn)行質(zhì)數(shù)分解進(jìn)行加密。但是在后量子時(shí)代，這就不夠了。這個(gè)方程式通俗地講，就是通過在一個(gè)高維實(shí)數(shù)空間里進(jìn)行因式分解來進(jìn)行加密。
可以看到，這里講到的4 種混合式技術(shù)，需要端邊云的協(xié)同，需要軟件硬件的協(xié)同，需要傳輸與計(jì)算的協(xié)同。聯(lián)想的新IT架構(gòu) “端邊云網(wǎng)智”為混合式技術(shù)的實(shí)現(xiàn)提供了強(qiáng)大支持。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
