Transformer大模型在邊緣側(cè)落地可行嗎？愛芯元智AX650N表示無壓力

5月30日消息，ChatGPT成為史上增長最快的消費類應(yīng)用。這背后，是ChatGPT代表的高階人工智能表現(xiàn)對人們的沖擊。

ChatGPT使用的Transformer架構(gòu)是以自監(jiān)督的方式預(yù)訓練的，作為基于GPT（Generative Pre-trained Transformer）預(yù)訓練語言模型的消費類產(chǎn)品，ChatGPT的成功也讓技術(shù)圈看到了Transformer的巨大潛力。

越來越多AI研究領(lǐng)域（例如，CV（計算機視覺）領(lǐng)域）開始把自監(jiān)督方式預(yù)訓練的Transformer用在各大應(yīng)用場景，以期待產(chǎn)生類似ChatGPT的智能涌現(xiàn)。

然而Transformer模型往往需要巨大量的參數(shù)，才能出現(xiàn)所謂的“智能涌現(xiàn)”。因此，目前較為成功的GPT模型，大都是在“云端”進行訓練和落地。

但是可以預(yù)見的是，未來要想讓GPT模型應(yīng)用產(chǎn)品在消費級市場有廣泛應(yīng)用和發(fā)展，解決在端側(cè)、邊緣側(cè)高效部署Transformer將是關(guān)鍵一環(huán)。

專注研究人工智能視覺感知芯片的愛芯元智技術(shù)團隊敏銳的看到了這一市場機會，對其第三代高算力、高能效比的SoC芯片——AX650N進行了優(yōu)化，經(jīng)測試，優(yōu)化后的AX650N已成為業(yè)內(nèi)首屈一指的Transformer端側(cè)、邊緣側(cè)落地平臺。

這也就意味著，對于那些有在端側(cè)、邊緣側(cè)部署Transformer模型以提升圖形圖像識別精度的企業(yè)（比如機器人、自動駕駛企業(yè)等）來說，現(xiàn)在，借助AX650N就能實現(xiàn)Transformer模型落地、提升其視覺能力。

承載Transformer大模型 AX650N表現(xiàn)如何？

相比于在云端用GPU部署Transformer大模型，在邊緣側(cè)、端側(cè)部署Transformer最大的挑戰(zhàn)則來自功耗。

AX650N是愛芯元智于2023年3月推出了第三代高算力、高能效比的SoC芯片，具有高性能、高精度、易部署、低功耗特征。

經(jīng)適配Transformer調(diào)優(yōu)后，愛芯元智技術(shù)團隊的測試數(shù)據(jù)顯示，目前大眾普遍采用的Transformer網(wǎng)絡(luò)SwinT，在愛芯元智AX650N平臺表現(xiàn)出色：361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗。

具體來看，361幀的高性能可媲美汽車自動駕駛領(lǐng)域基于GPU的高端域控SoC；而80.45%的高精度成績同樣高于市面平均水平；199 FPS/W的速度也充分體現(xiàn)出低功耗的特點，對比于目前基于GPU的高端域控SoC，有著數(shù)倍的優(yōu)勢。

“AX650N會對Transformer支持比較好，因為有一個全面優(yōu)化的設(shè)計，還有一個高性能的多核架構(gòu)。愛芯元智兼具高性能和低功耗特質(zhì)的混合精度NPU在一開始設(shè)計的時候，就是一個異構(gòu)多核的設(shè)計，里面有一個核具有一定的可編程性，提供靈活性。同時，考慮到有些網(wǎng)絡(luò)對數(shù)據(jù)需求量比較大，在架構(gòu)上做了一些預(yù)留，這樣最終看到的效果是在AX650N上Transformer跑的效果是比較快的?！睈坌驹窍嚓P(guān)技術(shù)負責人向TechWeb表示。

同時，AX650N也提供了簡單便捷的部署能力。GitHub上的原版模型可以在愛芯元智的平臺上高效運行，不需要對模型做修改，不需要QAT重新訓練。目前，AX650N已適配包括ViT/DeiT、Swin/SwinV2、DETR在內(nèi)的Transformer模型，在DINOv2也達到30幀以上運行結(jié)果，這也使得用戶在下游進行檢測、分類、分割等操作更加方便。

與此同時，AX650N支持低比特混合精度，用戶如果采用INT4，可以極大地減少內(nèi)存和帶寬占用率，可以有效控制端側(cè)邊緣側(cè)部署的成本。這些特性都保證了AX650N作為人工智能算力平臺，最終落地效果更好用、更易用，大幅提升了用戶的效率。

據(jù)悉，基于AX650N的產(chǎn)品已經(jīng)在智慧城市，智慧教育，智能制造等計算機視覺重要領(lǐng)域發(fā)揮出重要作用。

7月將推出基于AX650N的開發(fā)板——AXera-Pi Pro 供開發(fā)者使用

目前，愛芯元智AX650N針對Transformer結(jié)構(gòu)仍在進行持續(xù)優(yōu)化，并且探索更多的Transformer大模型，例如多模態(tài)大模型，不斷讓Transformer在愛芯元智平臺上得到更好的落地效果。

談及迭代方向，愛芯元智透露的信息包括，針對于Transformer結(jié)構(gòu)，怎么能讓硬件讀數(shù)據(jù)的時候，能夠?qū)﹄x散的數(shù)據(jù)獲得一個比較高效的讀取以及配套的計算能夠和數(shù)據(jù)讀取匹配起來。也會嘗試4比特來解決模型參數(shù)量大的問題等。

值得一提的是，愛芯元智已經(jīng)將在7月推出基于AX650N的開發(fā)板——AXera-Pi Pro，滿足開發(fā)者對Transformer深度研究的需求，探索更豐富的產(chǎn)品應(yīng)用。

愛芯元智方面表示，未來，這塊小板子在電商平臺上就可以買到，對Transformer感興趣的學生、工程師或者社區(qū)開發(fā)人員都能夠很方便地購買開發(fā)板，從github上找到軟件的工具以及示例，能快速開發(fā)出自己的一些應(yīng)用，包括用戶想做的一些落地嘗試。

“Transformer之前在NLP方面發(fā)展比較深入，在CV領(lǐng)域是最近這幾月才開始陸陸續(xù)續(xù)有大模型放出來，這塊目前還處于快速發(fā)展過程中?！睈坌驹锹?lián)合創(chuàng)始人、副總裁劉建偉強調(diào)，愛芯元智AX650N在承載Transformer落地時的良好表現(xiàn)，算是搶得了“先發(fā)優(yōu)勢”，后續(xù)仍將持續(xù)優(yōu)化產(chǎn)品，加速基于Transformer的大模型在端側(cè)、邊緣側(cè)落地的節(jié)奏。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。