隨著人工智能技術(shù)的發(fā)展,機器學習應用場景越來越廣泛,從智能語音助手到自動駕駛,從智能推薦到圖像識別,都需要大量的計算資源來支持。而GPU作為一種高效的計算資源,越來越受到關注,成為機器學習加速計算的重要工具。然而,跨硬件通用加速缺乏跨平臺跨硬件的通用API,不同顯卡實現(xiàn)高效算子十分困難和復雜。
作為頭部科技企業(yè),騰訊一直致力于推動人工智能技術(shù)的發(fā)展。因此,騰訊作為khronos會員積極參與新擴展標準制定,為機器學習加速計算提供更好的解決方案。在Vulkan 1.3.255版本中,騰訊聯(lián)合ARM、NVIDIA、AMD、Google等諸多全世界科技企業(yè)一起帶來新擴展VK_KHR_cooperative_matrix,這是騰訊首次參與khronos標準貢獻。
Vulkan是通用的、跨平臺的、新一代圖形加速API,支持Windows、Linux、macOS、Android、iOS等多個操作系統(tǒng)。VK_KHR_cooperative_matrix擴展為Vulkan帶來中尺度矩陣類型,用于加速矩陣計算,加速神經(jīng)網(wǎng)絡推理。這一新擴展使得非單一硬件綁定的通用AI計算加速成為可能,打破了行業(yè)壟斷,帶來了產(chǎn)業(yè)創(chuàng)新。Nvidia、ARM、AMD等顯卡廠商將發(fā)布新驅(qū)動支持這個擴展標準,這將進一步推動機器學習加速計算的發(fā)展。
在VK_KHR_cooperative_matrix擴展標準的制定中,騰訊優(yōu)圖實驗室參與制定。在標準修訂過程中,騰訊優(yōu)圖實驗室結(jié)合ncnn項目中的vulkan加速實踐經(jīng)驗,主張新標準中的矩陣加載函數(shù)的stride參數(shù)允許為0,以便支持自動廣播行為。這一參數(shù)能有效提升神經(jīng)網(wǎng)絡卷積和線性層計算中的bias數(shù)據(jù)處理效率。騰訊優(yōu)圖實驗室專家,業(yè)界知名的開源神經(jīng)網(wǎng)絡推理庫ncnn作者nihui表示:“khronos在線會議中,該提議獲得各參與廠商技術(shù)人員認可和贊同,并成為硬性標準之一,要求在GPU驅(qū)動中實現(xiàn)該行為。”
ncnn使用Vulkan API作為其跨平臺GPU通用加速方案。ncnn通過使用VK_KHR_cooperative_matrix擴展,在AMD顯卡上跑超分AI,速度提升約2.3倍。這也是VK_KHR_cooperative_matrix的首次應用,已發(fā)布在ncnn新版本中,帶來更廣泛的跨硬件廠商GPU加速。
騰訊參與制定VK_KHR_cooperative_matrix擴展標準,推動人工智能技術(shù)的發(fā)展,讓機器學習的計算能力更加高效、普惠和可持續(xù),為機器學習加速計算提供了更好的解決方案,實現(xiàn)跨平臺跨硬件的通用API,使得機器學習加速計算更加高效、靈活。
一直以來,騰訊也在積極參與各類AI、大模型等方面的標準建設。2020年,騰訊被選舉為全國信標委人工智能分委會委員兼副秘書長單位,這意味著國家在推進包括人工智能在內(nèi)的“新基建”過程中,騰訊正作為核心成員,承擔更多標準制定工作以及技術(shù)引領作用。前不久,騰訊云還聯(lián)合中國信通院發(fā)起行業(yè)大模型生態(tài)計劃,并牽頭國內(nèi)首個金融行業(yè)大模型標準制訂,為金融行業(yè)智能化的高質(zhì)量規(guī)范化發(fā)展提供重要支撐。
未來,騰訊將積極參與更多行業(yè)標準制定,助力更多行業(yè)提質(zhì)增效,為人類社會帶來更多的福祉。
(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。 )