8月24日,2023浪潮信息新產(chǎn)品“互聯(lián)網(wǎng)+AIGC”行業(yè)巡展暨大模型智算軟件棧OGAI發(fā)布會(huì)在北京舉辦。作為浪潮合作伙伴,快手StreamLake深入?yún)⑴c此次大會(huì),快手異構(gòu)計(jì)算負(fù)責(zé)人劉凌志博士進(jìn)行了《“芯”驅(qū)動(dòng):釋放智能視頻之力 》主題演講,重點(diǎn)分享了快手SL200芯片的最新進(jìn)展,介紹了智能視頻SOC芯片的典型架構(gòu)和主要功能,以及基于此芯片搭建的智能視頻處理云端基礎(chǔ)設(shè)施,展示在多種場(chǎng)景所表現(xiàn)的優(yōu)異性能,并在圓桌論壇環(huán)節(jié)與嘉賓們探討了如何與上下游企業(yè)進(jìn)行深度合作。
構(gòu)建大算力基礎(chǔ)設(shè)施體系,應(yīng)對(duì)視頻和大模型挑戰(zhàn)
伴隨快手用戶、內(nèi)容、商業(yè)生態(tài)的快速發(fā)展,AI特效、AI數(shù)字人等應(yīng)用在快手廣泛落地。在AI大模型進(jìn)入AGI時(shí)代的過(guò)程中,快手緊跟大模型應(yīng)用浪潮,在搜廣推場(chǎng)景、內(nèi)容創(chuàng)作、提高研發(fā)效能等方面持續(xù)深耕大模型領(lǐng)域,并于近期發(fā)布了“快意”大語(yǔ)言模型,在 CMMLU 中文向排名中,KwaiYii-13B 同時(shí)位列 five-shot 和 zero-shot 第一。
劉凌志指出,大模型在音視頻上的應(yīng)用更加復(fù)雜。根據(jù)音視頻第一性的原理,音視頻主要是要解決清晰度、成本和流暢度三個(gè)問(wèn)題,需要在這三者之間做到平衡。在此過(guò)程中,處在核心地位的就是視頻的壓縮和增強(qiáng)。
快手的大模型和視頻編解碼如何結(jié)合?劉凌志表示,在傳統(tǒng)生產(chǎn)和消費(fèi)的過(guò)程中,生產(chǎn)端視頻首先經(jīng)過(guò)編碼器產(chǎn)生碼流并傳送到消費(fèi)端,消費(fèi)端通過(guò)解碼器把視頻解碼出視頻展示出來(lái)。利用大模型來(lái)做視頻壓縮和增強(qiáng),視頻通過(guò)理解網(wǎng)絡(luò)生成出高維特征,并傳輸Text和Prompt,這是一個(gè)非常小的信息量,用戶通過(guò)生成網(wǎng)絡(luò)大模型再把視頻恢復(fù)出來(lái),這樣可以極大地減少傳輸成本,得到更好的效果。
在劉凌志看來(lái),快手在大模型和視頻領(lǐng)域面對(duì)的挑戰(zhàn)歸根到底是大算力的挑戰(zhàn),包括視頻算力挑戰(zhàn)和大模型算力挑戰(zhàn)兩個(gè)方面。
快手又是如何解決這兩大挑戰(zhàn)中的各類問(wèn)題?劉凌志表示,快手構(gòu)建了大規(guī)模的基礎(chǔ)設(shè)施,來(lái)支撐主站、電商、商業(yè)化、本地生活和海外在內(nèi)的產(chǎn)品矩陣?？焓趾诵募夹g(shù)包括音視頻、AI和數(shù)據(jù)中心三大類,每一類技術(shù)都需要十分龐大的基礎(chǔ)設(shè)施,比如千萬(wàn)級(jí)別的CPU核、10萬(wàn)級(jí)別的GPU和算力、10EB級(jí)別的數(shù)據(jù)存儲(chǔ),帶寬需求也到了100TB規(guī)模。
為此,快手搭建了大模型架構(gòu)體系。通過(guò)AI算力中心、平臺(tái)、數(shù)據(jù)等高性能、高并發(fā)、高算力的大基建,可以支撐快手多模態(tài)大模型,而多模態(tài)大模型通過(guò)生成或理解,可以支持快手的搜廣推、AIGC、增長(zhǎng)或研發(fā)效能等大應(yīng)用。
更進(jìn)一步來(lái)看,快手AI大基建的數(shù)據(jù)已有日均數(shù)千萬(wàn)的短視頻和數(shù)千萬(wàn)小時(shí)的直播,一方面是傳輸給用戶,另一方面也是作為輸入持續(xù)不斷的輸送到大模型之中,不斷打磨大模型,達(dá)到更佳的效果。劉凌志強(qiáng)調(diào),“更重要的是,我們?cè)谒懔χ行睦锩孢M(jìn)行了比較深入的開(kāi)發(fā),這個(gè)深入開(kāi)發(fā)最終體現(xiàn)在自研芯片SL200上。”
首款智能視頻處理芯片,SL200節(jié)省30%碼率,支持8K應(yīng)用
作為快手StreamLake首款自研智能視頻處理芯片,快手SL200芯片具有非常優(yōu)秀的視頻效果。提及該款芯片可以做哪些工作,劉凌志表示,SL200芯片首先是高質(zhì)量、高密度的編解碼器。比如,把快手自研的算法固化到硬件中,作為一個(gè)硬件的視頻處理引擎;高質(zhì)量的編碼器在同樣的質(zhì)量下,可以節(jié)省30%的碼率,在同樣的帶寬下,可以提升相應(yīng)的清晰度。依托SL200芯片,不僅自然場(chǎng)景視頻能夠獲得非常好的效果,較難處理的游戲、數(shù)字人等場(chǎng)景也會(huì)得到非常顯著的清晰度的提升。
同時(shí),劉凌志指出,SL200也已實(shí)現(xiàn)了智能視頻的處理,這在未來(lái)視頻領(lǐng)域尤其重要,在同樣主觀質(zhì)量下,可以繼續(xù)降低20%以上的帶寬。比如把感興趣的區(qū)域找出來(lái),然后對(duì)它投入更多的帶寬,而對(duì)不感興趣的地方可以降低清晰度以平衡帶寬。傳統(tǒng)視頻的任務(wù),如去模糊、降噪、去視頻效應(yīng)等,除了可以用自己硬件的傳統(tǒng)算法來(lái)做,也可以用AI獲得更好的效果,并且可以二者在流水線上進(jìn)行疊加獲得疊加的效果。SL200芯片在其他智能視頻應(yīng)用中也展示優(yōu)異性能,比如超分,可以實(shí)時(shí)的把一個(gè)小的幅面放大到4K/8K,或者是大的變小;在視頻內(nèi)容識(shí)別和檢測(cè)應(yīng)用中,SL200有較高的處理速度,準(zhǔn)確率也是比較高的。
據(jù)悉,具備高質(zhì)量、高性能、智能化特點(diǎn)的快手SL200,已達(dá)到行業(yè)領(lǐng)先的壓縮效率,客觀質(zhì)量相比X265 medium可以節(jié)省30%碼率,單卡可以支持8K120幀/秒的處理或者8路4K60幀/秒的處理,內(nèi)置智能畫質(zhì)處理引擎,支持內(nèi)容自適應(yīng)編碼。
劉凌志認(rèn)為,從芯片設(shè)計(jì)來(lái)看,進(jìn)入到智能視頻時(shí)代,需要的是一個(gè)具有多種功能的SOC芯片。這就要求芯片不僅要有高質(zhì)量高密度的編解碼器,還需要有能夠支持實(shí)時(shí)視頻處理的AI引擎。另外,為了支持未來(lái)視頻算法的迭代,需要有較強(qiáng)的可編程的能力,所以SL200集成了多核GPGPU和高性能多核CPU,RISC-V處理器,以及數(shù)據(jù)中心里面的功耗檢測(cè)、溫度檢測(cè)等功能,為了保護(hù)用戶的隱私也需要內(nèi)嵌硬件安全模塊。
SL200芯片也獲得了業(yè)內(nèi)高度認(rèn)可,在今年7月舉辦的MSU2022世界編碼器大賽中,SL200一舉奪得4K和1080P賽道24項(xiàng)指標(biāo)中的16項(xiàng)第一,在全部6個(gè)賽道中獲得5項(xiàng)“最佳ASIC編碼器”。
劉凌志透露,基于SL200芯片,快手自研了板卡、服務(wù)器,也與浪潮等合作開(kāi)發(fā)了云服務(wù)器,同時(shí)搭建了算力中心,開(kāi)發(fā)了全套自主軟硬件的生態(tài)系統(tǒng),已經(jīng)在快手部署了數(shù)萬(wàn)片,并在各大公有云廠商進(jìn)行測(cè)試?？焓諷treamLake持續(xù)通過(guò)成熟的技術(shù)賦能產(chǎn)業(yè),并與浪潮等生態(tài)伙伴深入合作。
活動(dòng)現(xiàn)場(chǎng),快手StreamLake還圍繞芯片、快手智播等核心產(chǎn)品進(jìn)行了重點(diǎn)展示,向現(xiàn)場(chǎng)嘉賓展示了產(chǎn)品的廣泛應(yīng)用場(chǎng)景。
據(jù)悉,基于浪潮與快手StreamLake的深度合作,雙方將在硬件生態(tài)等領(lǐng)域攜手發(fā)展,布局算力未來(lái)。劉凌志表示,快手StreamLake希望通過(guò)卓越的技術(shù)能力,能夠更好地助力各行各業(yè)在智能視頻新時(shí)代、大模型新時(shí)代獲得成功。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
