山引擎4K修復影片入選北影節(jié) 相關技術在CVPR2024奪冠

4月18日,第十四屆北京國際電影節(jié)正式開幕。由中國電影資料館、抖音和火山引擎聯(lián)合4K修復版的港片《A 計劃》與《賣身契》入選“致敬·修復”單元,并于4月18日、19日進行放映。

4K版《A計劃》《賣身契》電影海報

《A計劃》《賣身契》分別上映于1983、1978年,距今已四十多年。2023年8月,中國電影資料館、抖音和火山引擎共同發(fā)起了“經典香港電影修復計劃”,宣布將4K修復100部香港電影。此次放映的這兩部影片就來自上述項目,影片的原始拍攝底片在香港完成4K規(guī)格掃描,整個修復流程包括中國電影資料館的物理和數(shù)字修復,火山引擎的AI技術修復,以及雙方合作的藝術修復等環(huán)節(jié)。

火山引擎是字節(jié)跳動旗下的云服務平臺,曾分別攜手西瓜視頻和抖音,完成100部國產經典動畫和Beyond經典演唱會的4K修復。

在“經典香港電影修復計劃”中,火山引擎首次將AIGC技術應用于老片修復場景,借助視覺大模型強大的生成能力和豐富的先驗知識,實現(xiàn)修復效果在清晰度、色彩、流暢度和瑕疵消除等方面的全方位提升。

“一方面,大模型生成能力強,借助Stable Diffusion大模型的生成能力,修復效果優(yōu)于之前的算法,畫面細節(jié)更自然;另一方面,大模型具有非常強的信息結構化能力,在學習了海量數(shù)據對后,可以在其中提煉出大量的知識并“存儲”在模型參數(shù)之中,其生成空間更豐富,能夠應對更多的修復場景?!被鹕揭嬉曨l云技術架構總監(jiān)王悅介紹。

目前,火山引擎已針對視覺大模型在一些場景下容易生成偽影或者虛假紋理,以及視頻多幀場景的穩(wěn)定性等問題,在算法和工程上進行了一系列優(yōu)化,提升了大模型在4K場景下的處理效率并兼顧算力成本。

隨著修復工作的深入,火山引擎多媒體實驗室通過引入自適應特征加權模塊、無監(jiān)督學習與有監(jiān)督學習相結合、文字語義先驗等訓練手段,對視覺大模型進一步的調優(yōu),在極低畫質人像重建、褪色膠片顏色調整和文字缺失筆畫生成等幾個方面取得了較好效果。

修復前vs修復后

褪色膠片顏色調整前后對比

為保持“修舊如舊”的原片膠片質感,技術團隊在提升受損圖像紋理的平滑度、夜景噪聲去除等效果的同時,還特意研發(fā)了自適應質感增強方案,添加模擬膠片噪聲的顆粒。

與此同時,解決老片修復中的各項實際問題,也為火山引擎多媒體實驗室的學術研究提供了價值。在計算機視覺頂級會議CVPR 2024中,火山引擎多媒體實驗室一舉奪得了NTIRE 圖像恢復與增強的新趨勢New Trends in Image Restoration and Enhancement)賽道的冠軍,其奪冠方案是基于提示學習(Prompt Learning)的圖像增強恢復,主要解決的問題,就是修復類似于老片中大量存在的不可預知的復雜損害(未知復雜退化)。

“老片修復這件事情,其實我們每天都在做?!蓖鯋傉f,老片中常見的清晰度低、流暢度低、色彩失真、有瑕疵等畫質問題,在抖音的海量投稿里也廣泛存在。通過服務抖音,火山引擎在老片修復方面已經形成了一套較為完整的智能處理技術方案。

公開資料顯示,電影修復工藝繁雜瑣碎,一位經驗豐富的修復師需要1個月才可以修復完成一部影片。近些年,通過深度學習等AI技術,大幅提升老片修復的質量和效率成為可能。

香港城市大學計算機系助理教授馬柯德表示,當前人工智能技術的快速發(fā)展顯現(xiàn)出巨大的潛力,未來不僅一些老電影中音畫不同步的問題將借由AIGC得到更有效的解決,甚至有望讓AI學會自動評判修復效果。

老港片承載著許多觀眾的青春記憶,成龍在《A計劃》中的精湛演技與驚險動作場面,以及許冠文在《賣身契》中幽默詼諧的表演,都曾給觀眾帶來無數(shù)驚喜,伴隨修復技術的提升,這些舊時光里的經典將重新煥發(fā)生機。

在《A計劃》的映前活動環(huán)節(jié),曾任成龍中國副總裁的資深電影制片人孫嶸現(xiàn)場與影迷分享,成龍此前認為《飛鷹計劃》里隧道的光不夠亮,“經典香港電影修復計劃”團隊根據意見調整,彌補了他當年創(chuàng)作的遺憾。

恐龍影業(yè)創(chuàng)始人,前成龍中國副總裁、耀萊影視副總裁孫嶸在映前分享

目前,觀眾在抖音、西瓜視頻,可線上觀看“經典香港電影修復計劃”已修復完成的電影,其余電影的4K修復版也將陸續(xù)上線。

免責聲明:此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權歸作者所有,且僅代表作者個人觀點,與極客網無關。文章僅供讀者參考,并請自行核實相關內容。投訴郵箱:editor@fromgeek.com。

極客網企業(yè)會員

免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

2024-04-22
山引擎4K修復影片入選北影節(jié) 相關技術在CVPR2024奪冠
山引擎4K修復影片入選北影節(jié)相關技術在CVPR2024奪冠

長按掃碼 閱讀全文