手機(jī)影像二十載,AI多攝會(huì)是終極答案嗎?

原標(biāo)題:手機(jī)影像二十載,AI多攝會(huì)是終極答案嗎?

上世紀(jì)20年代,拉茲洛·莫霍利·納吉曾說(shuō),“不懂得攝影的人,便是將來(lái)的文盲”。如今大規(guī)模普及的手機(jī)攝影,正好說(shuō)明了這句話驚人的預(yù)見(jiàn)性。自拍、合影、短視頻……按下手機(jī)拍照鍵記錄生活,幾乎成了人的本能。

《2020中國(guó)人工智能手機(jī)白皮書》數(shù)據(jù)顯示,“拍攝”是2019年中國(guó)用戶最關(guān)注的手機(jī)功能,遠(yuǎn)超其他應(yīng)用。為了迎合消費(fèi)者的需求,手機(jī)廠商們自然也將目光和火力都集中在影像能力的塑造上。

以至于近年攝影能力幾乎占據(jù)了新品發(fā)布會(huì)的高光時(shí)刻,手機(jī)新品海報(bào)也幾乎被攝像頭畫面包攬。廠商們?cè)诜直媛蕯?shù)字上互相碾壓,攝像頭數(shù)量也開始內(nèi)卷,手機(jī)背面的開孔一個(gè)比一個(gè)多,四攝、長(zhǎng)焦、微距恨不得都塞到框里來(lái)……

多攝像頭基礎(chǔ)上的AI計(jì)算攝影,逐漸成為主流旗艦機(jī)的標(biāo)配。接下來(lái),手機(jī)攝影將向哪里走?

以史為鑒,可知興替,我們不妨先回溯一下手機(jī)影像能力的進(jìn)化軌跡,找到未來(lái)的發(fā)展路徑。

時(shí)間簡(jiǎn)史:手機(jī)攝影的曲折往事

隨著手機(jī)攝像頭越來(lái)越多、模組越來(lái)越厚,開始有人覺(jué)得,現(xiàn)在的手機(jī)攝影有點(diǎn)過(guò)于內(nèi)卷,真的有必要嗎?回到歷史上的一些決定性時(shí)刻我們發(fā)現(xiàn),影像技術(shù)的每一次內(nèi)卷,都推動(dòng)了創(chuàng)新步伐的加速。

手機(jī)如何塑造出移動(dòng)影像能力,大概分為四個(gè)時(shí)期:

1.萌芽時(shí)期。

2000年11月,夏普發(fā)行了第一個(gè)真正的相機(jī)手機(jī)J-Phone。行業(yè)很快發(fā)現(xiàn),智能手機(jī)中的攝像頭將成為未來(lái)的主要功能。Canalys報(bào)告顯示,2004年第三季度售出的手機(jī)中,有三分之二都是相機(jī)手機(jī)。

2.黃金時(shí)期。

2006年,諾基亞將相機(jī)手機(jī)推向了新的高度,擁有200萬(wàn)像素的攝像頭,卡爾蔡司光學(xué)元件、自動(dòng)對(duì)焦和LED閃光燈。LG與德國(guó)光學(xué)巨頭施耐德合作。這一階段,手機(jī)影像紛紛開啟了擁抱專業(yè)科技的進(jìn)擊之路,嘗試突破智能手機(jī)成像功能的極限。

3.滯緩時(shí)期。

隨著智能手機(jī)的起飛,改進(jìn)手機(jī)攝像頭的競(jìng)爭(zhēng)稍有停頓,主要是因?yàn)橹悄苁謾C(jī)要求纖薄,強(qiáng)大的相機(jī)手機(jī)有些笨重。于是,手機(jī)廠商開始思考多攝像頭陣列。2010年蘋果iPhone 4等手機(jī)將自拍(前置攝像頭)帶入智能手機(jī)市場(chǎng),計(jì)算攝影開始成為手機(jī)影像的創(chuàng)新方向。

4.智能時(shí)期。

受手機(jī)空間和模組尺寸的影響,手機(jī)不可能無(wú)止境地增加元器件。真正讓手機(jī)攝影成為大多數(shù)用戶的選擇,是AI算法與多攝像頭合并,帶來(lái)前所未有的鏡頭效果。

AI如同一個(gè)光影魔術(shù)手,通過(guò)一系列智能攝影功能,將計(jì)算攝影提升到一個(gè)新的水平,成為多攝像頭不可或缺的伙伴。也是在這一時(shí)期,移動(dòng)設(shè)備和專業(yè)相機(jī)之間的界限才開始消弭,我們不再質(zhì)疑為什么專業(yè)人士也要用手機(jī)拍照片拍電影。

經(jīng)過(guò)了一輪輪的迭代升級(jí),手機(jī)拍攝能力才真正變得舉足輕重,讓普通人可以拍出精彩的作品、記錄生活的點(diǎn)滴。

成像挑戰(zhàn):AI多攝要跨越的三重門

可以說(shuō),攝影這門藝術(shù),發(fā)展歷史的每一個(gè)刻度,都銘刻著技術(shù)進(jìn)步的烙印。AI多攝成為大勢(shì)的背后,也是一眾科技企業(yè)的技術(shù)長(zhǎng)跑,其中既有華米OV這樣的手機(jī)廠商,也有曠視這樣的AI公司,和代工廠、供應(yīng)鏈企業(yè)的努力。

比如在硬件上,增加CMOS可以提升成像質(zhì)量,但也會(huì)增加手機(jī)存儲(chǔ)讀寫的效率壓力和功耗,手機(jī)廠商不得不在硬件上做大量突破。像是SoC工藝的應(yīng)用,光學(xué)變焦?jié)撏界R頭,堆棧式感光元件等等,手機(jī)廠商不斷追求輕薄與成像的平衡。

既然是計(jì)算攝影,自然也離不開算力的支持。很多頭部手機(jī)廠商都研發(fā)并應(yīng)用了專門的AI芯片,以提升手機(jī)的計(jì)算性能,以支撐AI多攝的算力需求。

另一個(gè)必不可少的,則是算法。

10月12日曠視在其MegTech Lite漫談AI技術(shù)分享會(huì)上,就提到了移動(dòng)攝影的技術(shù)挑戰(zhàn),展示了曠視在AI多攝領(lǐng)域所做的大量技術(shù)創(chuàng)新和實(shí)踐成果。簡(jiǎn)單來(lái)說(shuō),要讓手機(jī)攝影達(dá)到媲美專業(yè)單反的效果,主要有三重挑戰(zhàn):

挑戰(zhàn)之一,變焦。

我們知道,專業(yè)攝影師拍攝不同題材要用到不同的焦段,比如大場(chǎng)景自然風(fēng)光適合12到24毫米,人像就要85到135毫米,而一部手機(jī)想要應(yīng)對(duì)這么多題材,就需要多個(gè)攝像頭來(lái)支撐。隨著手機(jī)后置攝像頭的數(shù)量和類別不斷增加,主攝、廣角、超廣角、長(zhǎng)焦、微距等五花八門,不可能全部打開。而AI算法可以有效彌補(bǔ)手機(jī)的硬件局限性,協(xié)調(diào)更多鏡頭組,來(lái)實(shí)現(xiàn)近似單反的變焦效果。

那么,怎么搭配組合才能讓手機(jī)的變焦過(guò)程變得絲滑呢?越好的算法越能夠消除不同攝像頭接縫處的違和感,實(shí)現(xiàn)1+1大于2的成像效果。以曠視的平滑變焦算法為例,可以支持超廣角+廣角、廣角+長(zhǎng)焦等多種鏡頭組合,變焦過(guò)程平滑自然,不會(huì)出現(xiàn)黑區(qū)。

挑戰(zhàn)之二,虛化。

專業(yè)單反的另一個(gè)厲害之處,就是有質(zhì)感的虛化,人像或物體清晰而背景變虛,讓畫面更有故事感。但很多手機(jī)的虛化功能,成片看起來(lái)似乎總有點(diǎn)廉價(jià),問(wèn)題之一就出在算法上。

因?yàn)槭謾C(jī)不可能裝下一個(gè)直徑4厘米的大光圈,虛化效果靠的是兩個(gè)鏡頭來(lái)制造視差,模擬出大光圈的效果。如果算法不夠強(qiáng),沒(méi)能精準(zhǔn)測(cè)距,對(duì)畫面上非常細(xì)節(jié)的部分進(jìn)行計(jì)算,自然很難還原出高質(zhì)量的視差效果。

據(jù)透露,曠視基于深度學(xué)習(xí)的雙攝虛化算法,可以準(zhǔn)確地計(jì)算出深度信息,實(shí)現(xiàn)非常精細(xì)的虛化效果,能夠把消防栓孔的細(xì)節(jié)都恢復(fù)出來(lái)。

挑戰(zhàn)之三,融合。

不同攝像頭除了焦距不同,感光度也不同,如果能把不同能力的攝像頭融合起來(lái),就能獲得雙重效果。比如把一個(gè)對(duì)顏色感知能力強(qiáng)的攝像頭和對(duì)結(jié)構(gòu)感知能力強(qiáng)的攝像頭融合起來(lái),可以讓畫面變得既有顏色又有細(xì)節(jié)。

但做好這一點(diǎn)并不容易。因?yàn)閮蓚€(gè)攝像頭拍攝的畫面場(chǎng)景里出現(xiàn)的物體可能并不一模一樣,會(huì)形成一定的視野盲區(qū)。想要把兩張圖融合成一張,就需要靠算法進(jìn)行計(jì)算處理,比如把缺失的圖像部分用AI“腦補(bǔ)”出來(lái)、將重合的部分對(duì)齊等等,從而提升成像質(zhì)量。

可以說(shuō),利用AI算法能夠有效彌補(bǔ)硬件局限,更好地調(diào)度鏡頭、理解意圖、優(yōu)化成像,達(dá)到近似單反的拍照效果。這時(shí)候,移動(dòng)影像也就有了質(zhì)感之美、多元之美、創(chuàng)作之美。

光之傳奇:技術(shù)與藝術(shù)的結(jié)合體

多攝像頭的趨勢(shì)下,AI算法的重要性越來(lái)越不可忽視,角色有點(diǎn)像戰(zhàn)場(chǎng)的指揮官,要在拍攝時(shí)讓不同攝像頭打好配合戰(zhàn),借助焦段、清晰度、感知度等等,實(shí)現(xiàn)1+1大于2的成像效果。

而曠視這樣的AI公司的參與,也給計(jì)算攝影的創(chuàng)新演進(jìn)帶來(lái)了新思路。比如 用AI重新定義光感知系統(tǒng)的理念,就是由曠視提出的。目前,曠視為多款主流安卓智能手機(jī)提供一系列計(jì)算攝影解決方案。從曠視對(duì)AI與光感知系統(tǒng)的思考中,或許我們可以窺見(jiàn)計(jì)算攝影的進(jìn)化之路。

簡(jiǎn)單來(lái)說(shuō),光感知協(xié)同進(jìn)化,就是將原本相對(duì)獨(dú)立的光學(xué)系統(tǒng)、傳感系統(tǒng)、計(jì)算系統(tǒng),統(tǒng)一納入到算法考量思考中來(lái)。曠視利用深度神經(jīng)網(wǎng)絡(luò),讓光、感、知系統(tǒng)充分協(xié)作,釋放出移動(dòng)攝影的最大價(jià)值,帶來(lái)指數(shù)級(jí)的成像效果提升。

就拿最直觀的畫質(zhì)來(lái)說(shuō),要提升成像畫質(zhì),傳統(tǒng)做法可能是各個(gè)系統(tǒng)分別優(yōu)化,比如采用更好的鏡頭組件、更高性能的處理器,提升鏡頭傳感器的像素等等,這種A+B+C的模式,可以提升成像質(zhì)量,同時(shí)也會(huì)給儲(chǔ)存、計(jì)算、功耗帶來(lái)壓力。

而曠視的計(jì)算攝影解決方案則是用AI算法配合光感知系統(tǒng),進(jìn)行全流程協(xié)同升級(jí)。算法協(xié)同光感知系統(tǒng)共同發(fā)力,獲得高品質(zhì)畫面的同時(shí),也減少了對(duì)硬件系統(tǒng)的依賴,提升了數(shù)據(jù)處理能力和時(shí)效性,讓畫面輸出更加穩(wěn)定、快捷,實(shí)現(xiàn)了A x Bx C的指數(shù)性改變。

可以肯定的是,未來(lái)的手機(jī)攝影,將在AI的加持下,變得更懂用戶、更懂畫面,從“所見(jiàn)即所得”到“所想即所得”。終有一天,手機(jī)拍攝的景物將和我們眼中所見(jiàn)、心中所想的美景一般無(wú)二。

每一個(gè)平凡的角落,都值得我們?nèi)プ⒁?,這是人為什么需要手機(jī)攝影。

從歷史上的一次次突破,到今天AI重新定義光感知系統(tǒng),可以看到,手機(jī)影像的技術(shù)追求和藝術(shù)追求,一直未曾停止。軟硬件協(xié)同的AI多攝,作為數(shù)字生活的記錄者,在每一個(gè)人手中與眼中,書寫著智能時(shí)代的光之傳奇。

科技企業(yè),不僅是手機(jī)攝影技術(shù)的探路者,更是攝影藝術(shù)的同路人。探索永無(wú)止境,值得欣喜的是,今天的中國(guó)AI企業(yè),已經(jīng)在路上。

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2021-10-16
手機(jī)影像二十載,AI多攝會(huì)是終極答案嗎?
真正讓手機(jī)攝影成為大多數(shù)用戶的選擇,是AI算法與多攝像頭合并,帶來(lái)前所未有的鏡頭效果。

長(zhǎng)按掃碼 閱讀全文