數(shù)字中國的視覺進(jìn)階：ISP的來處與歸途

原標(biāo)題：數(shù)字中國的視覺進(jìn)階：ISP的來處與歸途

每次不知道該聊點(diǎn)什么的時(shí)候，我就會(huì)去一些網(wǎng)站和社區(qū)溜達(dá)找找靈感，海外如WIRED、MIT News、mashable，國內(nèi)如極術(shù)社區(qū)，都是我的大腦“充電站”。

這個(gè)周一，被選題按在桌前摩擦的我又去極術(shù)社區(qū)里逡巡了，恰好就讓我發(fā)現(xiàn)了一個(gè)極為有趣的事情：一個(gè)名為《安謀中國“玲瓏”ISP處理器概覽》分享，在極術(shù)社區(qū)引起了開發(fā)者的熱議，各種問題在帖子下面建起了高樓。

無獨(dú)有偶，近兩年在產(chǎn)業(yè)界，我們也能發(fā)現(xiàn)ISP芯片變得越來越有存在感。蘋果、三星、華為等已經(jīng)在產(chǎn)品中應(yīng)用了自研ISP模組，OV小米等手機(jī)廠商在沖擊高端化進(jìn)程中也加大了自研ISP領(lǐng)域發(fā)力。

ISP這個(gè)名詞可能有點(diǎn)陌生，但早已滲透在絕大多數(shù)普通人的日常生活。簡單來說，相機(jī)在采集圖像時(shí)，會(huì)遇到許多影響圖像質(zhì)量的因素，噪音、色差、明暗等變化都會(huì)導(dǎo)致設(shè)備無法還原出真實(shí)的畫面（所以不要再怪蘋果前置攝像頭把你拍丑了）。而ISP(Image Signal Processing) 圖像信號(hào)處理的作用，就是通過降噪、自動(dòng)曝光、自動(dòng)對(duì)焦、自動(dòng)白平衡、圖像銳化等操作，把傳感器采集到的數(shù)據(jù)轉(zhuǎn)換成接近真實(shí)場(chǎng)景的數(shù)字流。

不難發(fā)現(xiàn)，ISP最為大眾所感知的應(yīng)用，就是手機(jī)的攝影攝像功能了。那么，在智能手機(jī)在存量市場(chǎng)“內(nèi)卷”的當(dāng)下，攝影攝像似乎已經(jīng)停留在高水平競(jìng)爭(zhēng)很久了，這股ISP熱潮究竟是從何而來？為什么會(huì)吸引如此多的開發(fā)者及廠商？又是如何影響中國智能化進(jìn)程的？

這是一個(gè)十分值得討論的話題，也將在接下來深度影響你我的數(shù)字生活。

緣起：重新審視ISP

佛教有云，一切有為法，皆待緣而起。ISP為各大芯片廠商，尤其是中國企業(yè)所重視，并不是沒有原因的。佛陀將緣起歸結(jié)于老死憂愁等苦難，ISP的“走紅”也與現(xiàn)實(shí)挑戰(zhàn)有著直接關(guān)聯(lián)。

第一重挑戰(zhàn)來自國際。在全球半導(dǎo)體貿(mào)易的不確定性當(dāng)中，傳統(tǒng)的芯片架構(gòu)和供應(yīng)鏈都可能影響中國智能產(chǎn)業(yè)的發(fā)展，因此，更自主可控的方案如ARM架構(gòu)就取代傳統(tǒng)芯片方案成為手機(jī)、電腦、汽車等芯片的主流，而所謂處理器核心模組之一的ISP芯片，自然也面臨著新的市場(chǎng)需求和技術(shù)創(chuàng)新。

第二重挑戰(zhàn)來自國內(nèi)。隨著AI、5G、云計(jì)算等技術(shù)的成熟，越來越多的行業(yè)場(chǎng)景開始應(yīng)用上了計(jì)算機(jī)視覺技術(shù)，攝像頭變得無處不在。尤其是數(shù)字化建設(shè)如火如荼的中國，攝像頭、視覺感知等應(yīng)用爆發(fā)式增長。比如在汽車自動(dòng)駕駛輔助系統(tǒng)（ADAS） 、工業(yè)智能制造、文檔掃描、人臉識(shí)別、智慧監(jiān)控等等多種社會(huì)服務(wù)中，都對(duì)圖像質(zhì)量提出了更高的要求，數(shù)字中國的發(fā)展，推動(dòng)著ISP芯片以更低的功耗成本實(shí)現(xiàn)更高的分辨率。

第三重挑戰(zhàn)來自用戶。當(dāng)然，智能手機(jī)的圖像質(zhì)量是大眾最常接觸、最具感知力的應(yīng)用了。高速增長的影視技術(shù)，清晰度從720p飛速發(fā)展到4K乃至8K時(shí)代，直播、短視頻、虛擬現(xiàn)實(shí)、AR等新應(yīng)用的出現(xiàn)，也對(duì)ISP的性能、功耗、延遲等都提出了挑戰(zhàn)。對(duì)于智能手機(jī)廠商來說，在媲美單反的基礎(chǔ)上，打造出差異化的影像能力，已經(jīng)成為一道不容回避的命題。

天時(shí)、地利、人和，三者皆備，ISP芯片自然也越來越受到開發(fā)者和廠商們的重視。

當(dāng)下：數(shù)字中國需要怎樣的“眼睛”？

既然ISP需求增長的背景已經(jīng)明確，那么更符合當(dāng)下產(chǎn)業(yè)及消費(fèi)者需求的ISP芯片，其特征也就呼之欲出了：

更高的可控度。不僅要在供應(yīng)鏈層面保證各個(gè)廠商應(yīng)對(duì)不確定性的需求，還要包含差異化圖像能力的軟硬件基礎(chǔ)，從而最大程度降低下游廠商的產(chǎn)品研發(fā)風(fēng)險(xiǎn)與成本。比如安謀中國就面向中國市場(chǎng)，以ARM架構(gòu)為基礎(chǔ)自研了“玲瓏”多媒體產(chǎn)品線，來賦能本土自主創(chuàng)新。

更高的性能。通過更先進(jìn)的技術(shù)，滿足工業(yè)、自動(dòng)駕駛、安全監(jiān)控等對(duì)圖像畫質(zhì)高精度的需求，比以往更加強(qiáng)大和精確。以自動(dòng)駕駛為例，就需要捕捉非常大的視覺動(dòng)態(tài)范圍，并且比人眼更精準(zhǔn)地識(shí)別暗處和明亮的圖像細(xì)節(jié)，以保證行車及路人的安全。

更低的功耗。無論產(chǎn)業(yè)應(yīng)用還是個(gè)人移動(dòng)終端，都對(duì)功耗比較敏感，耗電、發(fā)熱等問題都可能影響整體部署成本和用戶體驗(yàn)，這就要求ISP的創(chuàng)新不能以能效為代價(jià)，以更好地滿足數(shù)字化轉(zhuǎn)型中的現(xiàn)實(shí)需要。

如此看下來，ISP的技術(shù)創(chuàng)新難度并不簡單，需要技術(shù)人員一點(diǎn)一滴地突破，難怪能引發(fā)不小的專業(yè)討論。

未來：ISP的技術(shù)展望

縱觀極術(shù)社區(qū)中圍繞玲瓏ISP展開的討論，廣大開發(fā)者比較關(guān)心的話題，大多圍繞在3A算法是否在ISP里運(yùn)算，哪些場(chǎng)景下需要單獨(dú)的ISP芯片，機(jī)器學(xué)習(xí)對(duì)ISP芯片的影響等等。

從中，我們也可以看到ISP芯片未來幾個(gè)比較明確的創(chuàng)新方向。

一是3A算法的不斷升級(jí)。

想要提升成像質(zhì)量，3A算法即自動(dòng)對(duì)焦(AF)、自動(dòng)曝光(AE)和自動(dòng)白平衡(AWB)，起到了十分重要的作用。比如說，當(dāng)傳感器將圖像信息傳遞給ISP芯片時(shí)，自動(dòng)判斷是否對(duì)明亮或暗處的像素采取行動(dòng)，能夠讓計(jì)算機(jī)視覺系統(tǒng)做出更準(zhǔn)確的判斷。

以安謀中國本土團(tuán)隊(duì)自主研發(fā)的“玲瓏”i3/i5 ISP 處理器為例，就通過3次曝光HDR，將一個(gè)場(chǎng)景的長時(shí)間、中時(shí)間、短時(shí)間曝光合成一幀，從而在逆光等寬動(dòng)態(tài)情況下，對(duì)明暗區(qū)域都能夠很好地記錄，從而在寬動(dòng)態(tài)范圍、低光降噪等方面獲得不錯(cuò)的表現(xiàn)。說人話就是，逆光拍攝相機(jī)也能看清你的美。

第二個(gè)技術(shù)趨勢(shì)，是從集成向外置演進(jìn)。傳統(tǒng)ISP芯片被集成在處理器內(nèi)，隨著高像素、高畫質(zhì)的需求出現(xiàn)，CIS傳感器的尺寸也變得越大，外置獨(dú)立ISP在功耗上更具優(yōu)勢(shì)。不過，相比內(nèi)置方案，成本更高、開發(fā)周期也較長，這就需要芯片廠商進(jìn)行取舍。

第三個(gè)技術(shù)趨勢(shì)，是ISP與AI的結(jié)合。將傳感器信息轉(zhuǎn)化為圖像是一個(gè)復(fù)雜的過程，ISP往往有成百上千個(gè)不同的參數(shù)進(jìn)行調(diào)整。而前面提到，視覺感知在各行各業(yè)中的應(yīng)用越來越廣泛，不同的鏡頭和傳感器具有不同的特性，這時(shí)候?yàn)樘囟ㄏ鄼C(jī)系統(tǒng)進(jìn)行優(yōu)化調(diào)整、開發(fā)針對(duì)性的芯片產(chǎn)品，就變成了一項(xiàng)極具挑戰(zhàn)性的任務(wù)。所以將AI處理器的智慧分析能力與ISP的信號(hào)處理能力，能夠達(dá)成更強(qiáng)大的成像效果。

由此則產(chǎn)生了第四個(gè)技術(shù)趨勢(shì)，那就是定制化支持。如前所說，，ISP可應(yīng)用場(chǎng)景越來越多，不同的場(chǎng)景對(duì)應(yīng)著不同的能力需求，使得通用性的ISP難以全面通吃，這就要求IP開發(fā)廠商能夠與服務(wù)垂直行業(yè)的開發(fā)者保持緊密溝通與及時(shí)響應(yīng)，來打造更具靈活性、定制化的產(chǎn)品。

今天，中國正在以舉世矚目的速度進(jìn)入到智能時(shí)代，被數(shù)字化的物理世界不僅僅是消費(fèi)者手機(jī)中的一張張圖片，還是各個(gè)行業(yè)智能機(jī)器“眼中”不可或缺的數(shù)字養(yǎng)料，滋養(yǎng)著整個(gè)中國的智慧水平。

從這個(gè)角度看，ISP芯片已經(jīng)成為中國智能產(chǎn)業(yè)不可忽視、不容錯(cuò)過的一張底牌，等待著更多有識(shí)之士去探索和解密。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。