探尋小米MIUI10超清畫(huà)質(zhì)體驗(yàn)背后的黑科技

近日，小米舉辦號(hào)稱“史上最多重磅新品齊首發(fā)”的發(fā)布會(huì)。會(huì)上，包括小米8、MIUI10等在內(nèi)的一系列重磅新品正式亮相。其中，有著“國(guó)產(chǎn)良心系統(tǒng)”之稱的MIUI10尤其引人關(guān)注，作為小米此次發(fā)布會(huì)最先登場(chǎng)的新一代手機(jī)系統(tǒng)，MIUI10以“全面屏”為核心設(shè)計(jì)，針對(duì)全面屏操作進(jìn)行了全方位支持和優(yōu)化，同時(shí)全面應(yīng)用AI，不但能夠幫助用戶輕松搞定復(fù)雜的操作，而且能夠帶給用戶更好的高清畫(huà)質(zhì)體驗(yàn)。接下來(lái)，我們就一起探尋MIUI10背后的高清畫(huà)質(zhì)“神器”。

KIE：將圖片變清晰的“神器”

這種將圖片變清晰的“神器”，就是KIE(Kingsoft Image &AI Enhancement)。KIE是金山云近期推出的基于AI技術(shù)的畫(huà)質(zhì)增強(qiáng)產(chǎn)品，將其應(yīng)用于移動(dòng)終端或圖片傳輸中，可為用戶帶來(lái)超清的圖像視覺(jué)體驗(yàn)，或者節(jié)省3/4的圖片傳輸帶寬成本。

小米MIUI官網(wǎng)對(duì)于KIE的介紹

隨著移動(dòng)終端特別是手機(jī)分辨率的不斷上升，更高分辨率圖片的需求也與日俱增，這是因?yàn)榈头直媛实膱D片，如果放到高分辨率的屏幕下，就會(huì)讓視覺(jué)效果變得很差。如果720P的圖片放在1080P的屏幕上，就會(huì)出現(xiàn)這樣的問(wèn)題。

高分辨率屏幕下顯示低質(zhì)量圖片，會(huì)讓視覺(jué)效果變差

而傳統(tǒng)的解決方案——插值算法，包括雙線性插值和臨近插值，但這種方法往往會(huì)導(dǎo)致邊緣出現(xiàn)鋸齒、模糊等問(wèn)題，將大幅降低圖片的視覺(jué)效果。金山云KIE則基于人工智能技術(shù)，對(duì)圖像重建使其高清放大，適配更高清的屏幕，同時(shí)對(duì)畫(huà)面的馬賽克、毛刺區(qū)域進(jìn)行修復(fù)，提升圖片視覺(jué)效果。

采用KIE畫(huà)質(zhì)增強(qiáng)功能的圖片效果對(duì)比

采用KIE畫(huà)質(zhì)增強(qiáng)功能的圖片效果對(duì)比

KIE的秘密武器：超分和修復(fù)

KIE是如何做到這些的呢?原來(lái)，它有兩種秘密武器——KIE包含超分辨率(以下簡(jiǎn)稱“超分”)和修復(fù)兩種技術(shù)，在深度卷積神經(jīng)網(wǎng)絡(luò)上，KIE的超分模型構(gòu)建了一個(gè)七層的網(wǎng)絡(luò)，能夠有效提升圖片質(zhì)量，解除圖片超分時(shí)模糊、紋理不清晰等問(wèn)題。深度卷積神經(jīng)網(wǎng)絡(luò)可依據(jù)圖片重建細(xì)節(jié)，實(shí)現(xiàn)清晰度遠(yuǎn)超原圖的效果。KIE在網(wǎng)絡(luò)結(jié)構(gòu)、模型訓(xùn)練上進(jìn)行了大量的探索和嘗試，實(shí)現(xiàn)了優(yōu)秀的圖像超分和去噪效果。

采用KIE畫(huà)質(zhì)增強(qiáng)功能的圖片效果對(duì)比

細(xì)節(jié)對(duì)比

KIE三倍圖片放大效果對(duì)比

首先，在網(wǎng)絡(luò)結(jié)構(gòu)上，KIE采用了Mobile Net V2構(gòu)造高效的網(wǎng)絡(luò)模型。KIE結(jié)合殘差學(xué)習(xí)思想，有效減少學(xué)習(xí)難度，采用跨層密集連接結(jié)構(gòu)，利于梯度傳播，使得深度網(wǎng)絡(luò)在更短的時(shí)間內(nèi)學(xué)習(xí)到更好的模型。采用金字塔結(jié)構(gòu)，使得底層的特征和頂層的特征能夠更有效融合。此外，在訓(xùn)練loss上，模型采用SSIM、圖像內(nèi)容損失等，讓圖片生成更加銳利的細(xì)節(jié)。

KIE采用金字塔結(jié)構(gòu)，使得底層的特征和頂層的特征能夠更有效結(jié)合

第二，在模型的訓(xùn)練上，KIE收集了30萬(wàn)張高清圖片，確保內(nèi)容豐富，采用多種方法模擬真實(shí)網(wǎng)絡(luò)圖片的生成過(guò)程，從而保證模型在推斷時(shí)達(dá)到更好的效果，能夠適應(yīng)絕大部分網(wǎng)絡(luò)圖片，確保學(xué)習(xí)的全面性。同時(shí)進(jìn)行數(shù)據(jù)混合，將不同大小倍數(shù)的圖像混合在一起訓(xùn)練，從而支持不同倍數(shù)圖片的高清化。

KIE的殘差學(xué)習(xí)結(jié)構(gòu)：加快訓(xùn)練速度并提高圖像質(zhì)量

針對(duì)在YUV三通道圖像中，人眼對(duì)Y通道中最為敏感的特點(diǎn)，KIE針對(duì)Y通道和UV通道分別采用不同網(wǎng)絡(luò)，其中Y通道復(fù)雜度高于UV通道的復(fù)雜度，在保證人眼質(zhì)量的情況下，加快了訓(xùn)練和推斷速度。

KIE針對(duì)微信、今日頭條等主流網(wǎng)絡(luò)圖片聚集地進(jìn)行調(diào)研，發(fā)現(xiàn)很多分辨率較小的圖片，如果與目前主流的移動(dòng)終端進(jìn)行匹配，需要放大三倍，這意味著需要對(duì)圖片的更多細(xì)節(jié)予以處理，因此難度更大。KIE以經(jīng)過(guò)訓(xùn)練的3X網(wǎng)絡(luò)對(duì)圖片進(jìn)行處理，經(jīng)過(guò)卷積網(wǎng)絡(luò)的學(xué)習(xí)和增強(qiáng)，最終提升了圖片的質(zhì)量。

KIE的應(yīng)用場(chǎng)景

目前，KIE以SDK形式集成到各種應(yīng)用場(chǎng)景中，包括各類(lèi)手機(jī)廠商系統(tǒng)、超級(jí)APP應(yīng)用、瀏覽器等。在同等主觀質(zhì)量下，KIE具有SDK體積小、推斷速度快和內(nèi)存占用少的特點(diǎn)，且能夠適應(yīng)多種平臺(tái)。

在底層優(yōu)化上，KIE采用模型壓縮和量化技術(shù)，有效減少SDK的大小和推斷速度。并且，采用金山云AI團(tuán)隊(duì)構(gòu)建的高效的深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，在CPU上的推斷速度達(dá)到了Google tensorlite的二到三倍，內(nèi)存消耗也大大減少，為KIE的技術(shù)推廣奠定了基礎(chǔ)。

同時(shí)，KIE具有強(qiáng)大的跨平臺(tái)特性，目前支持Android、iOS、PC平臺(tái)和WEB端，接口簡(jiǎn)單快速接入?？稍诮K端上實(shí)時(shí)處理，與解碼器完全解耦，圖片在移動(dòng)終端上能夠達(dá)到毫秒級(jí)響應(yīng)，全面提升用戶的瀏覽體驗(yàn)。

名詞解釋?zhuān)?/p>

MobileNetV2：是對(duì)MobileNetV1的改進(jìn)，是一個(gè)輕量化卷積神經(jīng)網(wǎng)絡(luò)。

SSIM：SSIM(structuralsimilarityindex)，結(jié)構(gòu)相似性，是一種衡量?jī)煞鶊D像相似度的指標(biāo)。該指標(biāo)首先由德州大學(xué)奧斯丁分校的圖像和視頻工程實(shí)驗(yàn)室(Laboratory for Image and Video Engineering)提出。SSIM使用的兩張圖像中，一張為未經(jīng)壓縮的無(wú)失真圖像，另一張為失真后的圖像。

Google tensorlite：即TensorFlow Lite，Google稱Lite版本TensorFlow是TensorFlow Mobile的一個(gè)延伸版本。盡管是一個(gè)輕量級(jí)版本，依然是在智能手機(jī)和嵌入式設(shè)備上部署深度學(xué)習(xí)的一大動(dòng)作。此前，通過(guò)TensorFlow Mobile API，TensorFlow已經(jīng)支持手機(jī)上的模型嵌入式部署。TensorFlow Lite應(yīng)該被視為T(mén)ensorFlow Mobile的升級(jí)版。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。