小米MIUI10重磅發布！金山雲KIE提供超清神器

標籤：小米手機   金山雲   超清   

近日，小米舉辦號稱“史上最多重磅新品齊首發”的發布會。會上，包括小米8、MIUI10等在內的一系列重磅新品正式亮相。其中，有著“國產良心系統”之稱的MIUI10尤其引人關注，作為小米此次發布會最先登場的新一代手機系統，MIUI10以“全面屏”為核心設計，針對全面屏操作進行了全方位支援和最佳化，同時全面應用AI，不但能夠協助使用者輕鬆搞定複雜的操作，而且能夠帶給使用者更好的高清畫質體驗。接下來，我們就一起探尋MIUI10背後的高清畫質“神器”。

KIE：將圖片變清晰的“神器”

這種將圖片變清晰的“神器”，就是KIE(Kingsoft Image &AI Enhancement)。KIE是金山雲近期推出的基於AI技術的畫質強化產品，將其應用於移動終端或圖片傳輸中，可為使用者帶來超清的映像視覺體驗，或者節省3/4的圖片傳輸頻寬成本。

小米MIUI官網對於KIE的介紹

隨著移動終端特別是手機解析度的不斷上升，更高解析度圖片的需求也與日俱增，這是因為低解析度的圖片，如果放到高解析度的螢幕下，就會讓視覺效果變得很差。如果720P的圖片放在1080P的螢幕上，就會出現這樣的問題。

高解析度螢幕下顯示低品質圖片，會讓視覺效果變差

而傳統的解決方案——插值演算法，包括雙線性插值和臨近插值，但這種方法往往會導致邊緣出現鋸齒、模糊等問題，將大幅降低圖片的視覺效果。金山雲KIE則基於人工智慧技術，對映像重建使其高清放大，適配更高清的螢幕，同時對畫面的馬賽克、毛刺地區進行修複，增益圖片視覺效果。

採用KIE畫質增強功能的圖片效果對比

採用KIE畫質增強功能的圖片效果對比

KIE的秘密武器：超分和修複

KIE是如何做到這些的呢？原來，它有兩種秘密武器——KIE包含超解析度(以下簡稱“超分”)和修複兩種技術，在深度卷積神經網路上，KIE的超分模型構建了一個七層的網路，能夠有效增益圖片品質，解除圖片超分時模糊、紋理不清晰等問題。深度卷積神經網路可依據圖片重建細節，實現清晰度遠超原圖的效果。KIE在網路結構、模型訓練上進行了大量的探索和嘗試，實現了優秀的映像超分和去噪效果。

採用KIE畫質增強功能的圖片效果對比

細節對比

KIE三倍圖片放大效果對比

首先，在網路結構上，KIE採用了Mobile Net V2構造高效的網路模型。KIE結合殘差學習思想，有效減少學習難度，採用跨層密集串連結構，利於梯度傳播，使得深度網路在更短的時間內學習到更好的模型。採用金字塔結構，使得底層的特徵和頂層的特徵能夠更有效融合。此外，在訓練loss上，模型採用SSIM、映像內容損失等，讓圖片產生更加銳利的細節。

KIE採用金字塔結構，使得底層的特徵和頂層的特徵能夠更有效結合

第二，在模型的訓練上，KIE收集了30萬張高清圖片，確保內容豐富，採用多種方法類比真實網狀圖片的產生過程，從而保證模型在推斷時達到更好的效果，能夠適應絕大部分網狀圖片，確保學習的全面性。同時進行資料混合，將不同大小倍數的映像混合在一起訓練，從而支援不同倍數圖片的高清化。

KIE的殘差學習結構：加快訓練速度並提高映像品質

針對在YUV三通道映像中，人眼對Y通道中最為敏感的特點，KIE針對Y通道和UV通道分別採用不同網路，其中Y通道複雜度高於UV通道的複雜度，在保證人眼品質的情況下，加快了訓練和推斷速度。

KIE針對、今日頭條等主流網狀圖片聚集地進行調研，發現很多解析度較小的圖片，如果與目前主流的移動終端進行匹配，需要放大三倍，這意味著需要對圖片的更多細節予以處理，因此難度更大。KIE以經過訓練的3X網路對圖片進行處理，經過卷積網路的學習和增強，最終提升了圖片的品質。

KIE的應用情境

目前，KIE以SDK形式整合到各種應用情境中，包括各類手機廠商系統、超級APP應用、瀏覽器等。在同等主觀品質下，KIE具有SDK體積小、推斷速度快和記憶體佔用少的特點，且能夠適應多種平台。

在底層最佳化上，KIE採用模型壓縮和量化技術，有效減少SDK的大小和推斷速度。並且，採用金山雲AI團隊構建的高效的深度神經網路實現，在CPU上的推斷速度達到了Google tensorlite的二到三倍，記憶體消耗也大大減少，為KIE的技術推廣奠定了基礎。

同時，KIE具有強大的跨平台特性，目前支援Android、iOS、PC平台和WEB端，介面簡單快速接入。可在終端上即時處理，與×××完全解耦，圖片在移動終端上能夠達到毫秒級響應，全面提升使用者的瀏覽體驗。

名詞解釋：

MobileNetV2：是對MobileNetV1的改進，是一個輕量化卷積神經網路。

SSIM：SSIM(structural similarity index)，結構相似性，是一種衡量兩幅映像相似性的指標。該指標首先由德州大學奧斯丁分校的映像和視頻工程實驗室(Laboratory for Image and Video Engineering)提出。SSIM使用的兩張映像中，一張為未經壓縮的無失真映像，另一張為失真後的映像。

Google tensorlite：即TensorFlow Lite，Google稱Lite版本TensorFlow是TensorFlow Mobile的一個延伸版本。儘管是一個輕量級版本，依然是在智能手機和嵌入式裝置上部署深度學習的一大動作。此前，通過TensorFlow Mobile API，TensorFlow已經支援手機上的模型嵌入式部署。TensorFlow Lite應該被視為TensorFlow Mobile的升級版。

小米MIUI10重磅發布！金山雲KIE提供超清神器