Camera ISP 轉

1． 目標[52RD.com]
手機網路攝影機模組用ISP功能模組的市場走向及研發方向。為能夠正確認識手機攝像模組行業提供技術及市場依據。[52RD.com]
2． ISP在模組上的應用原理[52RD.com]
2.1 功能區域[52RD.com]
無論數位相機、攝像機或者攝像手機，其影像資料從前端感應後，皆須經過ASP（Analog Signal Processing）、ADC（Analog-Digital Converter）、前期影像處理（Pre-ISP）與後端影像處理（Post-ISP）四個階段後，影像資料才能最終呈現於終端裝置上（圖一）。

但由於映像感應器的像素高低不同、及其他成本等的考慮，ISP各功能區域會依手機市場特性做分散配置或整合處理，例如，低端相機將Pre-ISP與感應器整合在一起，2.0M像素手機將所有的ISP功能單獨做成一個晶片等。 [52RD.com]
2.1.1 ASP [52RD.com]
ASP（Analog Signal Processor）主要是針對映像感應器採集的電壓或電流訊號進行處理，主要作用是訊號放大、自動曝光調整、時序控制、像素抽樣控制等。因其與初始訊號的絕對相關性，一般的映像感應器廠商皆會將此項功能直接與感應器做在一塊。在圖一中即為藍色部分。感測資料經過ASP處理後，輸出資料為Raw Data。 [52RD.com]
2.1.2 Pre-ISP [52RD.com]
Pre-ISP(Image Signal Processor)為前端影像處理，主要針對ADC轉換後傳出的數字資料（Raw data），進行影像壞點修補、白平衡、gamma校正、銳利度、顏色插值等。在低像素的產品中，例如0.3M像素，因影像資料較少，不需要大規模的複雜處理，會將Pre-ISP與映像感應器做在同一顆晶片中；但高像素CMOS感應器，因需要處理的像素數越來越多，雖然將Pre-ISP整合在sensor 內部從製造技術上來講不困難，但因成本及成像品質的原因，有些手機設計公司在設計時會將整合於sensor內部的Pre-ISP功能屏蔽掉，並維持感應器 ADC輸出的原始資料，交由單獨的ISP晶片或整合在Baseband的ISP進行處理。 [52RD.com]
由Pre-ISP處理完後的資料分為RGB和YUV，RGB為三原色，資料比YUV較大，可以方便後續處理單元（Post-ISP）做更為多元的變化；YUV為RGB三原色經插入法所得，資料量較小，但不利於後續的處理單元進行處理。 [52RD.com]
對於實力強的手機研發公司比較傾向於使用Raw data資料或者RGB資料，這樣可以根據自己的需要調整出更完美的畫面品質。Raw data資料也為以後高端市場的使用方向，但國內現階段2.0M像素的模組應用還處於初級階段。因此還是以YUV輸出的為主。 [52RD.com]
2.1.3 Post-ISP [52RD.com]
Post-ISP雖然也稱為後端影響處理，但其與成像相關的工作不多，主要負責資料壓縮與後端介面介面控制，以及資料轉送、控制等工作，其中還包括LCD影像預覽、鏡頭對焦控制、使用介面等。 [52RD.com]
2.2 ISP發展階段 [52RD.com]
2.2.1 第一階段 [52RD.com]
第一階段因像素不高（CIF等級），因此其結構與一般手機相差不多， Pre-ISP功能與映像感應器整合，而Post-ISP則依賴手機基帶晶片，顯示屏則經由系統提供，其結構如下 [52RD.com]
[52RD.com]
圖二 手機攝像模組後端晶片第一階段原理圖 [52RD.com]
2.2.2 第二階段 [52RD.com]
隨著像素增加（CIF至VGA），為維持後端手機基帶晶片的通訊功能，開始將原來負責的JPEG壓縮、資料流的協調處理等功能獨立成單一晶片完成，而影像處理Pre-ISP則交由手機設計公司自行決定，分整合到映像感應器內部和與Post-ISP整合兩種。 [52RD.com]
此階段方案已被淘汰，VGA像素的Post-ISP功能已可被Baseband整合。

圖三 手機攝像模組後端晶片第二階段原理圖[52RD.com]
2.2.3 第三階段[52RD.com]
此時像素已由VGA轉為百萬像素，高像素的Pre-ISP，因所需的儲存空間及電源需求過大，在當時的技術條件下，sensor端已無法全部處理，因此將 Pre-ISP與Post-ISP整合成完整的ISP。另因為對顯示螢幕的處理要求更高，此階段也將顯示器控制功能一併整合，以減少baseband的處理負擔，其結構見圖四。

圖四手機攝像模組後端晶片第三階段原理圖 [52RD.com]
2.2.4 第四階段 [52RD.com]
Main Panel [52RD.com]
（240*320） [52RD.com]
[52RD.com]
隨像素增加到2.0M及以上，廠商將更多的功能例如MP3、3D sound processor、audio processor等亦整合進單獨的ISP晶片，此時稱之為MMP（Mobile Multimedia Processor），

圖五手機攝像模組後端晶片第四階段原理圖 [52RD.com]
表一 手機攝像模組後端晶片發展趨勢 [52RD.com]
階段搭配像素趨勢項目 [52RD.com]
第一階段CIFl 結構與一般手機相差無異 [52RD.com]
l Pre-ISP功能可與映像感應器整合 [52RD.com]
l Post-ISP依靠手機基帶晶片 [52RD.com]
第二階段VGAl Post-ISP獨立成單一晶片 [52RD.com]
l Pre-ISP或由sensor整合或與Post-ISP整合 [52RD.com]
第三階段Megal 映像感應器無法全部處理Pre-ISP，與Post-ISP整合成單獨的ISP晶片 [52RD.com]
第四階段2Mega及以上l 單獨的MMP（ISP）晶片整合更多的功能，以迎合2.5G及3G的發展 [52RD.com]
[52RD.com]
3． 現階段ISP的主要應用方案 [52RD.com]
表二 現階段ISP的主要應用方案 [52RD.com]
像素輸出格式ISP或手機設計方案備忘 [52RD.com]
VGAYUV/RGB/ [52RD.com]
Raw datal Sensor整合Pre-ISP； [52RD.com]
l Baseband整合Post-ISP。OV是VGA的首選sensor廠家，其主流產品：OV7660/OV7663/OV7670皆整合Pre-ISP，而MTK則將Post-ISP部分整合進Baseband。 [52RD.com]
l Baseband未整合Post-ISP； [52RD.com]
l ISP（Pre-ISP&Post-ISP）功能被整合於MMP中；有一定比例的Baseband廠商（例如英飛淩）未將Post-ISP整合進Baseband。而是採用MMP的方式來處理。 [52RD.com]
2.0Mega及以上YUV/RGBl Sensor中整合Pre-ISP； [52RD.com]
l ISP（Pre- ISP&Post-ISP）功能被整合於MMP中。Baseband不參與影像處理手機設計公司可以採用sensor輸出的YUV或RGB，或者直接將Pre-ISP屏蔽掉，所有影像處理工作由MMP晶片來做。（理論上來講，MMP處理效果應該好一點，實際上有時因調試工程師水平的原因，無法完全發揮MMP的潛力。） [52RD.com]
Raw datal Sensor中不整合Pre-ISP； [52RD.com]
l ISP（Pre-ISP & Post-ISP）功能被整合於MMP中。Baseband不參與影像處理所有影像處理工作由MMP晶片來做。 [52RD.com]
[52RD.com]
將來的趨勢，因成本的原因，基帶晶片會整合所有的影像處理功能。 [52RD.com]
4． 評價 [52RD.com]
l 從成本來講，ISP與Sensor之間的關係是背離整合的。將ISP整合在sensor上的成本比ISP整合在MMP或baseband上要高很多。隨著感應器解析度的提高，越來越多的感應器將只整合輸出數字訊號所必需的電路，而將影像處理及壓縮等功能整合於MMP或Baseband中。[52RD.com]
l 從成像品質來看，發展的趨勢也是背離整合，在MMP中整合功能強大的影像處理功能，而且此趨勢隨解析度的提高會愈加明顯。[52RD.com]
l 上面兩個評價是發展趨勢，但現在的市場情況各種應用方案都存在，且沒有明顯的強弱之分。MTK SoC方案在低端VGA產品中佔主導，並且有大批的擁護者，但現仍有大批平台公司仍然沒有走基帶整合之路。且高端產品中，從我的瞭解中還沒有將ISP功能整合進Baseband中的，大部分仍然採用MMP方案。但有資料表明，將ISP功能整合進Baseband中製造成本幾乎可以忽略不計，此方案較之 MMP方案仍然有成本空間。基帶產品和應用處理器領域的大玩家都期待在它們的晶片上增加ISP功能。[52RD.com]
l 無論如何，不管是當前的低端市場情況，還是將來的高端產品，獨立的ISP（MMP）晶片都有較大的市場空間。真正的高像素SoC基帶方案的時代到來還有很長的路要走。