GAN相關：SRGAN，GAN在超解析度中的應用

GAN相關：SRGAN，GAN在超解析度中的應用 Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

Christian Ledig et al abstract

用GAN做超解析度是為瞭解決常規方法包括deep learning 方法的結果中缺少高頻資訊和fine details的缺點，而傳統的deep CNN只能通過選擇目標函數來改善這一缺陷。而GAN可以解決這個問題，得到perceptually satisfying的結果。

不得不說在細節方面確實還是很溜的。。。左邊是SR四倍的結果，右邊是原始高清圖。 Intro

首先介紹了SR問題，傳統的dl方法，由於是最佳化的mse，所以能夠很方便的求解並且最佳化psnr（因為psnr就是根據mse直接計算出來的），所以在以psnr作為指標的時候表現較好，而實際上mse對於high texture details的約束是非常有限的，因此得到的結果對於細節忽視較為嚴重，如下圖，而GAN可以避免這一問題。雖然psnr和ssim小一些（暗示著我們用GAN恢複出來的映像不是特別的準確（相對於真實映像而言，補充的細節雖然是細節，但是可能和真實的細節不同，比如下圖中人物的頭飾上的花紋，和脖子上的項圈，明顯紋理結構比較單一，並且和實際不符，不過總歸是有了細節，視覺感官上要更好一些。）），但是細節較豐富，這就是GAN做超解析度的優勢所在。

這裡的模型用的是帶skip-connection的ResNet，並且用了perceptual loss，把高階特徵的feature map也算進去，這裡用的是vgg提取高層特徵。 related work

首先是關於SR的傳統和CNN方法，此處從略。

第二小節講了CNN網路的設計。為了使得我們的映射可以更複雜從而提高準確性，我們需要更深的網路，因此提高深度網路的訓練效率就是一個需要解決的問題，那麼可以用BN層來counteract the internal co-variate shift。除此之外，另一個powerful design就是residual block或者說skip-connection。

下面說的是loss function。傳統的mse是對所有可能的取值，或者說不確定性，做一個平均，這樣雖然可以使得mse變小，也就是psnr變大，但是在視覺上我們發現其實這是一種過度平滑，overly-smooth，下面圖很好的展示了這一現象。

Dosovitskiy and Brox [12] use loss functions based on Euclidean distances computed in the feature space of neural networks in combination with adversarial training. It is shown that the proposed loss allows visually superior image generation。除了GAN loss 的優點以外，作者還介紹了上面這種，也就是在特徵空間的相似性。除了上面【12】中的作者外，還有人用VGG來提取特徵，並在特徵空間用歐幾裡得距離做度量，思路是類似的。 method

GAN的好處就是可以提供 photo-realistic images 。網路結構：

一般看來，GAN做映像任務的時候，通常都是採用pRelu，並且因為網路較深，採用BN層方便訓練，以及都不用max-pooling，而是用strided的convolution來降低resolution並且把feature進行double。

下面這個是perceptual loss

裡面提到，我們的loss是由content loss和Adversarial loss兩部分組成的，用一定的權重進行加權和。這裡Adversarial loss就是GAN loss，而content loss，內容的loss指的是vgg loss，也就是說在已經訓練好的vgg上提出某一層的feature map，將產生的映像的這一個feature map和真實映像這一個map比較，從而使得他們在特徵空間內也很像。Adversarial loss在這裡是generative 的，所以沒寫I HR 的D的log損失。

最後的實驗結果用的是 mos testing，MOS，指的是 mean opinion score，平均意見評分，實際上是找了26個rater進行打分，得到的結果。

最後的結果可以看到，用SRGAN並且加上vgg54的content loss效果最好。這裡的54指的是phi的index（phi就是前面的content loss 裡的phi），分別代表這第i層conv＋activation後，j層maxpooling前的feature。54表示高層，22表示低層。所以高層特徵更有效一些。

最後的結論表明，該方法主要是擺脫了常用的以psnr作為measurement的方法的局限性。可以產生更加photo-realistic的映像。

2018年03月28日17:31:41