標籤:衡量 net 實際應用 org gen xtu lte str tar
Improved Textured Networks: Maximizing quality and diversity in Feed-Forward Stylization and Texture Synthesis
https://arxiv.org/abs/1701.02096v1
本文最主要的貢獻有兩點: 1. 引入instance normalization 代替 batch normalization 2. 通過使得生產器從Julesz ensemble無偏採樣來增加texture 的多樣性.
一、背景知識
texture synthesis中generator目標是:
將 I.I.d. noise vector $z~N(0,I) 映射成 映像x, x = g(z)$, 記 產生映像x分布為$q(x)$, 真實目標texture 的分布為p(x); 那麼產生器的目標應該是使得q(x)無限逼近p(x).
這裡有一個問題:在訓練generator的過程中我們的目標函數:p(x)沒有一個具體的形式.
二、uniformly sample the Julesz ensemble:
1. Julesz 的發現:
視覺系統通過不同 image filters 的 average response 來區分不同的texture.
2. 什麼是Julesz ensemble?
定義:
設$x$為image, $ x: \Omega /rightArrow R^3 $, \Omega = {1,...,H} x {1,...W} $.
設$ F_l $為濾波器, $F_l: \chi x \Omega \rightArrow R, l = 1,...,L, F_l(x,u)表示F_l在映像x,u$處的響應.
Loss function定義為: $L(x) = \sum_{l=1}^{L}(\mu_l(x) - \hat{\mu}_l)^2$.
對於映像x. Julesz ensemble是滿足$ \tau_\epsilon = {x \in \chi: L(x) \leq \epsilon$的x的集合.
Julesz ensemble 的分布為: $p(x) = \frac{e^{-L(x)/T}}{\int e^{-L(y)/T}dy}.
這使得$p(x)$具有具體的分布形式.
3. KL散度(Kullback-Leibler divergence):用來衡量兩個機率分布之間的偏離度記作:$D_{KL}(P||Q)$在實際應用中P常代表資料真實分布,Q代表理論模型對P分布的近似. 可以通過最小化KL散度來使得Q逼近P.
對於連續變數:
$$D_{KL}(P||Q) = \int_{-\infty}^{\infty} p(x) log \frac{p(x)}{q(x)} dx$$
對於離散變數
$$D_{KL}(P||Q) = \sum_i p(i) log \frac{P(i)}{Q(i)} .$$
三、instance normalization/constract normalization
batch normalization: 全域
instance normaliztion: 局部
【Paper Reading】Improved Textured Networks: Maximizing quality and diversity in Feed-Forward Stylization and Texture Synthesis