【Paper Reading】Improved Textured Networks: Maximizing quality and diversity in Feed-Forward Stylization and Texture Synthesis

來源:互聯網
上載者:User

標籤:衡量   net   實際應用   org   gen   xtu   lte   str   tar   

Improved Textured Networks: Maximizing quality and diversity in Feed-Forward Stylization and Texture Synthesis

https://arxiv.org/abs/1701.02096v1

 

本文最主要的貢獻有兩點: 1. 引入instance normalization 代替 batch normalization 2. 通過使得生產器從Julesz ensemble無偏採樣來增加texture 的多樣性.

一、背景知識

texture synthesis中generator目標是:

將 I.I.d. noise  vector $z~N(0,I) 映射成 映像x, x = g(z)$, 記 產生映像x分布為$q(x)$, 真實目標texture 的分布為p(x); 那麼產生器的目標應該是使得q(x)無限逼近p(x).

這裡有一個問題:在訓練generator的過程中我們的目標函數:p(x)沒有一個具體的形式. 

二、uniformly sample the Julesz ensemble:

1. Julesz 的發現: 

視覺系統通過不同 image filters 的 average response 來區分不同的texture.

2. 什麼是Julesz ensemble?

定義:

設$x$為image, $ x: \Omega /rightArrow R^3 $, \Omega = {1,...,H} x {1,...W} $.

設$ F_l $為濾波器, $F_l: \chi x \Omega \rightArrow  R, l = 1,...,L, F_l(x,u)表示F_l在映像x,u$處的響應.

Loss function定義為: $L(x) = \sum_{l=1}^{L}(\mu_l(x) - \hat{\mu}_l)^2$.

對於映像x. Julesz ensemble是滿足$ \tau_\epsilon = {x \in \chi: L(x) \leq \epsilon$的x的集合.

Julesz ensemble 的分布為: $p(x) = \frac{e^{-L(x)/T}}{\int e^{-L(y)/T}dy}.

這使得$p(x)$具有具體的分布形式.

3. KL散度(Kullback-Leibler divergence):用來衡量兩個機率分布之間的偏離度記作:$D_{KL}(P||Q)$在實際應用中P常代表資料真實分布,Q代表理論模型對P分布的近似. 可以通過最小化KL散度來使得Q逼近P.

對於連續變數:

$$D_{KL}(P||Q) = \int_{-\infty}^{\infty} p(x) log \frac{p(x)}{q(x)} dx$$

對於離散變數

$$D_{KL}(P||Q) = \sum_i p(i) log \frac{P(i)}{Q(i)} .$$

 

三、instance normalization/constract normalization

batch normalization: 全域

instance normaliztion: 局部

 

【Paper Reading】Improved Textured Networks: Maximizing quality and diversity in Feed-Forward Stylization and Texture Synthesis

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.