指數加權移動平均(Exponential Weighted Moving Average)__深度學習

一、EMA 簡介 1、演化 算術平均（權重相等）—>加權平均（權重不等）—>移動平均（大約是只取最近的 N 次資料進行計算）—> 批量歸一化(BN)及各種最佳化演算法的基礎 EMA：是以指數式遞減加權的移動平均，各數值的加權影響力隨時間呈指數式遞減，時間越靠近當前時刻的資料加權影響力越大 2、公式及理解

vt=βvt−1+(1−β)θt v t = β v t − 1 + ( 1 − β ) θ t v_t = \beta v_{t-1} + (1 - \beta)\theta_{t}，公式中 θt θ t \theta_{t} 為 t 時刻的實際溫度；係數 β β \beta 表示加權下降的快慢，值越小權重下降的越快； vt v t v_t 為 t 時刻 EMA 的值。 當 v0=0 v 0 = 0 v_0 = 0 時，可得： vt=(1−β)(θt+βθt−1+β2θt−2+...+βt−1θ1) v t = ( 1 − β ) ( θ t + β θ t − 1 + β 2 θ t − 2 + . . . + β t − 1 θ 1 ) v_t = (1-\beta) (\theta_{t}+\beta\theta_{t-1}+\beta^{2}\theta_{t-2}+ ... +\beta^{t-1}\theta_{1})，從公式中可以看到：每天溫度( θ θ \theta)的權重係數以指數等比形式縮小，時間越靠近當前時刻的資料加權影響力越大。 在最佳化演算法中，我們一般取 β>=0.9 β >= 0.9 \beta >= 0.9，而 1+β