強化學習on-policy跟off-policy的區別_強化學習

on-policy：產生樣本的policy（value function）跟網路更新參數時使用的policy（value function）相同。典型為SARAS演算法，基於當前的policy直接執行一次動作選擇，然後用這個樣本更新當前的policy，因此產生樣本的policy和學習時的policy相同，演算法為on-policy演算法。該方法會遭遇探索-利用的矛盾，光利用目前已知的最優選擇，可能學不到最優解，收斂到局部最優，而加入探索又降低了學習效率。epsilon-greedy 演算法是這種矛盾下的折衷。優點是直接了當，速度快，劣勢是不一定找到最優策略。

off-policy：產生樣本的policy（value function）跟網路更新參數時使用的policy（value function）不同。典型為Q-learning演算法，計算下一狀態的預期收益時使用了max操作，直接選擇最優動作，而當前policy並不一定能選擇到最優動作，因此這裡產生樣本的policy和學習時的policy不同，為off-policy演算法。先產生某機率分布下的大量行為資料（behavior policy），意在探索。從這些偏離（off）最優策略的資料中尋求target policy。當然這麼做是需要滿足數學條件的：假設π是目標策略, µ是行為策略，那麼從µ學到π的條件是：π(a|s) > 0 必然有 µ(a|s) > 0成立。兩種學習策略的關係是：on-policy是off-policy 的特殊情形，其target policy 和behavior policy是一個。劣勢是曲折，收斂慢，但優勢是更為強大和通用。其強大是因為它確保了資料全面性，所有行為都能覆蓋。