MDP：馬爾科夫決策過程（二）

標籤：

MDP：馬爾科夫決策過程（Markov Decision Process）

策略評價：

對於確定性動作（deterministic actions），由於狀態轉換可能是無限的，那麼獎懲函數之和的值也可能是無限的；對於隨機性動作（stochastic actions），同樣，獎懲函數期望之和也有可能是無限的。

需要定義一個客觀函數（objective function）來將無窮的獎懲序列轉換成單一的實數，來表示效用。

大概有三種方式：

1. 設立一個確定的界限，只計算這幾步範圍內的獎懲函數之和
2. 對每一步的獎懲添加折扣，並且偏向於較為靠前的狀態的所收到的獎懲（reword）
3. 平均獎懲率（Average reward rate in the limit）

其中，第二種，折扣法是比較常用的，主要介紹這一種。折扣法：

第 n 步的獎懲（reword）被乘以γn的折扣，這裡的γ大於等於0，小於1。也就意味著該方法更偏向於較近的步數收到的獎懲

然後對這 n 步的帶折扣獎懲進行累加

為了衡量一個策略的好壞，我們使用值函數 Vπ （Value Function），定義如下：

在每一個狀態按照策略 π 執行所獲得的客觀函數的值（Objective function）。

R(s,π(s))表示目前狀態 s 下，按照策略 π 執行動作 π(s) 所獲得獎懲

上面的式子也可寫做遞迴的形式：

這樣就可按照值函數對每個策略進行排列，就會存在至少一個最優策略，V*

（下一篇將接著介紹貝爾曼等式（Bellman equations））

MDP：馬爾科夫決策過程（二）