Dynamic Programming(DP)—動態規劃

一、概念及意義

       動態規劃(dynamic programming)是運籌學的一個分支，是求解決策過程(decision process)最佳化的數學方法。20世紀50年代初美國數學家R.E.Bellman等人在研究多階段決策過程(multistep decision process)的最佳化問題時，提出了著名的最佳化原理(principle of optimality)，把多階段過程轉化為一系列單階段問題，逐個求解，創立瞭解決這類過程最佳化問題的新方法——動態規劃。1957年出版了他的名著Dynamic Programming，這是該領域的第一本著作。
       動態規劃問世以來，在經濟管理、生產調度、工程技術和最優控制等方面得到了廣泛的應用。例如最短路線、庫存管理、資源分派、裝置更新、排序、裝載等問題，用動態規劃方法比用其它方法求解更為方便。
       雖然動態規劃主要用於求解以時間劃分階段的動態過程的最佳化問題，但是一些與時間無關的靜態規劃(如線性規劃、非線性規劃)，只要人為地引進時間因素，把它視為多階段決策過程，也可以用動態規劃方法方便地求解。
       動態規劃程式設計是對解最佳化問題的一種途徑、一種方法，而不是一種特殊演算法。不象前面所述的那些搜尋或數值計算那樣，具有一個標準的數學運算式和明確清晰的解題方法。動態規劃程式設計往往是針對一種最佳化問題，由於各種問題的性質不同，確定最優解的條件也互不相同，因而動態規劃的設計方法對不同的問題，有各具特色的解題方法，而不存在一種萬能的動態規划算法，可以解決各類最佳化問題。因此讀者在學習時，除了要對基本概念和方法正確理解外，必須具體問題具體分析處理，以豐富的想象力去建立模型，用創造性的技巧去求解。我們也可以通過對若干有代表性的問題的動態規划算法進行分析、討論，逐漸學會並掌握這一設計方法。

二、基本模型

       多階段決策過程的最佳化問題。
       在現實生活中，有一類活動的過程，由於它的特殊性，可將過程分成若干個互相聯絡的階段，在它的每一階段都需要作出決策，從而使整個過程達到最好的活動效果。當然，各個階段決策的選取不是任意確定的，它依賴於當前面臨的狀態，又影響以後的發展，當各個階段決策確定後，就組成一個決策序列，因而也就確定了整個過程的一條活動路線，：（看詞條圖）
       這種把一個問題看作是一個前後關聯具有鏈狀結構的多階段過程就稱為多階段決策過程，這種問題就稱為多階段決策問題。

  
三、記憶化搜尋

     給你一個數字三角形, 形式如下:
      1
    2  3
  4  5  6
7  8  9  10
       找出從第一層到最後一層的一條路,使得所經過的權值之和最小或者最大.

      無論對與新手還是老手，這都是再熟悉不過的題了，很容易地，我們寫出狀態轉移方程：f(i, j)=a[i, j] + min{f(i-1, j)+f(i-1, j + 1)}
對於動態規划算法解決這個問題，我們根據狀態轉移方程和狀態轉移方向，比較容易地寫出動態規劃的迴圈表示方法。但是，當狀態和轉移非常複雜的時候，也許寫出迴圈式的動態規劃就不是那麼簡單了。
   解決方案：

       我們嘗試從正面的思路去分析問題，如上例，不難得出一個非常簡單的遞迴過程 :
f1:=f(i-1,j+1); f2:=f(i-1,j);
if f1>f2 then f:=f1+a[i,j] else f:=f2+a[i,j];
       顯而易見，這個演算法就是最簡單的搜尋演算法。時間複雜度為2n，明顯是會逾時的。分析一下搜尋的過程，實際上，很多調用都是不必要的，也就是把產生過的最優狀態，又產生了一次。為了避免浪費，很顯然，我們存放一個opt數組：Opt[i, j] - 每產生一個f(i, j)，將f(i, j)的值放入opt中，以後再次調用到f(i, j)的時候，直接從opt[i, j]來取就可以了。於是動態規劃的狀態轉移方程被直觀地表示出來了，這樣節省了思維的難度，減少了編程的技巧，而已耗用時間只是相差常數的複雜度，而且在相當多的情況下，遞迴演算法能更好地避免浪費，在比賽中是非常實用的.
四、狀態 決策

決策：

        目前狀態通過決策,回到了以前狀態.可見決策其實就是狀態之間的橋樑。而以前狀態也就決定了目前狀態的情況。數字三角形的決策就是選擇相鄰的兩個以前狀態的最優值。

狀態：

       我們一般在動規的時候所用到的一些數組，也就是用來儲存每個狀態的最優值的。我們就從動態規劃的要訣，也就是核心部分“狀態”開始，來逐步瞭解動態規劃。有時候目前狀態確定後,以前狀態就已經確定,則無需枚舉.

五、動態規划算法的應用

一、動態規劃的概念
近年來，涉及動態規劃的各種競賽題越來越多，每一年的NOI幾乎都至少有一道題目需要用動態規劃的方法來解決；而競賽對選手運用動態規劃知識的要求也越來越高，已經不再停留於簡單的遞推和建模上了。
要瞭解動態規劃的概念，首先要知道什麼是多階段決策問題。
1. 多階段決策問題
如果一類活動過程可以分為若干個互相聯絡的階段，在每一個階段都需作出決策(採取措施)，一個階段的決策確定以後，常常影響到下一個階段的決策，從而就完全確定了一個過程的活動路線，則稱它為多階段決策問題。
各個階段的決策構成一個決策序列，稱為一個策略。每一個階段都有若干個決策可供選擇，因而就有許多策略供我們選取，對應於一個策略可以確定活動的效果，這個效果可以用數量來確定。策略不同，效果也不同，多階段決策問題，就是要在可以選擇的那些策略中間，選取一個最優策略，使在預定的標準下達到最好的效果.
2．動態規劃問題中的術語
階段：把所給求解問題的過程恰當地分成若干個相互聯絡的階段，以便於求解，過程不同，階段數就可能不同．描述階段的變數稱為階段變數。在多數情況下，階段變數是離散的，用k表示。此外，也有階段變數是連續的情形。如果過程可以在任何時刻作出決策，且在任意兩個不同的時刻之間允許有無窮多個決策時，階段變數就是連續的。
在前面的例子中，第一個階段就是點A，而第二個階段就是點A到點B，第三個階段是點B到點C，而第四個階段是點C到點D。
狀態：狀態表示每個階段開始面臨的自然狀況或客觀條件，它不以人們的主觀意志為轉移，也稱為不可控因素。在上面的例子中狀態就是某階段的出發位置，它既是該階段某路的起點，同時又是前一階段某支路的終點。
在前面的例子中，第一個階段有一個狀態即A，而第二個階段有兩個狀態B1和B2，第三個階段是三個狀態C1，C2和C3，而第四個階段又是一個狀態D。
過程的狀態通常可以用一個或一組數來描述，稱為狀態變數。一般，狀態是離散的，但有時為了方便也將狀態取成連續的。當然，在現實生活中，由於變數形式的限制，所有的狀態都是離散的，但從分析的觀點，有時將狀態作為連續的處理將會有很大的好處。此外，狀態可以有多個分量(多維情形)，因而用向量來代表；而且在每個階段的狀態維數可以不同。
當過程按所有可能不同的方式發展時，過程各段的狀態變數將在某一確定的範圍內取值。狀態變數取值的集合稱為狀態集合。
無後效性：我們要求狀態具有下面的性質：如果給定某一階段的狀態，則在這一階段以後過程的發展不受這階段以前各段狀態的影響，所有各階段都確定時，整個過程也就確定了。換句話說，過程的每一次實現可以用一個狀態序列表示，在前面的例子中每階段的狀態是該線路的始點，確定了這些點的序列，整個線路也就完全確定。從某一階段以後的線路開始，當這段的始點給定時，不受以前線路（所通過的點）的影響。狀態的這個性質意味著過程的曆史只能通過當前的狀態去影響它的未來的發展，這個性質稱為無後效性。
決策：一個階段的狀態給定以後，從該狀態演變到下一階段某個狀態的一種選擇（行動）稱為決策。在最優控制中，也稱為控制。在許多間題中，決策可以自然而然地表示為一個數或一組數。不同的決策對應著不同的數值。描述決策的變數稱決策變數，因狀態滿足無後效性，故在每個階段選擇決策時只需考慮當前的狀態而無須考慮過程的曆史。
決策變數的範圍稱為允許決策集合。
策略：由每個階段的決策組成的序列稱為策略。對於每一個實際的多階段決策過程，可供選取的策略有一定的範圍限制，這個範圍稱為允許策略集合。允許策略集合中達到最優效果的策略稱為最優策略。
給定k階段狀態變數x(k)的值後，如果這一階段的決策變數一經確定，第k+1階段的狀態變數x(k+1)也就完全確定，即x(k+1)的值隨x(k)和第k階段的決策u(k)的值變化而變化，那麼可以把這一關係看成(x(k)，u(k))與x(k+1)確定的對應關係，用x(k+1)=Tk(x(k),u(k))表示。這是從k階段到k+1階段的狀態轉移規律，稱為狀態轉移方程。
最優性原理:作為整個過程的最優策略，它滿足：相對前面決策所形成的狀態而言，餘下的子策略必然構成“最優子策略”。
最優性原理實際上是要求問題的最優策略的子策略也是最優。讓我們通過對前面的例子再分析來具體說明這一點：從A到D，我們知道，最短路徑是A&O1664;B1&O1664;C2&O1664;D，這些點的選擇構成了這個例子的最優策略，根據最優性原理，這個策略的每個子策略應是最優：A&O1664;B1&O1664;C2是A到C2的最短路徑，B1&O1664;C2&O1664;D也是B1到D的最短路徑……──事實正是如此，因此我們認為這個例子滿足最優性原理的要求。