圍棋博弈程式的實現與思考（2）——探索與利用

        上一篇介紹了蒙特卡羅局面評估演算法，怎樣用這個演算法實現圍棋博弈程式呢？最容易想到的方法是，對於一個給定的局面，用蒙特卡羅局面評估演算法來評估每一個可下點後的局面，由此選取最佳著手點。這是可行的，但有沒有可以最佳化的地方呢？

        假設你是CPU，你知道圍棋規則，但不知道更高層次的圍棋知識，只會類比隨機對局，面對茫茫棋盤，你將如何選擇？你會逐個點類比對局1萬次，最後通過比較評估值大小來選擇最優點，還是。。。

        先撇開圍棋，介紹個“多臂匪徒問題”，問題描述如下：一個多臂匪徒可以看作一個賭場裡的多臂角子機，每一個角子機都有一個未知的回報率，不同角子機的回報率是相互獨立的。給定一個有限的嘗試次數，問怎樣從這些角子機中獲得最高的回報？這個問題是權衡機器學習中探索（Exploration）與利用（Exploitation）的一個典型模型，在統計學中有過仔細的研究。

        在嘗試了某些角子機後，自然想到的是多嘗試那些高回報的角子機。然而這樣做容易局限於既有的經驗，而不作更多的探索，很可能錯過那些更高回報的角子機，所以應當嘗試那些嘗試次數較少的角子機，以獲得更為精確的資訊。

        UCB演算法試圖找到上述兩種行為的平衡點。UCB演算法將一個角子機的當前平均收益值作為基數，這個基數與一個調整值之和為UCB值，每次嘗試UCB值最大的角子機，這個調整值隨著該角子機被嘗試次數的增加而下降。求UCB值的算式如下：

        Xj是第j台角子機當前的平均收益值，n是所有角子機的被嘗試次數，Tj(n)是第j台角子機的被嘗試次數。

        加號右邊是UCB演算法的調整值，易得，當某個角子機被嘗試次數越少，調整值越大，這個角子機就越容易被嘗試。

        至於這個算式是怎麼來的，就不是我能理解了。。。作為一個工程師，把科學家的成果拿來用就是了～

        回到圍棋，回到上一個假設，你是CPU，面對茫茫棋盤，如何選擇？運用UCB演算法當然是個很好的答案！把當前盤面上的每一個可下點看成一個角子機，每次對UCB值最大的可下點進行蒙特卡羅評估，可更快找到靠譜的著手點。

        等一下，是否存在重複計算？是否還能繼續最佳化？