數值最佳化演算法的方法論—搜尋效率—Ariszheng

關鍵字：數值最佳化演算法 方法論 搜尋效率

 

最近跟一位同事聊數值最佳化演算法，關於一維最佳化為，F(x)在[-1,1]上取什麼值其函數值最小，他的一個觀點：現在電腦速度讓它搜尋不就行了。 說的有道理，但是感覺對效率問題沒有細緻考慮。

搜尋在日常生活中都經常遇到的問題，如尋路、檢索、baidu等，都需要在大量的資訊中找出最適合自己的資訊。在數學上，或者更細些就是數值最佳化問題。

例如：f(x)=x^2；在[-1,1]上取什麼值，函數值最小？

如果在[-1,1]上遍曆搜尋，但我們必須明白在[-1,1]存在的數是不可數的無窮多，如果按0.1經典搜尋，電腦很快能找到合適的解; 如果按0.01, 就要多花些時間了；0.001 ……0.000001?

上面的例子是單變數問題，即變數只有一個；現在很多問題，設計的變數很多，如金融模型上的變數可以有時間、價格、波動率、利息等等。如果有四個變數的最佳化問題，按遍曆搜尋的方法，假設每個變數有10個可行解，這個問題就會有10^4個可行解。目前，電腦的發展根據摩根定律速度，若實際問題變數多出一個會需要幾個摩根周期呢？

對于越來越複雜的問題，電腦對我們的協助功不可沒，但是如果想比別人（競爭者）在相同的硬體條件下，使得自己的計算速度更快，解的品質更高，需要的就是提供數值搜尋的效率，從牛頓法、最速下降法、共軛梯度法、擬牛頓法……， ＧＡ，BP……在做到無不是追求更快遞搜尋效率與解的品質。