線性和非線性最佳化理論、方法及應用研究的發展狀況.

關注. 最佳化的研究包含理論、方法和應用.最佳化理論主要研究問題解的最優性條件、靈敏度分析、解的存在性和一般複雜性等.而最佳化方法研究包括構造新演算法、證明解的收斂性、演算法的比較和複雜性等.最佳化的應用研究則包括演算法的實現、演算法的程式、軟體包及商業化、在實際問題的應用. 這裡簡介一下線性和非線性最佳化理論、方法及應用研究的發展狀況.

　　1. 線性最佳化

　　線性最佳化, 又稱線性規劃, 是運籌學中應用最廣泛的一個分支.這是因為自然科學和社會科學中許多問題都可以近似地化成線性規劃問題. 線性規劃理論和演算法的研究及發展共經曆了三個高潮, 每個高潮都引起了社會的極大關注. 線性規劃研究的第一高潮是著名的單純形法的研究. 這一方法是Dantzig在1947年提出的,它以成熟的演算法理論和完善的演算法及軟體統治線性規劃達三十多年. 隨著60年代發展起來的計算複雜性理論的研究, 單純形法在七十年代末受到了挑戰. 1979年前蘇聯數學家Khachiyan提出了第一個理論上優於單純形法的所謂多項式時間演算法--橢球法, 曾成為轟動一時的新聞, 並掀起了研究線性規劃的第二個高潮. 但遺憾的是廣泛的數值實驗表明, 橢球演算法的計算比單純形方法差.

　　

　　1984年Karmarkar提出了求解線性規劃的另一個多項式時間演算法. 這個演算法從理論和數值上都優於橢球法, 因而引起學術界的極大關注, 並由此掀起了研究線性規劃的第三個高潮. 從那以後, 許多學者致力於改進和完善這一演算法,得到了許多改進演算法.這些演算法運用不同的思想方法均獲得通過可列區域內部的迭代點列, 因此統稱為解線性規劃問題的內點演算法. 目前內點演算法正以不可抗拒的趨勢將超越和替代單純形法.

　　

　　在互連網上能訪問到的解線性和整數規劃問題的軟體還有:EQPS（線性，整數和非線性規劃）,FMP（線性和混合整數規劃），HS/LPLO（線性規劃），KORBX（線性規劃），LAMPS（線性和整數規劃），LPBLP（線性規劃），MILP（混合整數規劃），MINTO（混合整數規劃）， MPSIII（線性和混合整數規劃），OML（線性和混合整數規劃）， OSL（線性，二次和混合整數規劃），PROCLP（線性和整數規劃），WB（線性和混合整數規劃），WHIZARD（線性和混合整數規劃），XPRESSMP（線性和混合整數規劃）等.

　　非線性規劃的一個重要理論是1951年Kuhn-Tucker最優條件(簡稱KT條件)的建立.此後的50年代主要是對梯度法和牛頓法的研究.以Davidon(1959),  Fletcher和Powell(1963)提出的DFP方法為起點, 60年代是研究擬牛頓方法活躍時期, 同時對共軛梯度法也有較好的研究. 在1970年由Broyden,Fletcher,Goldfarb 和Shanno從不同的角度共同提出的BFGS方法是目前為止最有效擬牛頓方法. 由於Broyden, Dennis 和More的工作使得擬牛頓方法的理論變得很完善. 70年代是非線性規劃飛速發展時期, 約束變尺度(SQP)方法(Han和Powell為代表)和Lagrange乘子法(代表人物是Powell 和Hestenes)是這一時期主要研究成果.電腦的飛速發展使非線性規劃的研究如虎添翼.80年代開始研究信賴域法、稀疏 擬牛頓法、大規模問題的方法和並行計算, 90年代研究解非線性規劃問題的內點法和有限儲存法. 可以毫不誇張的說, 這半個世紀是最佳化發展的黃金時期.

　　

　　 與線性規劃相比，非線性規劃軟體還不夠完善. 但是已有大量解非線性規劃問題的軟體, 其中有相當一部分可從互連網上免費下載.BTN是利用線搜尋技術的塊截斷牛頓方法解無約束問題的軟體，近似牛頓方向是通過塊共軛梯度法解牛頓方程得到. 塊狀結構比較方便對線性代數方程和Function Compute進行並行化處理.  BTN有兩個版本: 簡本和使用者版本. 簡本不需並行化技術, 而使用者版本允許多種複雜運算, 包含並行化處理. 此軟體可以通過

　　

　　LANCELOT是由Conn,Gould和Toint研製的解大規模最佳化問題的軟體包,適合解無約束最佳化、非線性最小二乘、邊界約束最佳化和一般約束最佳化問題.這個軟體的基本思想是利用增廣Lagrange函數來處理約束條件, 在每步迭代中解一個邊界約束最佳化子問題, 其所用的方法結合信賴域和投影梯度等技術.MINPACK是美國Argonne國家實驗室研製的軟體包，適合求解非線性方程組和非線性最小二乘問題, 所用的基本方法是阻尼最小二乘法, 此軟體可以從網書館獲得. PROC NLP是SAS軟體公司研製的SAS商業軟體中OR模組的一個程式，這個程式適合解無約束最佳化、非線性最小二乘、線性約束最佳化、二次規劃和一般約束最佳化問題.TENMIN是Schnabel等研製的解中小規模問題（$n<100$）的張量方法軟體。在互連網上能訪問到的解非線性最佳化問題的軟體還有:CONOPT（非線性規劃），DOT（最佳化設計工具箱），Excel and Quattro Pro Solvers（線性，整數和非線性規劃），FSQP（非線性規劃和極小極大問題），GRG2（非線性規劃)， LBFGS（有限儲存法），LINDO（線性、二次和混合整數規劃），LSSOL（最小二乘和二次規劃），MINOS（線性和非線性規劃），NLPJOB（非線性多目標規劃）， OPTPACK（約束和無約束最佳化）,PETS（解非線性方程組和無約束問題的並行演算法），QPOPT（線性和二次規劃）,SQOPT（大規模線性和凸二次規劃），SNOPT（大規模線性、二次和非線性規劃），SPRNLP（稀疏最小二乘,稀疏和稠密非線性規劃），SYSFIT（非線性方程組的參數估計），TENSOLVE（非線性方程組和最小二乘）， VE10(非線性最小二乘)等.