欠定線性方程組Ax=b的稀疏解， 一篇關於稀疏訊號處理

from：http://blog.sina.com.cn/s/blog_5ea4087f0100cajs.html

近年來，國際運籌學界最佳化領域中一個新的研究主題：以壓縮感知(Compressive Sensing)為重要背景的最佳化問題稀疏解理論引起了高度關注。壓縮感知由於以儘可能小的採樣擷取大規模的稀疏資訊，因而具有廣泛的應用。

        經典的線性代數的一個核心成就是處理線性方程組的求解問題，然而直到最近該問題才有了更深入的研究和探索，並且得到了一系列更令人振奮的結果。今天主要關心一下欠定線性方程組Ax=b稀疏解的一些相關話題。

        針對欠定線性方程組的問題不外乎如下幾個：

是否存在稀疏解，該稀疏解是否唯一，能否判斷一個解是否是該問題的唯一稀疏解，如何有效地獲得這個稀疏解，等等

可以用兩個名次來概括上述這些問題：(P0)問題的唯一解(定義為，唯一性）和(P1)問題的唯一解(定義為，等價性)。

針對上述兩個命題，已經發展了很多有價值的結果，例如：

(1)藉助A的spark的唯一性命題和藉助A的mutual coherence的唯一性命題；

(2)MP和BP演算法，以及它們與唯一性和等價命題之間的關係，即Trop定理和Donoho定理

(3)一些更有效最佳化方法，例如，iteratively reweighed least squares, Lars, homotopy,等等。這些方法均需要小心處理thresholding的問題

(4)Candes-Tao-Romberg定理和Tropp等人的結果；

(5)phase transition問題。

然而有許多問題需要解決，公開的問題如下：

(1)如果A具有一定的structure,能否利用該structure獲得更strong的解唯一性和等價性命題；

例如，聯合正交矩陣形成的A能否能夠允許更多的解支撐，該A能否開發更有效求解策略；

A結構是否擁有多尺度分解特性，該特效能否充分利用。

(2)貪婪演算法和凸最佳化演算法是解決該問題的兩種主要策略，然而這些演算法對於上述A結構能否擁有相同的performance.

已有的求解隨機矩陣等結構的A的貪婪演算法的計算效能對於該類A已經missing，為什嗎？

目前為止已經報道了針對該類A結構的凸最佳化演算法效能，然而對於貪婪演算法的研究還沒有報道。

(3)更大的需求是開發快速的凸最佳化方法,研究貪婪演算法和凸最佳化方法共性，開發它們的優勢並且開發新的更有效演算法是目前研究的焦點

，也是今後研究的重點。或許，iterated shrinkage method，lasso和LARS演算法能夠給我們提供更多的啟發。

(4)針對特性的A開發更strong的測不準原理應該是一個研究方向，因為mutual coherence是一個最壞的界。

(5)目前的唯一性和等價性命題都是針對所有的b而言的，能否得到與b有關的更strong的唯一性和等價性命題是一個研究內容。

今天讀到一篇很不錯的綜述性文章，可以看作入門的文章吧。儘管裡面有一些論點我不幹苟同，但是這篇文章屬於可以把我們目前遇到的

一些與稀疏有關的比較成熟的應用問題綜合在一起，例如，稀疏陣列訊號處理，COMPRESSED SENSING, 通道編碼，通道估計，功率譜普估計，SCA，等，

很不錯，值得推薦！

論文題目，A Unified Approach to Sparse Signal Processing

論文摘要:

A unified view of the area of sparse signal processing is presented in tutorial form by bringing together various fields in which the property of sparsity has been successfully exploited. For each of these fields, various algorithms
and techniques, which have been developed to leverage sparsity, are describedsuccinctly. The common potential benefits of significant reduction in sampling rate and processing manipulations through sparse signal processing are revealed.
The key application domains of sparse signal processing are sampling, coding, spectral estimation, array processing, component analysis, and multipath channel estimation. In terms of the sampling process and reconstruction algorithms, linkages are made with
random sampling, compressed sensing and rate of innovation. The redundancy introduced by channel coding in finite and real Galois fields is then related to over-sampling with similar reconstruction algorithms. The methods of Prony, Pisarenko, and MUltiple
SIgnal Classification (MUSIC) are next shown to be targeted at analyzing signals with sparse frequency domain representations. Specifically, the relations of the approach of Prony to an annihilating filter in rate of innovation and Error Locator Polynomials
in coding are emphasized; the Pisarenko and MUSIC methods are further improvements of the Prony method. Such narrowband spectral estimation is then related to multi-source location and direction of arrival estimation in array processing. The notions of sparse
array beamforming and sparse sensor networks are also introduced. Sparsity in unobservable source signals is also shown to facilitate source separation in Sparse Component Analysis (SCA); the algorithms developed in this area are also widely used in compressed
sensing. Finally, the
nature of the multipath channel estimation problem is shown to have a sparse formulation; algorithms similar to sampling and coding are used to estimate typical multicarrier communication channels.

剛剛在天涯上看到一幅圖，名字叫“扯蛋”，有意思！希望我們踏踏實實地工作，不要像某些所謂的

狗屁院士，專家和教授一天到晚地扯蛋！