演算法複雜度計算 學習

1.1 大O標記法
上學的時候就學習了大O標記法表示一個演算法的效率，也大概明白怎麼回事，知道如果沒有迴圈的一段程式的複雜度是常數，一層迴圈的複雜度是O(n),兩層迴圈的複雜度是O(n^2)? （我用^2表示平方，同理 ^3表示立方）。但是一直對於嚴格的定義和用法稀裡糊塗。

1.1.1 定義
設一個程式的時間複雜度用一個函數 T(n) 來表示，對於一個尋找演算法，如下：

int seqsearch( int a[], const int n, const int x)
{
int i = 0;
for (; a[i] != x && i < n ; i++ );
if ( i == n) return -1;
else return i;
}這個程式是將輸入的數值順序地與數組中地元素逐個比較，找出與之相等地元素。

在第一個元素就找到需要比較一次，在第二個元素找到需要比較2次，……　，在第n個元素找到需要比較n次。對於有n個元素的數組，如果每個元素被找到的機率相等，那麼尋找成功的平均比較次數為:

f(n) = 1/n (n + (n-1) + (n-2) + ... + 1) = (n+1)/2 = O(n)

這就是傳說中的大O函數的原始定義。

1.1.2 用大O來表述
要全面分析一個演算法，需要考慮演算法在最壞和最好的情況下的時間代價，和在平均情況下的時間代價。對於最壞情況，採用大O標記法的一般提法（注意，這裡用的是“一般提法”）是：若且唯若存在正整數c和n0,使得 T(n) <= c*f(n)對於所有的n >= n0 都成立。則稱該演算法的漸進時間複雜度為T(n) = O(f(n))。這個應該是高等數學裡面的第一章極限裡面的知識。這裡f(n) = (n+1)/2, 那麼c * f(n)也就是一個一次函數。

對於對數級，我們用大O記法記為O(log2N)就可以了。

1.1.3 加法規則
T(n,m) = T1(n) + T2(n) = O ( max (f(n), g(m) )

1.1.4 乘法規則
T(n,m) = T1(n) * T2(m) = O (f(n) * g(m))

1.1.5 一個特例
在大O標記法裡面有一個特例，如果T1(n) ＝ O(c)， c是一個與n無關的任意常數，T2(n) = O ( f(n) ) 則有

T(n) = T1(n) * T2(n) = O ( c*f(n) ) = O( f(n) ).

也就是說，在大O標記法中，任何非0正常數都屬於同一數量級，記為O(1)。

1.1.6 一個經驗規則
有如下複雜度關係

c < log2N < n < n * Log2N < n^2 < n^3 < 2^n < 3^n < n!

其中c是一個常量，如果一個演算法的複雜度為c 、 log2N 、n 、 n*log2N ,那麼這個演算法時間效率比較高 ，如果是 2^n , 3^n ,n!，那麼稍微大一些的n就會令這個演算法不能動了，居於中間的幾個則差強人意。

 

 

定義：如果一個問題的規模是n，解這一問題的某一演算法所需要的時間為T(n)，它是n的某一函數 T(n)稱為這一演算法的“時間複雜性”。

當輸入量n逐漸加大時，時間複雜性的極限情形稱為演算法的“漸近時間複雜性”。

我們常用大O標記法表示時間複雜性，注意它是某一個演算法的時間複雜性。大O表示只是說有上界，由定義如果f(n)=O(n)，那顯然成立f(n)=O(n^2)，它給你一個上界，但並不是上確界，但人們在表示的時候一般都習慣表示前者。

此外，一個問題本身也有它的複雜性，如果某個演算法的複雜性到達了這個問題複雜性的下界，那就稱這樣的演算法是最佳演算法。

“大O記法”：在這種描述中使用的基本參數是 n，即問題執行個體的規模，把複雜性或已耗用時間表達為n的函數。這裡的“O”表示量級 (order)，比如說“二分檢索是 O(logn)的”,也就是說它需要“通過logn量級的步驟去檢索一個規模為n的數組”記法 O ( f(n) )表示當 n增大時，已耗用時間至多將以正比於 f(n)的速度增長。

這種漸進估計對演算法的理論分析和大致比較是非常有價值的，但在實踐中細節也可能造成差異。例如，一個低附加代價的O(n2)演算法在n較小的情況下可能比一個高附加代價的 O(nlogn)演算法運行得更快。當然，隨著n足夠大以後，具有較慢上升函數的演算法必然工作得更快。

O(1)

Temp=i;i=j;j=temp;                    

以上三條單個語句的頻度均為1，該程式段的執行時間是一個與問題規模n無關的常數。演算法的時間複雜度為常數階，記作T(n)=O(1)。如果演算法的執行時 間不隨著問題規模n的增加而增長，即使演算法中有上千條語句，其執行時間也不過是一個較大的常數。此類演算法的時間複雜度是O(1)。

O(n^2)

2.1. 交換i和j的內容
     sum=0；                 （一次）
     for(i=1;i<=n;i++)       （n次 ）
        for(j=1;j<=n;j++) （n^2次 ）
         sum++；       （n^2次 ）
解：T(n)=2n^2+n+1 =O(n^2)

2.2.   
    for (i=1;i<n;i++)
    {
        y=y+1;         ①   
        for (j=0;j<=(2*n);j++)    
           x++;        ②      
    }         
解： 語句1的頻度是n-1
          語句2的頻度是(n-1)*(2n+1)=2n^2-n-1
          f(n)=2n^2-n-1+(n-1)=2n^2-2
          該程式的時間複雜度T(n)=O(n^2).         

O(n)      
                                                      
2.3.
    a=0;
    b=1;                      ①
    for (i=1;i<=n;i++) ②
    {  
       s=a+b;　　　　③
       b=a;　　　　　④  
       a=s;　　　　　⑤
    }
解： 語句1的頻度：2,        
           語句2的頻度： n,        
          語句3的頻度： n-1,        
          語句4的頻度：n-1,    
          語句5的頻度：n-1,                                  
          T(n)=2+n+3(n-1)=4n-1=O(n).
                                                                                                 
O(log2n )

2.4.
     i=1;       ①
    while (i<=n)
       i=i*2; ②
解： 語句1的頻度是1,  
          設語句2的頻度是f(n),   則：2^f(n)<=n;f(n)<=log2n    
          取最大值f(n)= log2n,
          T(n)=O(log2n )

O(n^3)

2.5.
    for(i=0;i<n;i++)
    {  
       for(j=0;j<i;j++)  
       {
          for(k=0;k<j;k++)
             x=x+2;  
       }
    }
解：當i=m, j=k的時候,內層迴圈的次數為k當i=m時, j 可以取 0,1,...,m-1 , 所以這裡最內迴圈共進行了0+1+...+m-1=(m-1)m/2次所以,i從0取到n, 則迴圈共進行了: 0+(1-1)*1/2+...+(n-1)n/2=n(n+1)(n-1)/6所以時間複雜度為O(n^3).
                                  

我們還應該區分演算法的最壞情況的行為和期望行為。如快速排序的最 壞情況已耗用時間是 O(n^2)，但期望時間是 O(nlogn)。通過每次都仔細 地選擇基準值，我們有可能把平方情況 (即O(n^2)情況)的機率減小到幾乎等於 0。在實際中，精心實現的快速排序一般都能以 (O(nlogn)時間運行。
下面是一些常用的記法：

訪問數組中的元素是常數時間操作，或說O(1)操作。一個演算法如 果能在每個步驟去掉一半資料元素，如二分檢索，通常它就取 O(logn)時間。用strcmp比較兩個具有n個字元的串需要O(n)時間 。常規的矩陣乘演算法是O(n^3)，因為算出每個元素都需要將n對 元素相乘並加到一起，所有元素的個數是n^2。
指數時間演算法通常來源於需要求出所有可能結果。例如，n個元 素的集合共有2n個子集,所以要求出所有子集的演算法將是O(2n)的 。指數演算法一般說來是太複雜了，除非n的值非常小，因為，在 這個問題中增加一個元素就導致已耗用時間加倍。不幸的是，確實有許多問題 (如著名 的“巡迴售貨員問題” )，到目前為止找到的演算法都是指數的。如果我們真的遇到這種情況， 通常應該用尋找近似最佳結果的演算法替代之。