快排為什麼那樣快

目錄

0. 前言

1. 猜數字

2. 稱球

3. 排序

    3.1 為什麼堆排比快排慢

    3.2 為什麼快排其實也不是那麼快

    3.3 基排又為什麼那麼快呢

4. 資訊理論！資訊理論？

5. 小結

 

0. 前言

知道這個理論是在TopLanguage上的一次討論，先是g9轉了David MacKay的一篇文章，然後引發了牛人們的一場關於資訊理論的討論。Anyway，正如g9很久以前在Blog裡面所說的：

有時無知是福。俺看到一點新鮮的科普也能覺得造化神奇。剛才讀Gerald Jay Sussman（SICP作者）的文章，Building Robust Systems – an essay，竟然心如小鹿亂撞，手心濕潤，彷彿第一次握住初戀情人溫柔的手。

而看到MacKay的這篇文章我也有這種感覺——以前模糊的東西忽然有了深刻的解釋，一切頓時變得明白無比。原來看問題的角度或層面能夠帶來這麼大的變化。再一次印證了越是深刻的原理往往越是簡單和強大。所以說，土鱉也有土鱉的幸福:P

這篇文章相當於MacKay原文的白話文版。MacKay在原文中用到了資訊理論的知識，後者在我看來並不是必須的，儘管計算的時候方便，但與本質無關。所以我用大白話解釋了一通。

 

1. 猜數字

我們先來玩一個猜數字遊戲：我心裡默念一個1~64之間的數，你來猜（你只能問答案是“是”或“否”的問題）。為了保證不論在什麼情況下都能以盡量少的次數猜中，你應該採取什麼策略呢？很顯然，二分。先是猜是不是位於1~32之間，排除掉一半可能性，然後對區間繼續二分。這種策略能夠保證無論數字怎麼跟你捉迷藏，都能在log_2{n}次以內猜中。用演算法的術語來說就是它的下界是最好的。

我們再來回顧一下這個遊戲所蘊含的本質：為什麼這種策略具有最優下界？答案也很簡單，這個策略是平衡的。反之如果策略不是平衡的，比如問是不是在1~10之間，那麼一旦發現不是在1~10之間的話就會剩下比N/2更多的可能性需要去考察了。

徐宥在討論中提到，這種策略的本質可以概括成“讓未知世界無機可乘”。它是沒有“弱點的”，答案的任何一個分支都是等機率的。反之，一旦某個分支蘊含的可能性更多，當情況落到那個分支上的時候你就鬱悶了。比如猜數字遊戲最糟糕的策略就是一個一個的猜：是1嗎？是2嗎？... 因為這種猜法最差的情況下需要64次才能猜對，下界非常糟糕。二分搜尋為什麼好，就是因為它每次都將可能性排除一半並且無論如何都能排除一半（它是最糟情況下表現最好的）。

 

2. 稱球

12個小球，其中有一個是壞球。有一架天平。需要你用最少的稱次數來確定哪個小球是壞的並且它到底是輕還是重。

這個問題是一道流傳已久的智力題。網路上也有很多講解，還有泛化到N個球的情況下的嚴格證明。也有零星的一些地方提到從資訊理論的角度來看待最優解法。本來我一直認為這道題目除了試錯之外沒有其它高妙的思路了，只能一個個方法試，並盡量從結果中尋找資訊，然後看看哪種方案最少。

然而，實際上它的確有其它的思路，一個更本質的思路，而且根本用不著資訊理論這麼拗口的知識。

我們先回顧一下猜數字遊戲。為了保證任何情況下以最少次數猜中，我們的策略是每次都排除恰好一半的可能性。類比到稱球問題上：壞球可能是12個球中的任意一個，這就是12種可能性；而其中每種可能性下壞球可能輕也可能重。於是“壞球是哪個球，是輕是重”這個問題的答案就有12×2=24種可能性。現在我們用天平來稱球，就等同於對這24種可能性發問，由於天平的輸出結果有三種“平衡、左傾、右傾”，這就相當於我們的問題有三個答案，即可以將所有的可能性切成三份，根據猜數字遊戲的啟發，我們應當盡量讓這三個分支機率均等，即平均切分所有的可能性為三等份。如此一來的話一次稱量就可以將答案的可能性縮減為原來的1/3，三次就能縮減為1/27。而總共才有24種可能性，所以理論上是完全可以3次稱出來的。

如何稱的指導原則有了，構造一個稱的策略就不是什麼太困難的事情了。首先不妨解釋一下為什麼最直觀的稱法不是最優的——6、6稱：在6、6稱的時候，天平平衡的可能性是0。剛才說了，最優策略應該使得天平三種狀態的機率均等，這樣才能三等分答案的所有可能性。

為了更清楚的看待這個問題，我們不妨假設有6個球，來考慮一下3、3稱和2、2稱的區別：

在未稱之前，一共有12種可能性：1輕、1重、2輕、2重、...、6輕、6重。現在將1、2、3號放在左邊，4、5、6放在右邊3、3稱了之後，不失一般性假設天平左傾，那麼小球的可能性就變成了原來的一半（6種）：1重、2重、3重、4輕、5輕、6輕。即這種稱法能排除一半可能性。

現在再來看2、2稱法，即1、2放左邊，3、4放右邊，剩下的5、6不稱，放一邊。假設結果是天平平衡，那麼可能性剩下——4種：5重、5輕、6重、6輕。假設天平左傾，可能性也剩下4種：1重、2重、3輕、4輕。右傾和左傾的情況類似。總之，這種稱法，不管天平結果如何，情況都被我們縮小到了原來的三分之一！我們充分利用了“天平的結果狀態可能有三種”這個條件來三等分所有可能性，而不是二等分。

說到這裡，剩下的事情就實在很簡單了：第二步稱法，只要記著這樣一個指導思想——你選擇的稱法必須使得當天平平衡的時候答案剩下的可能性和天平左傾（右傾）的時候答案剩下的可能性一樣多。實際上，這等同於你得選擇一種稱法，使得天平輸出三種結果的機率是均等的，因為天平輸出某個結果的機率就等同於所有支援這個結果（左傾、右傾、平衡）的答案可能性的和，並且答案的每個可能性都是等機率的。

MacKay在他的書《Information Theory: Inference and Learning Algorithms》（作者開放免費電子書）裡面4.1節專門講了這個稱球問題，還畫了一張不錯的圖，我就照抄了：

圖中“1+”是指“1號小球為重”這一可能性。一開始一共有24種可能性。4、4稱了之後不管哪種情況（分支），剩下來的可能性總是4種。這是一個完美的三分。然後對每個分支構造第二次稱法，這裡你只要稍加演算就可以發現，分支1上的第二次稱法，即“1、2、6對3、4、5”這種稱法，天平輸出三種結果的可能性是均等的（嚴格來說是幾乎均等）。這就是為什麼這個稱法能夠在最壞的情況下也能表現最好的原因，沒有哪個分支是它的弱點，它必然能將情況縮小到原來的1/3。

 

3. 排序

用前面的看問題視角，排序的本質可以這樣來表述：一組未排序的N個數字，它們一共有N!種重排，其中只有一種排列是滿足題意的（譬如從大到小排列）。換句話說，排序問題的可能性一共有N!種。任何基於比較的排序的基本操作單元都是“比較a和b”，這就相當於猜數字遊戲裡面的一個問句，顯然這個問句的答案只能是“是”或“否”，一個只有兩種輸出的問題最多隻能將可能性空間切成兩半，根據上面的思路，最佳切法就是切成1/2和1/2。也就是說，我們希望在比較了a和b的大小關係之後，如果發現a<b的話剩下的排列可能性就變成N!/2，如果發現a>b也是剩下N!/2種可能性。由於假設每種排列的機率是均等的，所以這也就意味著支援a<b的排列一共有N!/2個，支援a>b的也是N!/2個，換言之，a<b的機率等於a>b的機率。

我們希望每次在比較a和b的時候，a<b和a>b的機率是均等的，這樣我們就能保證無論如何都能將可能性縮小為原來的一半了！最優下界。

一個直接的推論是，如果每次都像上面這樣的完美比較，那麼N個元素的N!種可能排列只需要log_2{N!}就排查玩了，而log_2{N!}近似於NlogN。這正是快排的複雜度。

3.1 為什麼堆排比快排慢

回顧一下堆排的過程：

1. 建立最大堆（堆頂的元素大於其兩個兒子，兩個兒子又分別大於它們各自下屬的兩個兒子... 以此類推）

2. 將堆頂的元素和最後一個元素對調（相當於將堆頂元素（最大值）拿走，然後將堆底的那個元素補上它的空缺），然後讓那最後一個元素從頂上往下滑到恰當的位置（重新使堆最大化）。

3. 重複第2步。

這裡的關鍵問題就在於第2步，堆底的元素肯定很小，將它拿到堆頂和原本屬於最大元素的兩個子節點比較，它比它們大的可能性是微乎其微的。實際上它肯定小於其中的一個兒子。而大於另一個兒子的可能性非常小。於是，這一次比較的結果就是機率不均等的，根據前面的分析，機率不均等的比較是不明智的，因為它並不能保證在糟糕情況下也能將問題的可能性削減到原本的1/2。可以想像一種極端情況，如果a肯定小於b，那麼比較a和b就會什麼資訊也得不到——原本剩下多少可能性還是剩下多少可能性。

在堆排裡面有大量這種近乎無效的比較，因為被拿到堆頂的那個元素幾乎肯定是很小的，而靠近堆頂的元素又幾乎肯定是很大的，將一個很小的數和一個很大的數比較，結果幾乎肯定是“小於”的，這就意味著問題的可能性只被排除掉了很小一部分。

這就是為什麼堆排比較慢（堆排雖然和快排一樣複雜度都是O(NlogN)但堆排複雜度的常係數更大）。

MacKay也提供了一個修改版的堆排：每次不是將堆底的元素拿到上面去，而是直接比較堆頂（最大）元素的兩個兒子，即選出次大的元素。由於這兩個兒子之間的大小關係是很不確定的，兩者都很大，說不好哪個更大哪個更小，所以這次比較的兩個結果就是機率均等的了。具體參考這裡。

3.2 為什麼快排其實也不是那麼快

我們考慮快排的過程：隨機播放一個元素做“軸元素”，將所有大於軸元素的移到左邊，其餘移到右邊。根據這個過程，快排的第一次比較就是將一個元素和軸元素比較，這個時候顯而易見的是，“大於”和“小於”的可能性各佔一半。這是一次漂亮的比較。

然而，快排的第二次比較就不那麼高明了：我們不妨令軸元素為pivot，第一次比較結果是a1<pivot，那麼可以證明第二次比較a2也小於pivot的可能性是2/3！這容易證明：如果a2>pivot的話，那麼a1，a2，pivot這三個元素之間的關係就完全確定了——a1<pivot<a2，剩下來的元素排列的可能性我們不妨記為P（不需要具體算出來）。而如果a2<pivot呢？那麼a1和a2的關係就仍然是不確定的，也就是說，這個分支裡面含有兩種情況：a1<a2<pivot，以及a2<a1<pivot。對於其中任一種情況，剩下的元素排列的可能性都是P，於是這個分支裡面剩下的排列可能性就是2P。所以當a2<pivot的時候，還剩下2/3的可能性需要排查。

再進一步，如果第二步比較果真發現a2<pivot的話，第三步比較就更不妙了，模仿上面的推理，a3<pivot的機率將會是3/4！

這就是快排也不那麼快的原因，因為它也沒有做到每次比較都能將剩下的可能性砍掉一半。

3.3 雞排為什麼又那麼快呢？

傳統的解釋是：基排不是基於比較的，所以不具有後者的局限性。話是沒錯，但其實還可以將它和基於比較的排序做一個類比。

基排的過程也許是源於我們理順一副牌的過程：如果你有N（N<=13）張牌，亂序，如何理順呢？我們假象桌上有十三個位置，然後我們將手裡的牌一張一張放出去，如果是3，就放在位置3上，如果是J，就放在位置11上，放完了之後從位置1到位置13收集所有的牌（沒有牌的位置上不收集任何牌）。

我們可以這樣來理解基排高效的本質原因：假設前i張牌都已經放到了它們對應的位置上，第i+1張牌放出去的時候，實際上就相當於“一下子”就確立了它和前i張牌的大小關係，用O(1)的操作就將這張牌正確地插入到了前i張牌中的正確位置上，這個效果就相當於插入排序的第i輪原本需要比較O(i)次的，現在只需要O(1)了。

但是，為什麼基排能夠達到這個效果呢？上面只是解釋了過程，解釋了過程不代表解釋了本質。

當i張牌放到位之後，放置第i+1張牌的時候有多少種可能性？大約i+1種，因為前i張牌將13個位置分割成了i+1個區間——第i+1張牌可以落在任意一個區間。所以放置第i+1張牌就好比是詢問這樣一個問題：“這張牌落在哪個區間呢？”而這個問題的答案有i+1種可能性？所以它就將剩下來的可能性均分成了i+1份（換句話說，砍掉了i/i+1的可能性！）。再看看基於比較的排序吧：由於每次比較只有兩種結果，所以最多隻能將剩下的可能性砍掉一半。

這就是為什麼基排要快得多。而所有基於比較的排序都逃脫不了NlogN的宿命。

 

4. 資訊理論！資訊理論？

本來呢，MacKay寫那篇文章是想用資訊理論來解釋為什麼堆排慢，以及為什麼快排也慢的。MacKay在他的文章中的解釋是，只有提出每種答案的機率都均等的問題，才能獲得最大資訊量。然而，仔細一想，其實這裡資訊理論並不是因，而是果。這裡不需要用資訊理論就完全能夠解釋，而且更明白。資訊理論只是對這個解釋的一個形式化。當然，資訊理論在其它地方還是有應用的。但這裡其實用不著資訊理論這麼重量級的東西（也許具體計算一些資料的時候是需要的），而是只需要一種看問題的本質視角：將排序問題看成和猜數字一樣，是通過問問題來縮小/排除（narrow down）結果的可能性區間，這樣一來，就會發現，“最好的問題”就是那些能夠均分所有可能性的問題，因為那樣的話不管問題的答案如何，都能排除掉k-1/k（k為問題的答案有多少種輸出——猜數字裡面是2，稱球裡面是3）種可能性，而不均衡的問題總會有一個或一些答案分支排除掉的可能性要小於k-1/k。於是策略的下界就被拖累了。

 

5. 小結

這的確是“小結”，因為兩點：

1. 這個問題可以有資訊理論的理論解釋，而資訊理論則是一個相當大的領域了。

2. 文中提到的這種看問題的視角除了用於排序、稱球，還能夠運用到哪些問題上（比如搜尋）。

 

Update(06/13/2008) : 徐宥在討論中繼續提到：

另外，這幾天我重新把TAOCP 第三卷(第二版)翻出來看了看 Knuth 怎麼說這個問題的, 發現真是牛大了：

先說效能：

pp148, section 5.2.3 說：

When N = 1000, the approximate average runiing time on MIX are 160000u for heapsort 130000u for shellsort 80000u  for quicksort

這裡,  Knuth 同學發現一般情況下 heapsort 表現很不好. 於是，在下文他就說，習題18 (pp156, 難度21)

(R.W.Floyd) During the selection phase of heapsort, the key K tends to be quite small, so that nearly all the comparisons in step H6 find K<K_j. Show how to modify the algorithm so that K is not compared with K_j in the main loop of the computation, thereby nearly cutting the average number of comparisons in half.

答案裡面的方法和DMK的方法是一樣的。(我覺得DMK是看了這個論文或者TAoCP的) 這裡說 by half，就正好和快排差不多了。

再說資訊理論分析：

在5.3.1 (pp181) 高爺爺就說, “排序問題可以看成是一個樹上的鳥兒排排站的問題. (還特地畫了一棵樹), 下一段就說, 其實這個也有等價說法, 就是資訊理論, 我們從稱球問題說起...”

然後後面一直講資訊理論和最小比較排序...

高爺爺真不愧是姓高的，囧rz..