什麼是熵(Entropy)?_機器學習

http://blog.csdn.net/ppn029012/article/details/8652047
什麼是熵(Entropy)? 分類： 聽說看 機器學習 2013-03-09 00:22  1430人閱讀  評論(0)  收藏  舉報 entropy 資訊理論

熵(entropy)這個概念為什麼可以被引用到科學的多個不同的領域呢? (物理，電腦視覺，資訊理論等等)

這裡我就來談談物理學上的熵，和資訊理論中的熵聯絡在於哪裡。 為了協助理解和應用，最後有幾個關於熵的應用的有趣例子。

熵最早來原於物理學. 德國物理學家魯道夫·克勞修斯首次提出熵的概念，用來表示任何一種能量在空間中分布的均勻程度，能量分布得越均勻，熵就越大。

一滴墨水滴在清水中，部成了一杯淡藍色溶液 熱水晾在空氣中，熱量會傳到空氣中，最後使得溫度一致 可以注意到些能量分布的變化的過程都是都是無法復原的(你不能期望清水中的藍色分子 自動地聚成一滴墨水,放在空氣中的汽水能 自動變成開水)， 所以這些系統的熵都在慢慢地增加。
而物理學第二定律描述的就是，宇宙中這些無法復原的過程的變化規律，而自然界中的一切自發過程都具有無法復原性. 所以熵增加是一個很普適地概念，說明了宇宙的發展具有方向性, 也就是向著熵增大的方向發展。 而這些推動事物向熵增大方向發展的力量（規律）， 被稱為熵力。更多的一些生活中的例子:

熵力的一個例子是耳機線，我們將耳機線整理好放進口袋，下次再拿出來已經亂了。讓耳機線亂掉的看不見的“力”就是熵力，耳機線喜歡變成更混亂。 熵力另一個具體的例子是彈性力。一根彈簧的力，就是熵力。 胡克定律其實也是一種熵力的表現。  萬有引力也是熵力的一種(熱烈討論的話題)。 渾水澄清[1] 宇宙發展的盡頭就是熵達到最大，所有物質溫度達到熱平衡。這樣的宇宙中再也沒有任何可以維持運動或是生命的能量存在（熱寂）。

以上是從能量分布角度看熵的定義, 從 微觀分子角度看，熵表徵了這個系統的混亂程度(與微觀狀態數量有關，比如說粒子所處的能級(E)可以作為狀態). 所有微觀粒子的狀態只有一種時,也就是混亂程度為0。而當3個粒子分別處於狀態1,2,3 時。這個系統的熵就是k*ln(3),總而言之就是微觀狀態越多，熵越TM大.
於是從微觀看，熵就表現了這個系統所處狀態的 不確定性程度。香農，描述一個資訊系統的時候就借用了熵的概念，這裡熵表示的是這個資訊系統的 平均資訊量(平均不確定程度)。 所以當我們說某句話的時候，會協助你消除一定不確定程度,而消除程度的多少就是資訊量的多少. 通過計算[2]，常用漢字的熵要大於英文字母的熵，所以你說相同長度的中文很有可能比英文表達的意思要多哦。
除了資訊理論，很多地方都借用了這個可愛的概念。
1. (資訊壓縮編碼)霍夫曼(Huffman)編碼: 設計一個資訊系統，使得其熵最大，（編碼的平均資訊量最大）， 於是使得發送效率最高。
2. (電腦視覺)[3]這文章裡，介紹了用熵變化來檢測出一個圖片的顯著點.(e.g.一隻在牆上的手). 原理就是這些有突出特徵的點，都是表現出很強的不確定性(熵)。於是把這些點找出來,就很有可能是你想要的（特徵突出的東西）

3. （自然語言處理） 在翻譯的時候，一個 句子J, 可能有 n種翻譯(f1,f2...fn),還有一些 知識Z(比如在這篇武俠小說裡，f3,f4這兩個翻譯的可能性更大)。現在你要建立一個模型來描述這n種翻譯的可能性(機率分布)是怎麼樣的, 最好的模型也就是讓這幾種翻譯的機率分布的 “熵” 最大。 學術一點說，就是在已知的前提下，請將未知的東西做最不可預測(熵最大)的推斷。這就是 最大熵模型的思想。

有趣的問題是， 在這些系統中，會不會也存在和宇宙一樣的，熵不斷增大的系統呢? 
或者通過觀察某些熵不斷增大的資訊系統(像語言系統，熵總是不斷增大的，因為，人們總想更快更簡單地表達一些資訊)，能不能推匯出這是由一種無法復原的力量產生的變化?這種力量又是什麼呢?

[1] http://www.douban.com/group/topic/11462628/ [2] http://kilem3.wordpress.com/2006/09/11/%E4%BF%A1%E6%81%AF%E5%AD%A6%E4%B8%8A%E7%9A%84%E7%86%B5/
[3]Spatiotemporal Localization and Categorization of Human Actions in Unsegmented Image Sequences