資訊熵的概念

　　資訊熵：資訊的基本作用就是消除人們對事物的不確定性。多數粒子組合之後，在它似像非像的形態上押上有價值的數位，具體地說，這就是一個在博弈對局中現象資訊的混亂。

　　香農指出，它的準確資訊量應該是

　　= -(p1*log p1 + p2 * log p2 +　．．．　＋p32 *log p32)，

　　其中，p1，p2 ，　．．．，p32 分別是這 32 個球隊奪冠的機率。香農把它稱為“資訊熵” (Entropy)，一般用符號 H 表示，單位是位元。有興趣的讀者可以推算一下當 32 個球隊奪冠機率相同時，對應的資訊熵等於五位元。有數學基礎的讀者還可以證明上面公式的值不可能大於五。對於任意一個隨機變數 X（比如得冠軍的球隊），它的熵定義如下：

　　變數的不確定性越大，熵也就越大，把它搞清楚所需要的資訊量也就越大。

　　資訊熵是資訊理論中用於度量資訊量的一個概念。一個系統越是有序，資訊熵就越低；

　　反之，一個系統越是混亂，資訊熵就越高。所以，資訊熵也可以說是系統有序化程度的一個度量。

　　熵的概念源自熱物理學.假定有兩種氣體a、b，當兩種氣體完全混合時，可以達到熱物理學中的穩定點，此時熵最高。如果要實現反向過程，即將a、b完全分離，在封閉的系統中是沒有可能的。只有外部幹預（資訊），也即系統外部加入某種有序化的東西（能量），使得a、b分離。這時，系統進入另一種穩定點，此時，資訊熵最低。熱物理學證明，在一個封閉的系統中，熵總是增大，直至最大。若使系統的熵減少（使系統更加有序化），必須有外部能量的幹預。

　　資訊熵的計算是非常複雜的。而具有多重前置條件的資訊，更是幾乎不能計算的。所以在現實世界中資訊的價值大多是不能被計算出來的。但因為資訊熵和熱力學熵的緊密相關性，所以資訊熵是可以在衰減的過程中被測定出來的。因此資訊的價值是通過資訊的傳遞體現出來的。在沒有引入附加價值（負熵）的情況下，傳播得越廣、流傳時間越長的資訊越有價值。

　　熵首先是物理學裡的名詞.在傳播中是指資訊的不確定性,一則高資訊度的資訊熵是很低的,低資訊度的熵則高。具體說來，凡是導致隨機事件集合的肯定性，組織性，法則性或有序性等增加或減少的活動過程，都可以用資訊熵的改變數這個統一的尺規來度量。