The connection to adb is down, and a severe error has occured(Android模擬器連接埠被佔用)

標籤：android   c   style   blog   http   a   

一、資訊理論基礎：

熵：

聯合熵：實際上就是描述一對隨機變數平均所需要的資訊量。

條件熵：給定隨機變數 X 的情況下，隨機變數 Y 的條件熵定義為：

熵率：

相對熵（KL距離）：兩個機率分布 p(x) 和 q(x) 的相對熵定義為：

交叉熵：如果一個隨機變數 X ~ p(x)，q(x)為用於近似 p(x)的機率分布，那麼，隨機變數 X 和模型 q 之間的交叉熵定義為：

由此，我們可以根據模型 q 和一個含有大量資料的 L 的樣本來計算交叉熵。在設計模型 q 時，我們的目的是使交叉熵最小，從而使模型最接近真實的機率分布 p(x)。

困惑度：

互資訊：

當兩個漢字 x 和 y 關聯度較強時，其互資訊值 I(x, y)>0；x 與y 關係弱時，I(x, y)≈0；而當I(x, y)<0時，x 與 y 稱為 “互補分布”。在漢語分詞研究中，有學者用雙字耦合度的概念代替互資訊：設 ci，ci+1是兩個連續出現的漢字，統計樣本中ci，ci+1連續出現在一個詞中的次數和連續出現的總次數，二者之比就是ci，ci+1的雙字耦合度：

有些漢字在實際應用中出現雖然比較頻繁，但是連續在一起出現的情況比較少，一旦連在一起出現，就很可能是一個詞。這種情況下計算出來的互資訊會比較小，而實際上兩者的結合度應該是比較高的。而雙字耦合度恰恰計算的是兩個連續漢字出現在一個詞中的機率，並不考慮兩個漢字非連續出現的情況。

例如：詞彙消歧：

*機率p*(a|b)的推導說明：