最小描述長度（MDL）

       最小描述長度( MDL) 原理是 Rissane 在研究通用編碼時提出的。其基本原理是對於一組給定的執行個體資料 D ， 如果要對其進行儲存 ，為了節省儲存空間， 一般採用某種模型對其進行編碼壓縮，然後再儲存壓縮後的資料。同時， 為了以後正確恢複這些執行個體資料，將所用的模型也儲存起來。所以需要儲存的資料長度( 位元數) 等於這些執行個體資料進行編碼壓縮後的長度加上儲存模型所需的資料長度，將該資料長度稱為總描述長度。最小描述長度( MDL) 原理就是要求選擇總描述長度最小的模型。
       如果將貝葉斯網路作為對執行個體資料進行壓縮編碼的模型， MDL原理就可以用於貝葉斯網路的學習。該度量被視為網路結構的描述長度和在給定結構下樣本資料集的描述長度之和。一方面，用於描述網路結構的編碼位隨模型複雜度的增加而增加 ； 另一方面， 對資料集描述的編碼位隨模型複雜度的增加而下降。因此，貝葉斯網路的 MDL總是力求在模型精度和模型複雜度之間找到平衡。構建貝葉斯網路首先定義一個評分函數， 該評分函數描述了每個可能結構對觀察到的資料擬合， 其目的就是發現評分最大的結構，這個過程連續進行到新模型的評分分數不再比老模型的高為止。