文本比較演算法：計算文本的相似性

標籤：style   blog   http   color   ar   strong   for   sp   問題   

原文：http://www.cnblogs.com/grenet/archive/2010/06/04/1751147.html

在給定的字串A和字串B，LD(A,B)表示編輯距離，LCS(A,B)表示最長公用子串的長度。如何來度量它們之間的相似性呢？

不妨設S(A,B)來表示字串A和字串B的相似性。那麼，比較合理的相似性應該滿足下列性質。

性質一：0≤S(A,B)≤100%，0表示完全不相似，100%表示完全相等

性質二：S(A,B)=S(B,A)

目前，網上介紹的各種相似性的計算，都有各自的不盡合理的地方。

計算公式一：S(A,B)=1/(LD(A,B)+1)

能完美的滿足性質二。

當LD(A,B)=0時，S(A,B)=100%，不過無論LD(A,B)取任何值，S(A,B)＞0，不能滿足性質一。

計算公式二：S(A,B)=1－LD(A,B)/Len(A)

當Len(B)＞Len(A)時，S(A,B)＜0。不滿足性質一。

有人會說，當S(A,B)<0時，強制指定S(A,B)=0就解決問題了。

問題是，S(A,B)=1－LD(A,B)/Len(A)，而S(B,A)=1－LD(B,A)/Len(B)。當Len(A)≠Len(B)時，S(A,B)≠S(B,A)。不滿足性質二

還有一個例子可以說明問題

A="BC"，B="CD"，C="EF"

S(A,B)=1－LD(A,B)/Len(A)=1－2/2=0

S(A,C)=1－LD(A,C)/Len(A)=1－2/2=0

A和B的相似性與A和C的相似性是一樣的。不過很明顯的是B比C更接近A

計算公式三：S(A,B)=LCS(A,B)/Len(A)

這個公式能完美的滿足的性質一

不過當Len(A)≠Len(B)時，S(A,B)≠S(B,A)。不滿足性質二

用一個例子說明問題

A="BC"，B="BCD"，C="BCEF"

S(A,B)=LCS(A,B)/Len(A)=2/2=100%

S(A,C)=LCS(A,C)/Len(A)=2/2=100%

A和B的相似性與A和C的相似性是一樣的。不過很明顯的是B比C更接近A

上面是網上能找到的三個計算公式，從上面的分析來看都有各自的局限性。

我們看一個例子：

A=GGATCGA，B=GAATTCAGTTA，LD(A,B)=5，LCS(A,B)=6

他們的匹配為：

A：GGA_TC_G__A

B：GAATTCAGTTA

可以看出上面藍色的部分表示的是LCS部分，黑色表示的是LD部分。

因此，給出一個新的公式

S(A,B)=LCS(A,B)/(LD(A,B)+LCS(A,B))

這個公式能解決上述三個公式的種種不足。

而LD(A,B)+LCS(A,B)表示兩個字串A、B的首選字串的長度。這個是唯一的。還有注意的是LD(A,B)+LCS(A,B)和Max(Len(A),Len(B))這兩個並不完全相等。

文本比較演算法：計算文本的相似性