C# SEO整合系列之字串相似性演算法——Levenshtein Distance method

來源:互聯網
上載者:User

轉自:http://www.lingdonge.com/seo/672.html

字串相似性演算法又叫編輯距離演算法 Levenshtein Distance),

就評判2個字串之間相似程度的一個東西,平時在搜尋引擎和驗證碼識別中用處特別明顯。

比如我們用採集來處理文章。可以拿關鍵詞去做相似性判斷,找到最匹配程度高的文章來採集。等等都可以使用這種演算法。

下面轉自其它博文

編輯距離,又稱Levenshtein距離(也叫做Edit Distance),是指兩個字串之間,由一個轉成另一個所需的最少編輯操作次數,如果它們的距離越大,說明它們越是不同。許可的編輯操作包括將一個字元替換成另一個字元,插入一個字元,刪除一個字元。

例如將kitten一字轉成sitting:

sitten (k→s)

sittin (e→i)

sitting (→g)

俄羅斯科學家Vladimir Levenshtein在1965年提出這個概念。因此也叫Levenshtein Distance。

例如

  • 如果str1="ivan",str2="ivan",那麼經過計算後等於 0。沒有經過轉換。相似性=1-0/Math.Max(str1.length,str2.length)=1
  • 如果str1="ivan1",str2="ivan2",那麼經過計算後等於1。str1的"1"轉換"2",轉換了一個字元,所以距離是1,相似性=1-1/Math.Max(str1.length,str2.length)=0.8

應用

DNA分析

拼字檢查

語音辨識

抄襲偵測

小規模的字串近似搜尋,需求類似於搜尋引擎中輸入關鍵字,出現類似的結果清單

演算法過程

  1. str1或str2的長度為0返回另一個字串的長度。 if(str1.length==0) return str2.length; if(str2.length==0) return str1.length;
  2. 初始化(n+1)*(m+1)的矩陣d,並讓第一行和列的值從0開始增長。
  3. 掃描兩字串(n*m級的),如果:str1[i] == str2[j],用temp記錄它,為0。否則temp記為1。然後在矩陣d[i,j]賦於d[i-1,j]+1 、d[i,j-1]+1、d[i-1,j-1]+temp三者的最小值。
  4. 掃描完後,返回矩陣的最後一個值d[n][m]即是它們的距離。

計算相似性公式:1-它們的距離/兩個字串長度的最大值。

為了直觀表現,我將兩個字串分別寫到行和列中,實際計算中不需要。我們用字串“ivan1”和“ivan2”舉例來看看矩陣中值的狀況:

1、第一行和第一列的值從0開始增長

2、i列值的產生 Matrix[i - 1, j] + 1 ; Matrix[i, j - 1] + 1 ; Matrix[i - 1, j - 1] + t

3、V列值的產生

依次類推直到矩陣全部產生

最後得到它們的距離=1

相似性:1-1/Math.Max(“ivan1”.length,“ivan2”.length) =0.8

下面貼出核心類庫:

    public class LevenshteinDistance    {        private static LevenshteinDistance _instance = null;        public static LevenshteinDistance Instance        {            get            {                if (_instance == null)                {                    return new LevenshteinDistance();                }                return _instance;            }        }        /// <summary>        /// 取最小的一位元        /// </summary>        /// <param name=”first”></param>        /// <param name=”second”></param>        /// <param name=”third”></param>        /// <returns></returns>        public int LowerOfThree(int first, int second, int third)        {            int min = Math.Min(first, second);            return Math.Min(min, third);        }        /// <summary>        ///         /// </summary>        /// <param name="str1"></param>        /// <param name="str2"></param>        /// <returns></returns>        public int Levenshtein_Distance(string str1, string str2)        {            int[,] Matrix;            int n = str1.Length;            int m = str2.Length;            int temp = 0;            char ch1;            char ch2;            int i = 0;            int j = 0;            if (n == 0)            {                return m;            }            if (m == 0)            {                return n;            }            Matrix = new int[n + 1, m + 1];            for (i = 0; i <= n; i++)            {                //初始化第一列                Matrix[i, 0] = i;            }            for (j = 0; j <= m; j++)            {                //初始化第一行                Matrix[0, j] = j;            }            for (i = 1; i <= n; i++)            {                ch1 = str1[i - 1];                for (j = 1; j <= m; j++)                {                    ch2 = str2[j - 1];                    if (ch1.Equals(ch2))                    {                        temp = 0;                    }                    else                    {                        temp = 1;                    }                    Matrix[i, j] = LowerOfThree(Matrix[i - 1, j] + 1, Matrix[i, j - 1] + 1, Matrix[i - 1, j - 1] + temp);                }            }            for (i = 0; i <= n; i++)            {                for (j = 0; j <= m; j++)                {                    Console.Write(" {0} ", Matrix[i, j]);                }                Console.WriteLine("");            }            return Matrix[n, m];        }        /// <summary>        /// 計算字串相似性        /// </summary>        /// <param name=”str1″></param>        /// <param name=”str2″></param>        /// <returns></returns>        public decimal LevenshteinDistancePercent(string str1, string str2)        {            int val = Levenshtein_Distance(str1, str2);            return 1 - (decimal)val / Math.Max(str1.Length, str2.Length);        }    }

演算法其實挺簡單的。

調用方法如下:

static void Main(string[] args)        {            string str1 = "ivan1";            string str2 = "ivan2";            Console.WriteLine("字串1 {0}", str1);            Console.WriteLine("字串2 {0}", str2);            Console.WriteLine("相似性 {0} %", new LevenshteinDistance().LevenshteinDistancePercent(str1, str2) * 100);            Console.ReadLine();        }

成都SEO小五認為。我們從核心根本上去研讀百度及其它搜尋搜尋常用的一些演算法知識,對於瞭解搜尋引擎的運作和做出合理的SEO關鍵詞方案這些都有大大的好處。

成都SEO小五嚎2句: 本文是(成都SEO小五)辛苦弄出來的,轉載成都SEO小五原創的請保留連結:C# SEO整合系列之字串相似性演算法,3Q

 

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.