談搜尋結構描述師的不同階段

原文引自:http://blog.csdn.net/soso_blog/archive/2010/07/01/5706555.aspx

搜尋技術的應用越來越廣，掌握搜尋技術或者針對搜尋技術有瞭解的人也越來越多。最近接觸了不少搜尋人才，從對搜尋的瞭解程度來講，大體分為幾種不同的階段。

    第一個階段是使用開源的單機搜尋系統（最常見的是lucene），在其之上加入broker和Cache，在其之上在構造應用。這個階段一般對lucene的工作原理以及基本的搜尋原理會略有瞭解，甚至還是有不少看過lucene的源碼的。這也是大多數人接觸搜尋引擎的最方便和最常見的方式。但是這種系統一般只適用於較少量資料（千萬級），其並發效能一般也只能達到百萬級。好處是開發週期短，這一類的人才在市場上也容易找到，再加上一些好的idea，簡單的資料採礦方法（分類、聚類、協同過濾、使用者行為分析等）就可以很快做出原型系統，滿足一些小公司的前期創業階段的技術要求。

    第二個階段是自行開發的垂直領域內的搜尋，這個階段一般資料量會達到上億或者幾億，如果用開源系統，其性價比已經不能滿足要求，需要的伺服器會超出承受能力，所以就會進行自己開發搜尋系統，這種系統大都是針對記憶體的系統。這個階段的人才會對搜尋引擎的原理有較深的理解，可以自行開發簡單的搜尋應用。這類人才有很多是從第一個階段發展過來的，他們會對搜尋的各個方面都有所瞭解，包括切詞、索引的建立、更新、應用的搭建、broker系統、cache系統、簡單的排序策略等等。對於大部分搜尋系統來講，這部分人才都可以完成對系統設計和開發。

前兩個階段，其資料來源一般也是定向的抓取，基於模板的內容分析抽取，對服務的穩定性要求也沒有那麼高，更新無法做到無縫更新。

    第三個階段是針對網頁搜尋（通用搜尋）的人才，這個階段的人才比較少，針對整個網頁搜尋都有瞭解的人就更少了。主要集中於百度、Google、搜狗等大的搜尋公司。

瞭解通用搜尋的人主要集中於大型的搜尋公司，有以下幾個原因：一是其它公司很難有做網頁搜尋的實力，也就很難有這種工作經曆。沒有經曆過這樣的挑戰就很難想像出其中的難度。二是即使有做過，但是很難拿到使用者的反饋，而缺乏使用者反饋資料，網頁搜尋引擎就象缺了一條腿。三是做網頁搜尋的人一般比較多，包括百度、Google等公司，大部分人也只能從事網頁搜尋中較小的一個部分，針對網頁搜尋整體瞭解和思考都是比較少的。

    這個階段的人才會對通用搜尋遇到的挑戰有一定的解決能力。包括如何能夠在有限的資源內做到儘快的返回使用者的結果（效能指標），如何做到第一時間更新互連網的熱點並且能夠展示到使用者面前（時新性指標），如何能夠儘可能多的收錄互連網的有用頁面（覆蓋率指標），如何能夠把使用者最感興趣的結果放到最前面（相關性指標），還有很多使用者可用性、以及顯相關的指標。這些是評價通用搜尋的最主要的指標，每個指標都會有很大的挑戰。這個階段的人才一般最少會對其中的部分指標有自己解決的辦法。

    第四個階段是對網頁搜尋系統的設計能力和架構能力都很強的人才，他們會針對搜尋系統的除暴露給使用者的表現部分有很深的理解和自己的解決方案外，還包括跨機房解決方案，基礎儲存運算在搜尋中的應用，高可用和靈活性的相關性實驗支援，高效靈活的資料採礦平台、介面及解決方案，系統的高度可擴充性和柔性服務能力等。這類人才在市場上鳳毛麟角，大家都在爭取。

 

上述是從事搜尋十餘年總結的一點經驗，歡迎大家一起探討。