雲端搜尋服務在APP搜尋情境的應用

標籤：變化   oom   分表   bm25   free   表達   提高   tar   搜尋結果   

搜尋無處不在，尤其是在移動互聯的今天。無論是社交，電商，還是視頻等APP中，搜尋都已經在其中扮演了重要的角色。作為資訊的入口，搜尋能幫使用者從海量資訊中找到想要的資訊。在APP搜尋的典型情境如下：

● 尋找使用者：根據輸入匹配使用者暱稱，依據使用者屬性對搜尋結果進行排序；

● 搜尋話題：根據使用者輸入匹配話題，依據話題屬性對搜尋結果排序；

● 搜尋文章：根據使用者輸入匹配文章內容，依據內容屬性對搜尋結果排序；

● 按照地理位置搜尋或推薦：根據使用者輸入地址資訊，轉換為經緯度，在一定距離範圍內匹配話題、內容中的地址資訊，依據它們的屬性對搜尋結果排序。

事實上，儘管搜尋的概念深入人心，但做好一個體驗絕佳的搜尋服務並不是一件容易的事。在效能和搜尋精度等細節上，都存在不可忽略的痛點，而這些往往又是提升搜尋體驗的關鍵。客戶痛點如下：

● 基於資料庫的效能問題：

? 資料一般都是分庫分表格儲存體在MySql資料庫中，搜尋時存在關聯操作，查詢效率很低；

? 資料庫的查詢效能很難做到毫秒級，使用者搜尋體驗十分不好。

●基於資料庫的匹配問題：

?資料庫中，無法做到綜合考慮查詢條件的屬性後排序；

? 資料庫中無法過濾一些特殊字元，搜尋過程中如果使用者暱稱中有特殊字元，就會不準確。

● 基於開源搜尋引擎Elasticsearch的問題：

? 預設的BM25相關性打分排序無法確保搜尋結果的合理性；

? 簡單的分詞器對特殊字元處理不當。

舉個例子：搜尋使用者“大海”時為什麼大V使用者“kkw眼中de星辰大海”排在了“尋找那片大海”後面？

對於想要搭建APP搜尋的客戶來講，從技術層面出發，實現方案如下。雲端搜尋服務是基於Elasticsearch，能夠在毫秒級完成TB級檢索任務並返回結果，能夠很好解決傳統資料庫的效能問題。

▽ 整體實現方案

在雲端搜尋服務中，我們針對客戶的搜尋痛點，做了如下最佳化，協助客戶增強使用者體驗，提升效率，快速實現業務增長。

雲端搜尋服務中搜尋方案最佳化：

● 支援自訂詞庫，使用者在詞庫中添加熱搜詞、關鍵詞、網路常用詞等來提高搜尋輸入的匹配精度；

● 支援自訂權重，使用者可以根據業務定義不同查詢條件的權重，來決定最終結果的排序；

● 支援越搜越准(規劃)，雲端搜尋服務根據對搜尋結果的點擊行為，自動更新屬性權重，達到最終結果排序更精準的效果。

在雲端搜尋服務中，我們額外提供關於分詞和詞庫的解決方案，協助客戶解決搜尋精準度等問題。

雲端搜尋服務分詞、詞庫方案：

● 因為使用者暱稱和內容、話題表達的含義不同，針對不同欄位可以採取不同的分詞器，以便於提升匹配精準度。具體作用見下表所示：

● 採取使用簡繁體分詞器，還可以支援所有可搜尋欄位都能處理繁體字；

● 對於熱搜詞、關鍵詞、網路常用詞，經常隨時間變化，因此，我們採取使用者自訂詞庫的方式更新，來提高搜尋精準度。

總體而言，雲端搜尋服務在互連網APP的搜尋情境有如下的優勢：

● 一鍵化操作，無憂營運

所有主要操作都是一鍵可達，專業團隊貼身營運，快速實現搭建搜尋功能模組；

● 靈活彈性

按需申請，線上擴容，輕鬆滿足業務增長需求；

● 靈活詞庫管理

支援自訂詞庫與拼音分詞，支援詞庫熱更新，無需重啟，配置即生效，對終端使用者無影響；

● 靈活分詞、靈活權重

不同欄位使用不同的分詞方式，提高搜尋準確率。不同條件設定不同權重，提高搜尋精準度；

● 高效即時檢索

毫秒級檢索結果返回，新資料入庫後，即刻能被檢索到，提供良好的使用者體驗。

雲端搜尋服務在APP搜尋情境的應用