PHP開發搜尋引擎技術全解析,php開發搜尋引擎
談到網頁搜尋引擎時,很多人都會想到雅虎。的確,雅虎開創了一個互連網絡的搜尋時代。然而,雅虎目前用於搜尋網頁的技術卻並非該公司原先自己開發的。2000年8月,雅虎採用了Google這家由斯坦福大學學生建立的公司的技術。理由非常簡單,Google的搜尋引擎比雅虎先前使用的技術能更快、更準確搜尋到所需要的資訊。
讓我們自己來設計、開發一個強勁、高效的搜尋引擎和資料庫恐怕短時間內在技術、資金等方面是不可能的,不過,既然雅虎都在使用別人的技術,那麼我們是不是也可以使用別人現成的搜尋引擎網站呢?
剖析編程思路
我們可以這樣設想:類比一個查詢,向某個搜尋引擎網站發出相應格式的搜尋命令,然後傳回搜尋結果,對結果的HTML代碼進行分析,剝離多餘的字元和代碼,最後按所需要的格式顯示在我們自己的網站頁面裡。
這樣,問題的關鍵就在於,我們要選定一個搜尋資訊準確(這樣我們的搜尋才會更有意義啊)、速度快(因為我們分析搜尋結果並顯示需要額外的時間),搜尋結果簡潔(便於進行HTML原始碼分析和剝離)的搜尋網站,由於新一代搜尋引擎Google的各種優良特性,這裡我們選擇它為例,來看看用PHP怎樣實現後台對Google搜尋、前台個人化顯示這一過程。
我們先來看看Google的查詢命令的構成。進入Google網站,在查詢欄中輸入“abcd”,點擊查詢按鈕,我們可以發現瀏覽器的地址欄變成:"http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr= ",可見,Google是通過表單的get方式來傳遞查詢參數並遞交查詢命令的。我們可以使用PHP中的file()函數來類比這個查詢過程。
瞭解File( ) 函數
文法: array file(string filename);
傳回值為數組,將檔案全部讀入陣列變數中。這裡的檔案可以是本地的,也可以是遠端,遠程檔案必須指明所使用的協議。例如: result=file(“http://www.google.com/search?q=a ... mp;hl=zh-CN&lr= ”),該語句將類比我們在Google上查詢單詞“abcd”的過程,並將搜尋結果以每行為元素,傳回到陣列變數 result中。因為這裡讀取的檔案是遠端,所以協議名“http://”不能缺少。
如果要讓使用者輸入搜尋字元進行任意搜尋,我們可以做一個輸入文字框和提交按鈕,並將上文中的被搜尋字元“abcd”用變數替換:
echo '
'; file://沒有參數的form,預設提交方式為get,提交到本身
echo '; file://構造一個文本輸入框
echo '; file://構造一個提交查詢按鈕
echo '
';
if (isset( keywords)) file://提交後PHP會產生變數 kwywords,即要求下面的程式在提交後運行
{
urlencode( keywords); file://對使用者輸入內容進行URL編碼
result=file("http://www.google.com/search?q=". keywords."&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=");
file://對查詢語句進行變數替換,將查詢結果儲存在陣列變數 result中
result_string=join(" ", result); file://將數組$result合并成字串,各數組元素之間用空格粘和
... file://進一步處理
}
?﹥
上面的這段程式已經能按使用者輸入內容進行查詢,並將返回的結果合成一個字串變數$result_string。請注意要使用urlencode()函數將使用者輸入內容進行URL編碼,才可以正常地對輸入的漢字、空格以及其他特殊字元進行查詢,這樣做也是儘可能逼真地類比Google的查詢命令,保證搜尋結果的正確性。
對Google的分析
為了便於理解,現在假設我們所真正需要的東西是:搜尋結果的標題。網址和簡介等,這是一個簡潔而典型的需求。這樣,我們所要做的便是:去除Google搜尋結果的台頭和腳註,包括一個Google的標誌、再次搜尋的輸入框和搜尋結果說明等,並且在剩餘的搜尋結果各項條目中剝離原來的HTML格式標記,替換成我們想要的格式。
要做到這一點,我們必須仔細地分析Google搜尋結果的HTML源碼,找到其中的規律。不難發現,在Google的搜尋結果的本文總是包含在源碼的第一個
標記和倒數第二個
標記之間,並且倒數第二個
標記後緊跟table字元,而且這個組合“
以下所有程式均依次接續在上文程式的“進一步處理”處。
result_string = strstr( result_string, " ");
file://取 result_string從第一個開始後的字串,以去除Google台頭
position= strpos( result_string," table符號的位置
result_string= substr( result_string,0, position);//截取第一個table符號之前的字串,以去除腳註
應用與實現
現在我們已經得到有用的HTML源碼主幹了,剩下的問題是如何自主地顯示這些內容。我們再分析一下這些搜尋結果條目,發現每個條目之間也是很有規律的用分隔,也就是各成一個段落,按這個特點我們用explode()函數把每個條目切開:
文法:explode(string separator, string string);
返回一個數組,按separator切開後的各個小字串被儲存在數組中。
於是:
result_array=explode(" ", result_string); file://用字串" "把結果切開
我們就得到一個數組 result_array,其中每個元素都是一個搜尋結果條目。我們所要做的僅僅是研究每個條目及其HTML顯示格式代碼,然後按要求替換就行了。下面用迴圈來處理 result_array中的每個條目。
for( i=0; i {
... file://處理每個條目
}
對於每個條目,我們也很容易找到一些特點:每個條目都由標題、摘要、簡介、類別、網址等組成,每個部分都換行,即包含標記,於是再次分割:(以下處理常式放在上文的迴圈中)
every_item=explode(" ", result_array[ i]);
這樣我們得到一個數組 every_item,其中 every_item[0]就是標題, every_item[1]和 every_item[2]兩行為摘要, every_item[3]和 every_item[4]等等的頭部如果包含“簡介:”、“< font size=-1 color=#6f6f6f>類別:< /font>”字元,則是簡介或類別(因為有的結果條目沒有該項),如果頭部包含“< font color=green>”則肯定就是網址啦,這種對比判斷我們常使用Regex(略),如果要替換也很方便,比如包含標題的$every_item[0],其本身是有連結的,我們希望修改這個連結屬性,讓它在新視窗開啟連結:
echo eregi_replace(' {
... file://處理每個條目中除去第一項(第一項為標題,已經顯示)的每一項
... file://更多格式修改
}
這樣就修改了連結屬性,其餘很多顯示格式的修改、剝離、替換都能用正則替換eregi_replace()來完成。
至此我們已經得到了每個搜尋條目的每一項,並能任意修改每項的格式,甚至可以給他套上漂亮的表格。然而一個好的程式應該能適應各種運行環境的,這裡也不例外,我們其實還只是討論了搜尋結果的HTML剝離的一種架構方法,真正要做得完美,還要考慮很多內容,比如要顯示一共搜尋出多少結果,分成多少頁等等,甚至還可以刨除與Google相關的那些“類別”、“簡介”等代碼,讓客戶根本看不到原始網站。不過這些內容和要求我們都能通過分析HTML進行剝離得到。現在大家完全能自己動手,做個極富個人化的搜尋引擎。
用php與asp開發的網站有什不同?
簡單理解就是: ASP技術簡單並且可以實現網站建設的絕大部分需求,工程塑料技術門檻較低,相對應的技術成本也比較低,是目前市場上普下面我開跟您詳細分析一下我的觀點:1、您要搞懂什麼是PHP和ASP?簡單理解就是:ASP技術簡單並且可以實現網站建設的絕大部分需求,工程塑料技術門檻較低,相對應的技術成本也比較低,是目前市場上普遍採用的技術。PHP技術技術門檻稍高一些,技術成本比ASP要高,但隨著PHP應用的逐步深入,目前PHP網站建設成本也已經降低到可以接受的程度。PHP網站建設技術在網站建設行業代替ASP技術是必然的趨勢。2、運行PHP指令碼程式速度非常快,超越了ASP,現在大型的網站基本上是用PHP開發,比如:工商銀行的網站。3、PHP主機大都支援偽靜態技術,而ASP主機基本上不支援這個技術,搜尋引擎就不會認為是模仿站、垃圾站,這點對於網站的工程塑料推廣非常重要。而且網路上的網站大多是ASP網站,PHP開發的網站則少很多,搜尋引擎也是喜新厭舊的,這樣就更加有利於網站的最佳化推廣了,這樣做的網站也就方便企業實現網路營銷,告別傳統行業。4、asp技術很成熟,也很普通,這樣設計師設計起來就很方便,自然成本就低很多,可能一個簡單的網站1-2天設計師就可以搞出來。而PHP開發的網站技術要求比較高,自然難度就比較大,這樣做起來工作量就比較大,所以製作人工成本就比較高。5、採用PHP技術將提供更高品質的網站建設技術,一般會採用DIV+CSS,頁面尺寸可以做到最小,關鍵字密度最高。
PHP引擎程式是什?
你說的是php的搜尋引擎,還是模板引擎。
搜尋引擎比如說PhpDig
是一個採用PHP開發的Web爬蟲和搜尋引擎。通過對動態和靜態頁面進行索引建立一個詞彙表。當搜尋查詢時,它將按一定的定序顯示包含關鍵字的搜尋結果頁面。PhpDig包含一個模板系統並能夠索引PDF,Word,Excel,和PowerPoint文檔。PhpDig包含了三種最基本的搜素引擎技術:Spider技術,網頁結構化資訊抽取技術或中繼資料採集技術,分詞/索引技術。區別於傳統搜尋引擎,PHPdig適用於專業化更強、層次更深的個人化搜尋引擎,利用它打造針對某一領域的垂直搜尋引擎是最好的選擇。
還有很多這樣的開源而且免費的php搜尋引擎:OpenWebSpider、RiSearch PHP
、Sphider、Snoopy、Sphinx、SEO Rank Checker、PHPCrawl、
模板引擎也有很多:
Smarty是一個使用PHP寫出來的模板引擎,是目前業界最著名的PHP模板引擎之一。它分離了邏輯代碼和外在的內容,提供了一種易於管理和使用的方法,用來將原本與HTML代碼混雜在一起PHP代碼邏輯分離。簡單的講,目的就是要使PHP程式員同前端人員分離,使程式員改變程式的邏輯內容不會影響到前端人員的頁面設計,前端人員重新修改頁面不會影響到程式的程式邏輯,這在多人合作的項目中顯的尤為重要。
Heyes Template Class
一個非常容易使用,但功能強大並且快速的模板引擎,它協助你把頁面配置和設計從代碼中分離。
FastTemplate
一個簡單的變數插值模板類,它分析你的模板,把變數的值從HTML代碼中分離處理。
ShellPage
一個簡單易用的類,可以讓你的整個網站布局基於模板檔案,修改模板就能改變整個網站。
STP Simple Template Parser
一個簡單、輕量級並且便於使用的模板分析類。它可以從多個模板中組裝一個頁面,把結果頁面輸出到瀏覽器或者檔案系統。
OO Template Class
一個你可以用在自己程式中的面向兌現的模板類。
SimpleTemplate
一個可以建立和結構化網站的模板引擎。它可以解析和編譯模板。
bTemplate
短小但是快速的模板類,允許你把PHP邏輯代碼從HTML修飾代碼中分離。
Savant
一個強大且輕量級的PEAR相容模板系統。它是非編譯型的,使用PHP語言本身做為它的範本語言。
ETS - easy template system
可以使用完全相同資料重組模板的模板系統。
EasyTemplatePHP
適用於你的網站的一個簡單但是強大的模板系統。
vlibTemplate
一個快速、全能的模板系統,它包含一個緩衝和調試類。
AvanTemplate
多位元組安全的模板引擎,佔用很少系統資源。它支援變數替換,內容塊可以設定顯示或隱藏。
http://www.bkjia.com/PHPjc/891595.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/891595.htmlTechArticlePHP開發搜尋引擎技術全解析,php開發搜尋引擎 談到網頁搜尋引擎時,很多人都會想到雅虎。的確,雅虎開創了一個互連網絡的搜尋時代。然...