搜尋引擎學習資源收集[轉帖]

 

搜尋引擎學習資源收集[轉帖]http://www.zhihere.com/bbs/dispbbs.asp?boardid=8&id=630   一、搜尋引擎技術/動態資源 <一>、綜合類 1、盧亮的搜尋引擎研究    [URL=http://www.wespoke.com/][/URL]http://www.wespoke.com/ 盧亮屬於搜尋引擎開發上的專家，以前開發過一個搜尋引擎"博索"([URL=http://booso.com/][/URL]http://booso.com/),好像現在已經停止開發了，目前他服務於部落格網。在他的這個blog上可以瞭解許多搜尋引擎開發的技術和經驗，值得持續關注。 2、laolu/'blog   有不少來自國外的關於搜尋引擎方面的資料，偏重於資料和數字 3、哈斯日誌 [URL=http://www.loverty.org/][/URL]http://www.loverty.org/ 在這裡可以看到國內外幾大搜尋引擎的最新動向，值得關注搜尋發展形勢的人多看看 4、北京奕天銳新科技有限公司   [URL=http://www.21cnbj.com/][/URL]http://www.21cnbj.com/ 搜尋引擎、SEO、SEM等行業新聞動態 5、中文搜尋引擎指南網     [URL=http://www.sowang.com/][/URL]http://www.sowang.com/ 搜尋引擎最新動向，各種搜尋技巧、方法 6、中文全文檢索索引網     [URL=http://www.fullsearcher.com/][/URL]http://www.fullsearcher.com/ FullSearcher.Com是有兩個對搜尋愛好的年輕人創辦，我們的目標是讓中文互連網全面進入搜尋時代，讓搜尋無處不在。通過搜尋改變人們的生活。   FullSearcher提供全文檢索索引的相關知識、垂直搜尋引擎知識、搜尋的相關新聞等搜尋相關內容。 <二>、Google動態 Google官方部落格：Google 黑板報   [URL=http://googlechinablog.com/][/URL]http://googlechinablog.com/                             Google 中國的部落格網誌，走近我們的產品、技術和文化   1、Gfans   [URL=http://gfans.org/][/URL]http://gfans.org/     一群Google的粉絲 這裡沒有 PageRank，沒有 HillTop，沒有 SEO。如果 Google 是龍井，我希望這裡便是虎跑，去化開那馥鬱如蘭之香。觀於滄海者難為水，搜於 Google 者難為言，Google 已不只是文化，他是我的信仰。 本站文章約法三章：  不討論 SEO 及相關；  不得無聊轉載；  嚴禁侮辱百度。 2、幻滅的麥克風   [URL=http://www.kenwong.cn/][/URL]www.kenwong.cn   Google天地 3、google 觀察 [URL=http://blog.donews.com/googleview/][/URL]http://blog.donews.com/googleview/ <二>、其他搜尋引擎動態 1、雅虎搜尋日誌  [URL=http://ysearchblog.cn/][/URL]http://ysearchblog.cn/ 記錄雅虎搜尋引擎的動態、產品、技術等 二、搜尋引擎代碼資源 一>、搜尋引擎/網路蜘蛛程式碼 國外開發的相關程式 1、Nutch 官方網站 [URL=http://www.nutch.org/][/URL]http://www.nutch.org/ 中文網站 [URL=http://www.nutchchina.com/][/URL]http://www.nutchchina.com/ 最新版本：Nutch 0.7.2 Released Nutch 是一個開源Java 實現的搜尋引擎。它提供了我們運行自己的搜尋引擎所需的全部工具，可以建立自己內部網的搜尋引擎，也可以針對整個網路建立搜尋引擎。自由(Free)而免費(Free)。 2、Lucene [B][/B]  官方網站  [URL=http://lucene.apache.org/][/URL]http://lucene.apache.org 中文網站  [URL=http://www.lucene.com.cn/][/URL]http://www.lucene.com.cn/ Lucene 是apache軟體基金會 jakarta項目組的一個子項目，是一個開放原始碼的全文檢索索引引擎工具包[用Java寫的]，即它不是一個完整的全文檢索索引引擎，而是一個全文檢索索引引擎的架構，提供了完整的查詢引擎和索引引擎，部分文本分析引擎（英文與德文兩種西方語言）。Lucene的目的是為軟體開發人員提供一個簡單易用的工具包，以方便的在目標系統中實現全文檢索索引的功能，或者是以此為基礎建立起完整的全文檢索索引引擎。 3、Larbin: [URL=http://larbin.sourceforge.net/index-eng.html][/URL]http://larbin.sourceforge.net/index-eng.html larbin是一種開源的網路爬蟲/網路蜘蛛，由法國的年輕人 Sébastien Ailleret獨立開發。larbin目的是能夠跟蹤頁面的url進行擴充的抓取，最後為搜尋引擎提供廣泛的資料來源。 國內開發的相關程式 1、SQLET - 開放源碼的中文搜尋引擎    官方網站 [URL=http://www.sqlet.com/][/URL]http://www.sqlet.com/ SQLET，是Search & Query &Link, 加尾碼 let，表示小的，小型的意思.打算建立一個能搜上億張網頁的基於主題功能的中文搜尋引擎.支援3種索引方式：MySql_table_Index， Lucene_Index，SQLET_Index.網頁抓取可以儲存在檔案系統及資料庫裡。內建WebServer. 2、菲度垂直搜尋引擎代碼  菲度[URL=http://www.faydu.net/][/URL]http://www.faydu.net 為一個垂直線上搜尋的示範版，主要對國內一些購物網站進行搜尋整理， 現在開源測試版本的代碼，供大家討論。下載說明： 1》因為本程式是在伺服器上運行，是在多個處理器下啟動並執行，個人電腦上請控制線程數量 2》包含一個data 的資料庫 還原到sql server  3》收集完畢預設在bin目錄有licene產生的反排的索引檔案  4》：[URL=http://www.faydu.net/download/code.rar][/URL]http://www.faydu.net/download/code.rar 開放日期：2006-4-18   來源:http://blog.csdn.net/faydu/archive/2006/04/18/667997.aspx 語言：VB.net(c#) 二>、中文分詞程式碼 1、計算所漢語詞法分析系統 ICTCLAS 中國科學院計算技術研究所在多年研究基礎上，耗時一年研製出了基於多層隱馬模型的漢語詞法分析系統 ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，該系統的功能有：中文分詞；詞性標註；未登入詞識別。分詞正確率高達97.58%(最近的973專家組評測結果)，基於角色標註的未登入詞識別能取得高於90%召回率，其中中國人名的識別召回率接近98%，分詞和詞性標註處理速度為31.5KB/s。ICTCLAS 和計算所其他14項免費發布的成果被中外媒體廣泛地報道，國內很多免費的中文分詞模組都或多或少的參考過ICTCLAS的代碼。 下載頁面：[URL=http://www.nlp.org.cn/project/project.php?proj_id=6][/URL]http://www.nlp.org.cn/project/project.php?proj_id=6 由於 ICTCLAS 是由 C 語言寫成的，現在主流的開發工具用起來不太方便，於是有一些熱心的程式員把 ICTCLAS 改為 Java 和 C# 等其他語言。 （1）fenci，Java 的 ICTCLAS，下載頁面：[URL=http://www.xml.org.cn/printpage.asp?BoardID=2&id=11502][/URL]http://www.xml.org.cn/printpage.asp?BoardID=2&id=11502 （2）AutoSplit，另一個 Java 的 ICTCLAS，已經找不到下載頁面，點擊本地下載 （3）小叮咚中文分詞，曾經有下載頁面，現在找不到了。據作者介紹，從 ICTCLAS 中改進，有 Java，C# 和 C++ 三個版本，介紹頁面：[URL=http://www.donews.net/accesine][/URL]http://www.donews.net/accesine 2、海量智能分詞研究版 海量智能計算技術研究中心為了使中文資訊處理領域的研究者們能夠共同分享海量智能中心的研究成果，共同提高中文資訊處理水平，特此發布《海量智能分詞研究版》，供專家、學者和愛好者進行研究。 下載頁面：[URL=http://www.hylanda.com/cgi-bin/download/download.asp?id=8][/URL]http://www.hylanda.com/cgi-bin/download/download.asp?id=8 3、其他 （1）CSW中文智能分片語件 運行環境：Windows NT、2000、XP 或更高，可以在 ASP，VB 等微軟的開發語言中調用。 簡介: CSW中文智能分詞DLL組件，可將一段文本自動的按常規漢語片語進行拆分,並以指定方式進行分隔，且可對其拆分後的片語進行語義、詞頻標註。其廣範應用於各行各業的資訊資料檢索、分析。 下載頁面：[URL=http://www.vgoogle.net/][/URL]http://www.vgoogle.net/ （2） C# 寫的中文分片語件 據作者介紹，一個 DLL 檔案，可以做中英文分片語件。完全C#Managed 程式碼編寫，獨立開發。 下載頁面：[URL=http://www.rainsts.net/article.asp?id=48][/URL]http://www.rainsts.net/article.asp?id=48 三>、開源spider一覽 spider是搜尋引擎的必須模組.spider資料的結果直接影響到搜尋引擎的評價指標. 第一個spider程式由MIT的Matthew K Gray操刀該程式的目的是為了統計互連網中主機的數目 Spier定義(關於Spider的定義,有廣義和狹義兩種). 狹義:利用標準的http協議根據超鏈和web文檔檢索的方法遍曆全球資訊網資訊空間的軟體程式.  廣義:所有能利用http協議檢索web文檔的軟體都稱之為spider.  其中Protocol Gives Sites Way To Keep Out The /'Bots Jeremy Carl, Web Week, Volume 1, Issue 7, November 1995 是和spider息息相關的協議,大家有興趣參考robotstxt.org. Heritrix  Heritrix is the Internet Archive/'s open-source, extensible, web-scale, archival-quality web crawler project. Heritrix (sometimes spelled heretrix, or misspelled or missaid as heratrix/heritix/ heretix/heratix) is an archaic word for heiress (woman who inherits). Since our crawler seeks to collect and preserve the digital artifacts of our culture for the benefit of future researchers and generations, this name seemed apt. 語言:JAVA, () WebLech URL Spider    WebLech is a fully featured web site download/mirror tool in Java, which supports many features required to download websites and emulate standard web-browser behaviour as much as possible. WebLech is multithreaded and comes with a GUI console.  語言:JAVA, () JSpider A Java implementation of a flexible and extensible web spider engine. Optional modules allow functionality to be added (searching dead links, testing the performance and scalability of a site, creating a sitemap, etc ..  語言:JAVA, () WebSPHINX  WebSPHINX is a web crawler (robot, spider) Java class library, originally developed by Robert Miller of Carnegie Mellon University. Multithreaded, tollerant HTML parsing, URL filtering and page classification, pattern matching, mirroring, and more.  語言:JAVA, () PySolitaire  PySolitaire is a fork of PySol Solitaire that runs correctly on Windows and has a nice clean installer. PySolitaire (Python Solitaire) is a collection of more than 300 solitaire and Mahjongg games like Klondike and Spider.  語言:Python , () The Spider Web Network Xoops Mod Team      The Spider Web Network Xoops Module Team provides modules for the Xoops community written in the PHP coding language. We develop mods and or take existing php script and port it into the Xoops format. High quality mods is our goal.  語言:php , () Fetchgals  A multi-threaded web spider that finds free porn thumbnail galleries by visiting a list of known TGPs (Thumbnail Gallery Posts). It optionally downloads the located pictures and movies. TGP list is included. Public domain perl script running on Linux.    語言:perl , () Where Spider    The purpose of the Where Spider software is to provide a database system for storing URL addresses. The software is used for both ripping links and browsing them offline. The software uses a pure XML database which is easy to export and import.  語言:XML , () [B][/B]Sperowider Sperowider Website Archiving Suite is a set of Java applications, the primary purpose of which is to spider dynamic websites, and to create static distributable archives with a full text search index usable by an associated Java applet.  語言:Java , () SpiderPy SpiderPy is a web crawling spider program written in Python that allows users to collect files and search web sites through a configurable interface.  語言:Python , () [B][/B]Spidered Data Retrieval Spider is a complete standalone Java application designed to easily integrate varied datasources. * XML driven framework * Scheduled pulling * Highly extensible * Provides hooks for custom post-processing and configuration  語言:Java , () [B][/B]webloupe WebLoupe is a java-based tool for analysis, interactive visualization (sitemap), and exploration of the information architecture and specific properties of local or publicly accessible websites. Based on web spider (or web crawler) technology.  語言:java , () ASpider Robust featureful multi-threaded CLI web spider using apache commons httpclient v3.0 written in java. ASpider downloads any files matching your given mime-types from a website. Tries to reg.exp. match emails by default, logging all results using log4j.  語言:java , () larbin  Larbin is an HTTP Web crawler with an easy interface that runs under Linux. It can fetch more than 5 million pages a day on a standard PC (with a good network).  語言:C++, () 三、SEO相關資源   1、網域名稱資訊查詢 　   ★ 查詢國際頂級網域名稱的資訊(.aero, .arpa, .biz, .com, .coop, .edu, .info, .int, .museum, .net, .org)，可以通過ICANN授權的網域名稱註冊商來查詢，也可以直接到INTERNIC網站查詢，網址是 　　[URL=http://www.internic.com/whois.html][/URL]http://www.internic.com/whois.html        [URL=http://www.iwhois.com/][/URL]http://www.iwhois.com/ 　　★ 查詢全球各個地理頂級網域名稱是否已經被註冊可以到下列網址查詢（其中也包括國內網域名稱.cn）： 　　[URL=http://www.uwhois.com/cgi/domains.cgi?User=NoAds][/URL]http://www.uwhois.com/cgi/domains.cgi?User=NoAds 　　★ 查詢國內網域名稱的註冊情況， 　　[URL=http://ewhois.cnnic.net.cn/index.jsp][/URL]http://ewhois.cnnic.net.cn/index.jsp         ★ 萬網的網域名稱註冊資訊查詢         [URL=http://www.net.cn/][/URL]http://www.net.cn/        ★ IP地址查詢、網域名稱註冊資訊Whois查詢        [URL=http://ip.zahuopu.com/][/URL]http://ip.zahuopu.com/   2、alexa相關與搜尋熱門排行榜     ★ 中文排名500強      [URL=http://www.alexa.com/site/ds/top_sites?ts_mode=lang&lang=zh_gb2312][/URL]http://www.alexa.com/site/ds/top_sites?ts_mode=lang&lang=zh_gb2312      ★ Google Zeitgeist--Google搜尋熱門排行榜      [URL=http://www.google.com/press/intl-zeitgeist.html#cn][/URL]http://www.google.com/press/intl-zeitgeist.html#cn     ★ 百度中文搜尋風雲榜      [URL=http://top.baidu.com/][/URL]http://top.baidu.com/    ★ 雅虎搜尋熱門排行榜     [URL=http://misc.yahoo.com.cn/top_index.html][/URL]http://misc.yahoo.com.cn/top_index.html    ★ 搜狗搜尋指數    [URL=http://www.sogou.com/top/][/URL]http://www.sogou.com/top/   3、搜尋關鍵詞查詢    ★  google關鍵字查詢   https://adwords.google.com/select/KeywordSandbox     ★ 百度關鍵字查詢   [URL=http://www2.baidu.com/inquire/dsquery.php][/URL]http://www2.baidu.com/inquire/dsquery.php     ★ 搜狐關鍵詞   [URL=http://db.sohu.com/regurl/pv_price/query_consumer.asp][/URL]http://db.sohu.com/regurl/pv_price/query_consumer.asp    4、seo項目/工具   ★網頁品質    [URL=http://category.booso.com/cgi-bin/category/category.cgi][/URL]http://category.booso.com/cgi-bin/category/category.cgi   ★關鍵詞密度   [URL=http://www.21ql.com/seo/keyword.asp][/URL]http://www.21ql.com/seo/keyword.asp    ★搜尋引擎蜘蛛模擬器  [URL=http://www.webconfs.com/search-engine-spider-simulator.php][/URL]http://www.webconfs.com/search-engine-spider-simulator.php    ★Google Dance查詢工具：[URL=http://www.google-dance-tool.com/][/URL]http://www.google-dance-tool.com/    5、seo網站   英文網站：   搜尋觀察  [URL=http://www.searchenginewatch.com/][/URL]http://www.searchenginewatch.com/    seochat   [URL=http://www.seochat.com/][/URL]http://www.seochat.com    中文網站 1>美國尚奇公司 [URL=http://www.zunch.cn/][/URL]http://www.zunch.cn 全球領先的網站設計和搜尋引擎最佳化服務公司 ,目前中國區負責人為--柳煥斌 尚奇部落格社區  blog.zunch.cn  在這裡可以擷取最新的SEO行業資訊   2>搜尋引擎最佳化交流中心      [URL=http://www.seoonline.cn/][/URL]http://www.seoonline.cn  SEO從業者網站 1>尚奇中國區負責人為--柳煥斌  [URL=http://blog.zunch.cn/category/robinliu/][/URL]http://blog.zunch.cn/category/robinliu/ 2>seo專業人士--bianyue      [URL=http://www.bianyue.com/][/URL]http://www.bianyue.com/ 四、各大搜尋引擎公司相關資料 1、連絡方式 Google  [URL=http://www.google.com/intl/zh-CN/contact.html][/URL]http://www.google.com/intl/zh-CN/contact.html  公司總部 1600 Amphitheatre Parkway Mountain View, CA 94043 USA phone: (650) 253-0000 fax: (650) 253-0001 電子郵件：chinese_s@google.com    百度 [URL=http://d.baidu.com/contact/index.html][/URL]http://d.baidu.com/contact/index.html  電話 （010）82621188  傳真 （010）82607007 82607008  E-mail webmaster@baidu.com  地址 北京市北四環西路58號烏托邦際大廈12層  郵編 100080     雅虎/一搜 [URL=http://cn.yahoo.com/docs/sales/040203_contact.htm][/URL]http://cn.yahoo.com/docs/sales/040203_contact.htm  總機：010-65811221 地址：北京市朝陽區光華東路和喬大廈B座5層雅虎中國搜尋事業部  郵編：100026 傳真：010-65812440 線上問題提交：[URL=http://www.yisou.com/search_feedback.html][/URL]http://www.yisou.com/search_feedback.html    中國搜尋 [URL=http://www.zhongsou.com/kefu/kfzs.htm][/URL]http://www.zhongsou.com/kefu/kfzs.htm  地址：北京市西直門北大街42號華星大廈a座15.16層 郵編：100088 總機:010-62266296 傳真: 010-82211302    搜狐搜尋 [URL=http://www.sohu.com/about/lianxi.htm][/URL]http://www.sohu.com/about/lianxi.htm 地址：北京市海澱區中關村東路1號清華科技園9號威新國際大廈10層  郵編: 100084  電話： 86-10-62726666 傳真： 86-10-62728300     新浪搜尋 [URL=http://ads.sina.com.cn/contact.html][/URL]http://ads.sina.com.cn/contact.html  北京市北四環西路58號烏托邦際大廈20層 郵編：100080 Tel：(86-10)82628888 Fax：(86-10)82607166 搜尋引擎諮詢電話:010-82628888轉6688 搜尋引擎聯絡信箱 searchcn@staff.sina.com.cn    網易搜尋 [URL=http://so.163.com/contactus.shtml][/URL]http://so.163.com/contactus.shtml  北京市東城區東長安街1號東方廣場東方經貿城東三辦公樓1901室 郵編/Zip：100738 網易搜尋引擎客服熱線： 電話：010-82110163-8350、8121、8136 E-mail：adp_complaint@service.netease.com