第一篇：目前信息檢索系統(tǒng)的優(yōu)缺點(diǎn)

目前信息檢索系統(tǒng)的優(yōu)缺點(diǎn)

摘要

目前，Internet上信息檢索的方式主要分為二種:即非WEB信息檢索方式和WEB信息檢索方式。這兩種檢索方式為人們及時(shí)準(zhǔn)確地檢索網(wǎng)絡(luò)信息提供了極大的方便和可能，尤其WEB信息檢索工具中的搜索引擎，它已成為人們查詢網(wǎng)上信息最重要的檢索工具，幾乎成了網(wǎng)絡(luò)信息檢索工具的代稱，因而本文在論述網(wǎng)絡(luò)信息檢索工具時(shí)以搜索引擎為主要代表。然而目前網(wǎng)絡(luò)信息檢索又面臨一系列的挑戰(zhàn)，如網(wǎng)絡(luò)信息量的迅猛增加，以至人工己經(jīng)無法對它們進(jìn)行有效的分類、索引和利用;簡單的關(guān)鍵詞搜索;返回的信息量過大已經(jīng)讓用戶無法承擔(dān);網(wǎng)絡(luò)信息組織的無序性;網(wǎng)絡(luò)信息日新月異的更變;信息媒體的多樣化等等，這些都給Internet信息的獲取和利用造成了極大的阻礙[1]。

引言

信息檢索系統(tǒng)的研究是伴隨著科學(xué)技術(shù)的發(fā)展和信息數(shù)量的俱增而興起的，是指信息用戶為處理解決各種問題而查找、識別、獲取相關(guān)的事實(shí)、數(shù)據(jù)、文獻(xiàn)的活動及過程，其主要研究范圍包括：信息檢索理論、信息檢索語義、信息檢索系統(tǒng)的構(gòu)建和評價(jià)、信息檢索技術(shù)和方法等。

信息檢索的研究已經(jīng)有多年的歷史，20世紀(jì)中葉以前，信息的存儲和傳播主要以紙質(zhì)介質(zhì)為載體，信息檢索的研究主要圍繞文獻(xiàn)的獲取和控制展開，主要關(guān)注如何檢索和利用文獻(xiàn)中記載的信息。直到50年代，計(jì)算機(jī)被圖書館等部門廣泛用來存儲和管理文檔，信息檢索技術(shù)作為新的熱點(diǎn)被廣泛地研究。到了80年代，信息檢索領(lǐng)域在索引模型，文檔內(nèi)容表示以及匹配策略等方面取得了許多突破性的研究成果，并且成功地開發(fā)了一些系統(tǒng)。例如Cornell大學(xué)的SMART系統(tǒng)和Massachusetts大學(xué)的INQUERY系統(tǒng)等。Web的出現(xiàn)為信息檢索提供了一個(gè)前所未有的實(shí)驗(yàn)環(huán)境和應(yīng)用情景，許多Web信息檢索系統(tǒng)應(yīng)運(yùn)而生，例如Yahoo！，Alta-vista等[2]。

目前信息檢索系統(tǒng)的優(yōu)缺點(diǎn)

1.評價(jià)標(biāo)準(zhǔn)

目前，得到普遍認(rèn)同的檢索效果的評價(jià)標(biāo)準(zhǔn)主要有以下幾個(gè):查全率、查準(zhǔn)率、收錄范圍、輸出格式，其中以查全率和查準(zhǔn)率最為重要[1]。綜合國內(nèi)外關(guān)于搜索引擎評價(jià)及其方法的研究，筆者將搜索引擎評價(jià)的研究方法分為以下幾種。

(1)實(shí)驗(yàn)方法

(2)調(diào)查方法

(3)數(shù)據(jù)分析法

(4)觀察法

(5)綜述和評論

綜合評價(jià)指標(biāo)是指對搜索引擎各個(gè)方面進(jìn)行考量時(shí)依據(jù)的參考標(biāo)準(zhǔn)，如

Carpineto等就提出了3個(gè)一級指標(biāo)，分別為:檢索界面、檢索性能和檢索輸入。其中，檢索界面包括搜索引擎存在、主頁檢索框、結(jié)果頁面檢索框以及高級檢索界面等4個(gè)二級指標(biāo);檢索性能有7個(gè)二級指標(biāo):大小寫敏感度、詞干檢索、禁用詞、部分匹配、短語檢索、布爾邏輯檢索、全站檢索等;檢索輸出包括基于相關(guān)度的排序、標(biāo)記檢索式、結(jié)果建議、無死鏈4個(gè)二級指標(biāo)[3]。

2.按照信息搜集方法和服務(wù)提供方式的不同，搜索引擎系統(tǒng)可以分為三大類：

2.1目錄式搜索引擎：

以人工方式或半自動方式搜集信息，由編輯員查看信息之后，人工形成信息摘要，并將信息置于事先確定的分類框架中，提供目錄瀏覽服務(wù)和直接檢索服務(wù)。該類搜索引擎因?yàn)榧尤肓巳说闹悄?，所以信息?zhǔn)確、導(dǎo)航質(zhì)量高，缺點(diǎn)是需要人工介入、維護(hù)量大、信息量少、信息更新不及時(shí)。

這類搜索引擎的代表是：Yahoo、LookSmart、Open Directory、Go Guide等。

2.2機(jī)器人搜索引擎：

由一個(gè)稱為蜘蛛（Spider）的機(jī)器人程序以某種策略自動地在互聯(lián)網(wǎng)中搜集和發(fā)現(xiàn)信息，然后索引器為搜集到的信息建立索引，再由檢索器根據(jù)用戶的查詢輸入檢索索引庫并將查詢結(jié)果返回給用戶。服務(wù)方式是面向網(wǎng)頁的全文檢索服務(wù)。該類搜索引擎的優(yōu)點(diǎn)是搜索的信息空間大，更新及時(shí)，毋需人工干預(yù)，缺點(diǎn)是返回信息過多，有很多無關(guān)信息，用戶必須從結(jié)果中進(jìn)行篩選。

這類搜索引擎的代表是：AltaVista，Northern Light，Excite，Infoseek，Inktomi，F(xiàn)AST/FastSearch，Lycos，Google，“天網(wǎng)”，悠游，OpenFind等。

2.3搜索引擎：這類搜索引擎沒有自己的數(shù)據(jù)，而是將用戶的查詢請求同時(shí)向多個(gè)搜索引擎遞交，將返回的結(jié)果進(jìn)行重復(fù)排除、重新排序等處理后，作為自己的結(jié)果返回給用戶。服務(wù)方式為面向網(wǎng)頁的全文檢索。這類搜索引擎的優(yōu)點(diǎn)是返回結(jié)果更多、更全，缺點(diǎn)是不能充分利用所使用搜索引擎的功能，用戶需要做更多的篩選。

這類搜索引擎的代表是WebCrawler，InfoMarket等[4]。

3.新一代的智能Web信息檢索系統(tǒng)：

3.1移動agent技術(shù)

一般來說，所有用移動agent實(shí)現(xiàn)的系統(tǒng)都可以用傳統(tǒng)的分布式技術(shù)賴實(shí)現(xiàn)。那么為什么要選擇移動agent呢？這是因?yàn)橐苿觓gnet為解決分布式問題提供了一個(gè)統(tǒng)一的模式。它為分布計(jì)算帶來了更多的靈活性、高效性、可靠性和可伸縮性。移動agent已成為繼CORBA、DCOM后新一代分布處理技術(shù)。移動agent具有以下5個(gè)優(yōu)點(diǎn)：

（1）節(jié)約網(wǎng)絡(luò)帶寬和減少網(wǎng)絡(luò)延時(shí)；

（2）移動agent能夠使傳統(tǒng)的C/S計(jì)算模式下的計(jì)算任務(wù)更加動態(tài)均勻地分配；

（3）在分布式環(huán)境下，移動agent系統(tǒng)能實(shí)現(xiàn)較好的并行性即并行任務(wù)求解；

（4）基于移動agent的分布式系統(tǒng)具有較好的可理解性；

（5）異步移動計(jì)算能力。

3.2本體技術(shù)

本體的目標(biāo)是捕獲相關(guān)領(lǐng)域的知識，提供對該領(lǐng)域知識的共同理解，確定該領(lǐng)域內(nèi)共同認(rèn)可的詞匯，并從不同層次的形式化模式上給出這些詞語和詞語間相互關(guān)系的明確定義。

本體的研究與應(yīng)用主要包括3方面：(1)理論研究，主要研究概念及其分類和本體上的代數(shù)運(yùn)算；(2)在信息系統(tǒng)中的應(yīng)用研究，主要研究信息組織、信息檢索和異構(gòu)信息系統(tǒng)互操作問題，(3)本體作為一種能在知識層提供知識共享和重用的工具在語義Web中的應(yīng)用[4]。

3.個(gè)性化搜索引擎技術(shù)

當(dāng)前，個(gè)性化搜索引擎技術(shù)主要表現(xiàn)在如下兩個(gè)方面:

(1)搜索引擎提供的搜索結(jié)果滿足用戶的個(gè)性化需求。由個(gè)性化搜索服務(wù)獲得的搜索結(jié)果更加準(zhǔn)確，使不同用戶能夠得到各自需要的搜索結(jié)果，同時(shí)避免出現(xiàn)不相關(guān)的搜索結(jié)果。個(gè)性化搜索引擎技術(shù)通過分析用戶的搜索詞，跟蹤用戶的搜索行為和環(huán)境，結(jié)合用戶的需求變化和網(wǎng)絡(luò)信息的動態(tài)變化實(shí)時(shí)更新等資料進(jìn)行信息檢索，從而為用戶提供更為個(gè)性化的、準(zhǔn)確的、真正需求的搜索結(jié)果。

(2)個(gè)性化搜索引擎所提供的服務(wù)和功能具有優(yōu)勢和特色，與通用搜索引擎不同。由于各大搜索引擎為了獲得競爭優(yōu)勢，不斷推出新的特色服務(wù)和功能，因此出現(xiàn)了從核心搜索衍生出的各種其他服務(wù)，如桌面搜索、地圖搜索、生活搜索、RSS訂閱等服務(wù)。

目前不少搜索引擎都加入了個(gè)性化服務(wù)和功能，他們提出了各種技術(shù)和方法以實(shí)現(xiàn)個(gè)性化搜索服務(wù)。他們主要采用了基于規(guī)則的和基于信息、過濾的推薦技術(shù)。其中，基于信息過濾的技術(shù)又包括協(xié)作過濾和基于內(nèi)容的過濾?；谝?guī)則的技術(shù)允許系統(tǒng)管理員根據(jù)用戶的動態(tài)和靜態(tài)屬性生成規(guī)則，規(guī)則決定了在不同情況下如何提供不同的務(wù)，一個(gè)規(guī)則本質(zhì)上是一個(gè)if-then語句。該方法的優(yōu)點(diǎn)是簡單、直接，缺點(diǎn)是規(guī)則不能動態(tài)更新，質(zhì)量難以保證，隨著規(guī)則數(shù)的增加，系統(tǒng)將更難管理。典型的系統(tǒng)有IBM的Webshere，BroadVision和ILOG等。

基于內(nèi)容過濾的技術(shù)利用資源和用戶興趣的相似度進(jìn)行信息過濾。該方法的優(yōu)點(diǎn)是簡單、高效，缺點(diǎn)是不能發(fā)現(xiàn)用戶新的興趣，并且難以區(qū)分資源內(nèi)容的質(zhì)量和風(fēng)格。典型的系統(tǒng)有 Personal web Watcher，syskill&webert，CiteSeer，和Web personalizer等。

基于協(xié)作的過濾技術(shù)是利用用戶之間的相似度來進(jìn)行信息過濾。該方法的優(yōu)點(diǎn)是能發(fā)現(xiàn)用戶新的興趣點(diǎn)，但缺點(diǎn)是當(dāng)系統(tǒng)用戶和資源逐漸增多時(shí)，系統(tǒng)性能會逐漸降低;另外，在系統(tǒng)使用的初期，難以發(fā)現(xiàn)相似的用戶。典型的系統(tǒng)有Web watcher，Let’s Browse，GrouLens，F(xiàn)irefly和Siteseer等。

還有其它的一些提供個(gè)性化服務(wù)的信息搜索系統(tǒng)同時(shí)采用了基于內(nèi)容和協(xié)作過濾兩種技術(shù)。如:webSIFT，F(xiàn)AB，Anatagonomy和Dynamicprofiler等，結(jié)合這兩種過濾技術(shù)可以克服協(xié)作過濾的稀疏性難題，使用用戶已瀏覽的內(nèi)容來預(yù)測用戶對其它資源的評價(jià)，進(jìn)而增加資源評價(jià)的密度，再利用這些評價(jià)進(jìn)行協(xié)作過濾，從而改善協(xié)作過濾的效率[5]。

參考文獻(xiàn)

[1] 網(wǎng)絡(luò)信息檢索及其發(fā)展趨勢研究

[2] 基于結(jié)構(gòu)化向量空間模型的中文信息檢索系統(tǒng)研究與實(shí)現(xiàn)

[3] 搜索引擎檢索功能的性能評價(jià)研究

[4] 基于本體的Web信息檢索系統(tǒng)及其關(guān)鍵技術(shù)研究

[5] 基于內(nèi)容的個(gè)性化Web信息檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

第二篇：基于lucene的信息檢索系統(tǒng) 畢業(yè)論文

第三章 信息檢索系統(tǒng)及其關(guān)鍵技術(shù)

3.1 信息檢索系統(tǒng)簡介

信息檢索系統(tǒng)是利用信息檢索技術(shù)(如全文檢索等)幫助用戶查找特定信息的一種工具。它能夠?qū)π畔⑦M(jìn)行正確的表示、存儲和組織，同時(shí)還提供對于信息的訪問方式。在這里，信息的概念很寬泛，它可以是一篇文章，一段文本，一個(gè)網(wǎng)頁，一封郵件，一張照片，甚至是一些虛擬信息的集合。

3.2 信息檢索的過程

檢索的整個(gè)過程包括：構(gòu)建文本庫，建立索引，進(jìn)行檢索。1.構(gòu)建文本庫

在開發(fā)檢索功能前，一個(gè)信息檢索系統(tǒng)需要做些準(zhǔn)備工作。首先，必須構(gòu)建一個(gè)文本數(shù)據(jù)庫。這個(gè)文本數(shù)據(jù)庫用來保存所有用戶可能檢索的信息。在這些信息的基礎(chǔ)上，確定檢索系統(tǒng)中的文本模型。文本模型是被系統(tǒng)所認(rèn)可的一種信息格式，這種格式應(yīng)當(dāng)具有可識別、冗余度低等特點(diǎn)。當(dāng)然，在系統(tǒng)的運(yùn)作過程中，文本數(shù)據(jù)庫的信息可能會不斷地發(fā)生變化。

2.建立索引

有了文本模型后，就應(yīng)該根據(jù)數(shù)據(jù)庫內(nèi)的文本建立索引。索引可以大大提高信息檢索的速度。目前有多種索引的建立方式，采用哪種方式取決于信息檢索系統(tǒng)的規(guī)模。大型信息檢索系統(tǒng)(如百度、Google這樣的搜索引擎)均采用倒排的方式來建立索引。

3.進(jìn)行搜索

在為文本建立索引之后，就可以開始對其進(jìn)行搜索。通常由用戶提交一個(gè)檢索請求，該請求被分析，然后在索引中檢索并返回結(jié)果。

3.3 Lucene

Lucene是一個(gè)開源全文檢索工具包，它是apache軟件基金會jakarta項(xiàng)目組的一個(gè)子項(xiàng)目，是一個(gè)開放源代碼的全文檢索引擎工具包，即它不是一個(gè)完整的全文檢索引擎，而是一個(gè)全文檢索引擎的架構(gòu)，提供了完整的查詢引擎和索引引擎，部分文本分析引擎（英文與德文兩種西方語言）。Lucene的目的是為軟件開發(fā)人員提供一個(gè)簡單易用的工具包，以方便的在目標(biāo)系統(tǒng)中實(shí)現(xiàn)全文檢索的功能，或者是以此為基礎(chǔ)建立起完整的全文檢索引擎。3.3.1 Lucene結(jié)構(gòu)分析

Lucene作為一個(gè)優(yōu)秀的全文檢索引擎，其結(jié)構(gòu)具有強(qiáng)烈的面向?qū)ο筇卣鳌Ｊ紫仁嵌x了一個(gè)與平臺無關(guān)的索引文件格式，其次通過抽象將其核心組成部分設(shè)計(jì)為抽象類，具體的平臺實(shí)現(xiàn)部分設(shè)計(jì)為抽象類的實(shí)現(xiàn)，此外與具體平臺相關(guān)的部分比如文件存儲也封裝為類，經(jīng)過層層的面向?qū)ο笫降奶幚?，最終達(dá)成了一個(gè)低耦合高效率，容易二次開發(fā)的檢索引擎。Lucene的結(jié)構(gòu)和源碼組織結(jié)構(gòu)如圖3.1所示：

查詢語句org.apache.lucene.queryPaser被索引文件查詢結(jié)果org.apache.lucene.search對org.apache.lucene.analysis外接口org.apache.lucene.index核心索引org.apache.lucene.store索引文件org.apache.lucene.documentorg.apache.lucene.store基礎(chǔ)結(jié)構(gòu)封裝 圖3.1 Lucene結(jié)構(gòu)和源碼組織結(jié)構(gòu)

從圖中可以看出，Lucene由基礎(chǔ)結(jié)構(gòu)封裝、索引核心、對外接口三大部分組成。其中直接操作索引文件的索引核心又是系統(tǒng)的重點(diǎn)。Lucene的將所有源碼分為了7個(gè)模塊（在java語言中以包即package來表示），各個(gè)模塊所屬的部分也如圖3.1所示。3.3.2 Lucene索引的建立

索引是信息檢索引擎工作的第一步，只有建立了索引才能進(jìn)行信息檢索。Lucene用Document邏輯文件和Field域來組織各種數(shù)據(jù)源。Document向Lucene提供原始的要索引的文本內(nèi)容，Lucene從Document中取出相關(guān)的數(shù)據(jù)源，并根據(jù)屬性配置進(jìn)行相應(yīng)的處理，建立索引。

索引過程如下：

(1)創(chuàng)建一個(gè)IndexWriter用來寫索引文件，它有幾個(gè)參數(shù)，INDEX_DIR就是索引文件所存放的位置，Analyzer便是用來對文檔進(jìn)行詞法分析和語言處理的。(2)創(chuàng)建一個(gè)Document代表我們要索引的文檔。

(3)將不同的Field加入到文檔中。我們知道，一篇文檔有多種信息，如題目，作者，修改時(shí)間，內(nèi)容等，不同類型的信息用不同的Field來表示。(4)

IndexWriter調(diào)用函數(shù)addDocument將索引寫到索引文件夾中。

3.3.3 Lucene的搜索

Lucene建立了功能強(qiáng)大的索引機(jī)制為搜索服務(wù)，這是因?yàn)樵跈z索系統(tǒng)的使用中，用戶體驗(yàn)最深的還是搜索部分。如果這一部分的性能無法達(dá)到用戶要求，那么軟件就沒有太大的意義。

搜索過程如下：

(1)IndexReader將磁盤上的索引信息讀入到內(nèi)存，INDEX_DIR就是索引文件存放的位置。

(2)創(chuàng)建IndexSearcher準(zhǔn)備進(jìn)行搜索。

(3)創(chuàng)建Analyer用來對查詢語句進(jìn)行詞法分析和語言處理。(4)創(chuàng)建QueryParser用來對查詢語句進(jìn)行語法分析。

(5)QueryParser調(diào)用parser進(jìn)行語法分析，形成查詢語法樹，放到Query中。(6)

IndexSearcher調(diào)用search對查詢語法樹Query進(jìn)行搜索，得到查詢結(jié)果存放在TopScoreDocCollector。

3.3.4 中文分詞

中文分詞是處理中文信息的基礎(chǔ)與關(guān)鍵。由于Lucene自帶的分詞器對英文的分詞效果較好，但對中文的分詞效果并不如意。為了使檢索系統(tǒng)能更好的處理中文信息，本文采用了IKAnalyzer作為分詞器。IK Analyzer是一個(gè)開源的，基于java 語言開發(fā)的輕量級的中文分詞工具包。從2006年12月推出1.0 版開始，IKAnalyzer已經(jīng)推出了3個(gè)大版本。最初，它是以開源項(xiàng)目Luence 為應(yīng)用主體的，結(jié)合詞典分詞和文法分析算法的中文分詞組件。新版本的IKAnalyzer 3.X 則發(fā)展為面向Java 的公用分詞組件，獨(dú)立于Lucene 項(xiàng)目，同時(shí)提供了對Lucene 的默認(rèn)優(yōu)化實(shí)現(xiàn)。IKAnalyzer的特性：

? 采用了特有的“正向迭代最細(xì)粒度切分算法“，具有60 萬字/秒的高速處理能力。? 采用了多子處理器分析模式，支持：英文字母（IP 地址、Email、URL）、數(shù)字（日期，常用中文數(shù)量詞，羅馬數(shù)字，科學(xué)計(jì)數(shù)法），中文詞匯（姓名、地名處理）等分詞處理。

? 優(yōu)化的詞典存儲，更小的內(nèi)存占用。支持用戶詞典擴(kuò)展定義

? 針對Lucene 全文檢索優(yōu)化的查詢分析器IKQueryParser；采用歧義分析算法優(yōu)化查詢關(guān)鍵字的搜索排列組合，能極大的提高Lucene 檢索的命中率。

第四章 信息檢索系統(tǒng)的分析與設(shè)計(jì)

4.1 系統(tǒng)功能需求

隨著科技的發(fā)展，電腦的應(yīng)用越來越普遍，人們的學(xué)習(xí)工作幾乎都不能離開電腦。而筆記本電腦由于其輕便和時(shí)尚性，受到人們普遍的喜愛。但是，在購買筆記本時(shí)，我們需要詳細(xì)地了解所買型號筆記本的外表及各種功能，為此我們往往要去各個(gè)商家挑選。為了方便，需要提供一個(gè)專門的筆記本電腦信息查詢系統(tǒng)，能讓用戶輕松的獲取各種型號筆記本的詳細(xì)參數(shù)與外觀。該系統(tǒng)提供一個(gè)良好的用戶界面，用戶查詢時(shí)，系統(tǒng)能根據(jù)用戶查詢語句精確地給出查詢信息，能夠較好地理解用戶的查詢語句。

4.2 系統(tǒng)開發(fā)平臺設(shè)計(jì)

本系統(tǒng)采用的是Eclipse6.5+MySQL5.1+Tomcat5.5的開發(fā)環(huán)境。

? Eclipse是一個(gè)開放源代碼的、基于Java的可擴(kuò)展開發(fā)平臺。在開發(fā)時(shí)搭配使用MyEclipse進(jìn)行開發(fā)。MyEclipse企業(yè)級工作平臺是對Eclipse IDE的擴(kuò)展，利用它可以在數(shù)據(jù)庫和J2EE的開發(fā)、發(fā)布，以及應(yīng)用程序服務(wù)器的整合方面極大地提高工作效率。它是功能豐富的J2EE集成開發(fā)環(huán)境，包括了完備的編碼、調(diào)試、測試和發(fā)布功能，完整支持HTML CSS、Javascript、Struts、Spring、SQL、Hibernate和JSF。

? MySQL是最受歡迎的開源SQL數(shù)據(jù)庫管理系統(tǒng)，它由MySQL AB開發(fā)、發(fā)布和支持。MySQL服務(wù)器支持關(guān)鍵任務(wù)、重負(fù)載生產(chǎn)系統(tǒng)的使用，也可以將它嵌入到一個(gè)大配置的軟件中。本文采用的是當(dāng)前的穩(wěn)定版本5.1。

? Tomcat是一個(gè)免費(fèi)的、開放源碼的、支持JSP和Servlet的web服務(wù)器。Tomcat是一個(gè)小型的輕量級應(yīng)用服務(wù)器，在中、小型系統(tǒng)和并發(fā)訪問用戶不是很多的場合下被普遍使用，是開發(fā)和調(diào)試JSP程序的首選。它運(yùn)行時(shí)占用的系統(tǒng)資源小，擴(kuò)展性好，支持負(fù)載平衡與郵件服務(wù)等開發(fā)應(yīng)用系統(tǒng)常用的功能。目前Tomcat5.5是較穩(wěn)定的版本，而且Eclipse也很好的支持該版本的集成，所以本文采用Tomcat5.5進(jìn)行開發(fā)。此外，本系統(tǒng)所應(yīng)用到的其它開源工具為：Struts1.2、Spring2.5、Hibernate3.1，網(wǎng)絡(luò)爬蟲Heritrix1.14.3，網(wǎng)頁解析工具HtmlParser2.0，全文檢索工具包Lucene3.0，中文分詞軟件IKAnalyzer3.0。

4.3 系統(tǒng)的組成結(jié)構(gòu)

整個(gè)系統(tǒng)由三個(gè)部分組成：網(wǎng)頁采集分析模塊、索引與數(shù)據(jù)庫模塊、web搜索界面模塊。其中網(wǎng)頁采集與分析分別由開源工具網(wǎng)絡(luò)爬蟲Heritrix和網(wǎng)頁解析器HtmlParser完成；由Lucene完成索引系統(tǒng)，并將索引與數(shù)據(jù)庫關(guān)聯(lián)；web查詢界面基于SSH框架設(shè)計(jì)完成。模塊組成結(jié)構(gòu)如圖4.1所示。

網(wǎng)頁抓取分析模塊索引與數(shù)據(jù)庫模塊InternetHeritrixWeb檢索模塊抓取的信息網(wǎng)頁Lucene建立索引HtmlParser文本格式信息返回查詢結(jié)果創(chuàng)建數(shù)據(jù)庫數(shù)據(jù)庫索引根據(jù)索引查找數(shù)據(jù)庫查詢索引基于SSH設(shè)計(jì)

圖4.1 系統(tǒng)模塊結(jié)構(gòu)圖

4.4 網(wǎng)頁抓取分析模塊設(shè)計(jì)

4.4.1 站點(diǎn)選擇

從技術(shù)角度看，選擇網(wǎng)站的主要依據(jù)有：

(1)網(wǎng)站能夠被Heritrix爬蟲抓取。因?yàn)橛械木W(wǎng)站使用了反爬蟲技術(shù)，防止未經(jīng)授權(quán)的爬蟲對面頁進(jìn)行抓取。

(2)網(wǎng)站的信息不是用javaScript動態(tài)生成的。這種動態(tài)生成的內(nèi)容需要在瀏覽器中運(yùn)行生成，是爬蟲無法獲取到的。

(3)網(wǎng)站的面頁結(jié)構(gòu)不應(yīng)該經(jīng)常變化，最好是使用一種模版動態(tài)生成的。這樣有利于在分析面頁時(shí)，使用較為簡單的方式從網(wǎng)頁中解析數(shù)據(jù)。

除了上述3點(diǎn)技術(shù)方面的因素，在選擇網(wǎng)站時(shí)，也應(yīng)當(dāng)盡量選擇那些訪問量較大、產(chǎn)品信息比較齊全的網(wǎng)站。這樣，有利于數(shù)據(jù)完整性?；谏鲜龈饕蛩氐目紤]，本文選擇太平洋電腦網(wǎng)(http://$ 例如蘋果Macbook Pro 15(MC373CH/A)：

http://product.pconline.com.cn/notebook/apple/411413.html 產(chǎn)品詳細(xì)參數(shù)面頁URL的正則表達(dá)式為：

^http://product.pconline.com.cn/notebook/+[wd]+/d{5,6}_detail.html$ 例如蘋果Macbook Pro 15(MC373CH/A)詳細(xì)參數(shù): http://product.pconline.com.cn/notebook/apple/411413_detail.html 產(chǎn)品頁的產(chǎn)品圖片URL都是以.jpg結(jié)尾。

通過對網(wǎng)站URL分析，可以總結(jié)出我們要抓取的面頁URL的規(guī)律，只要抓取產(chǎn)品面頁和產(chǎn)品詳細(xì)信息面頁及產(chǎn)品圖片即可。因此，要擴(kuò)展Heritrix來實(shí)現(xiàn)上述抓取策略。Heritrix有多個(gè)擴(kuò)展點(diǎn)，本文選擇擴(kuò)展FrontierScheduler來抓取特定的內(nèi)容。FrontierScheduler是Heritrix的一個(gè)PostProcessor，它的作用是將Extractor中分析得出的鏈接加入到Frontier中，以待繼續(xù)處理。擴(kuò)展代碼如下：

protected void schedule(CandidateURI caURI){

//取得URI字符串

String url = caURI.toString();try{

//URI選擇策略 //匹配 具體型號url Pattern pattern_model = Pattern.compile(MODEL_URL);Matcher matcher_model = pattern_model.matcher(url);//匹配 型號詳細(xì)參數(shù)url

}

} Pattern pattern_detail = Pattern.compile(DETAIL_URL);Matcher matcher_detail = pattern_detail.matcher(url);//URL是產(chǎn)品面頁/詳細(xì)參數(shù)面頁/jpg圖片/DNS if(//matcher_detail.find()||matcher_model.find()||url.endsWith(“.jpg”)

} e.printStackTrace();||url.indexOf(“dns:”)!=-1){

getController().getFrontier().schedule(caURI);return;}else{ }catch(Exception e){ }finally{ 4.4.3 網(wǎng)頁解析工具HtmlParser 對于抓取到的網(wǎng)頁，需要經(jīng)過解析，提取出需要的信息以便更好的建立索引和創(chuàng)建數(shù)據(jù)庫。本文Html解析器是HtmlParser，HtmlParser是一個(gè)開源的Java庫，它提供接口，支持線程和嵌套的解析Html文本。HtmlParser提供了兩種訪問Html結(jié)點(diǎn)的方法：Visitor模式和Filter模式，本文采用了Filter模式。Filter模式通過設(shè)置一定的過濾條件，對每個(gè)結(jié)點(diǎn)進(jìn)行過濾，返回一個(gè)符合規(guī)則的節(jié)點(diǎn)列表。Org.htmlparser.filters包含所有已經(jīng)實(shí)現(xiàn)的Filter類型，定義了16種Filter。

例如要解析一個(gè)網(wǎng)頁中所有包含圖片的鏈接，分析可得該節(jié)點(diǎn)中具有鏈接標(biāo)簽名”a”，并且它的字節(jié)點(diǎn)中還必須包含圖片標(biāo)簽名”img”，則過濾器的定義為：

NodeFilter filter = new AndFilter(new TagNameFilter(“A”), New HasChildFilter(new TagNameFilter(“IMG”)))4.4.4 網(wǎng)頁信息結(jié)構(gòu)化

在抓取到筆記本產(chǎn)品各種信息的Html文本后，需要用HtmlParser對Html文本解析，得到建立索引所需的各種信息。處理后的的文件如圖4.2所示。

圖4.2 處理后產(chǎn)品的信息格式

從圖中可以看出文件的格式如下：第一行是筆記本品牌(包括中文和英文名稱)；第二行是筆記本具體型號；最后一行則是該筆記本的對應(yīng)圖片文件名，圖片名是經(jīng)過Hash后的字符串；其余部分則是該筆記本的詳細(xì)參數(shù)。將所有筆記本產(chǎn)品的信息按上述格式存儲，以便建立索引。

4.5 數(shù)據(jù)庫與索引設(shè)計(jì)

4.5.1 數(shù)據(jù)庫設(shè)計(jì)

本文數(shù)據(jù)庫結(jié)構(gòu)簡單，只有一個(gè)數(shù)據(jù)表來存儲筆記本產(chǎn)品的各種信息，數(shù)據(jù)庫各字段含義如表4.1所示。

表4.1 數(shù)據(jù)庫字段含義

字段名 Id name type content abstractcontent

字段含義 主鍵

品牌名稱，如”蘋果”

型號，如” ibook G4 M9627CH/A” 筆記本產(chǎn)品的詳細(xì)信息

詳細(xì)參數(shù)的摘要，供建立索引時(shí)使用

創(chuàng)建數(shù)據(jù)庫的SQL語句如下： create database searchdb;use searchdb;create table product（id

int AUTO_INCREMENT, name varchar(128), type varchar(128), content varchar(20000), abstractcontent varchar(512),);4.5.2 索引設(shè)計(jì)

在使用Lucene建立索引時(shí)，需要定義Lucene的Document格式。索引中的信息應(yīng)當(dāng)盡量少，只要能夠滿足用戶檢索要求就可以了。本文中，為Document構(gòu)建了4個(gè)Field：

//當(dāng)前產(chǎn)品在數(shù)據(jù)庫中的id

Field indentifier = new Field(“id”,id + “",Field.Store.YES, Field.Index.NOT_ANALYZED);//產(chǎn)品的品牌

Field name = new Field(”name“,product.getName(),Field.Store.YES, Field.Index.ANALYZED);//產(chǎn)品型號

Field type = new Field(”type“,product.getType(),Field.Store.YES, Field.Index.ANALYZED);//將筆記本產(chǎn)品的name、type、abstractcontent信息綜合起來，默認(rèn)的檢索域 Field all = new Field(”all“,text,Field.Store.YES, Field.Index.ANALYZED);上述4中Filed中，前3個(gè)與數(shù)據(jù)庫的內(nèi)容有直接的對應(yīng)關(guān)系，而最后一個(gè)Filed則是將name、type這兩個(gè)Filed拼接起來并添加了abstractcontent來進(jìn)行保存，為用戶提供一個(gè)檢索時(shí)的默認(rèn)Filed。這種方式占用了索引空間，但卻避免了使用多域搜索帶來的性能損失，還可提高檢索的全面性。

4.6 web檢索模塊設(shè)計(jì)

web檢索模塊基于SSH設(shè)計(jì)實(shí)現(xiàn)，由Struts作為控制器，Spring作為業(yè)務(wù)層，Hibernate作為數(shù)據(jù)持久層，結(jié)構(gòu)如圖4.3所示。

控制器Struts業(yè)務(wù)層SpringSpringAOP持久層HibernateHibernateTemplaterequestActionServletActionFrom數(shù)據(jù)庫responseJSPActionSpringIocHibernateDAO圖4.3 基于SSH的web檢索模塊結(jié)構(gòu)圖

從圖中可以看出，用戶的請求會發(fā)送給ActionServlet,用戶數(shù)據(jù)通過ActionForm Bean傳遞給Action，由Action類來通過Spring的IoC容器訪問Hibernate的DAO，DAO負(fù)責(zé)數(shù)據(jù)庫的交互，然后再返回JSP面頁將查詢結(jié)果進(jìn)行顯示。

第五章 信息檢索系統(tǒng)的實(shí)現(xiàn)

5.1 網(wǎng)頁抓取的實(shí)現(xiàn)

在抓取任務(wù)開始前，需要對抓取的內(nèi)容進(jìn)行詳細(xì)地分析，確定種子，即開始抓取的網(wǎng)頁。本文中為了能盡量獲取全部的產(chǎn)品信息，直接將需要抓取的面頁(包括產(chǎn)品面頁、詳細(xì)參數(shù)面頁、圖片)的URL作為抓取的種子，這就需要找出所有產(chǎn)品的具體URL。在太平洋電腦網(wǎng)上提供了站內(nèi)搜索功能，當(dāng)輸入查詢某品牌的筆記本就能得到站內(nèi)所有該品牌標(biāo)記本的信息的面頁，當(dāng)然面頁中也包含這些筆記本的產(chǎn)品面頁的URL，這就提供了抓取的種子。依次查詢各個(gè)品牌的筆記本，將查詢結(jié)果面頁保存到本地，然后用HtmlParser解析得到其中產(chǎn)品面頁的URl，寫入種子文件。

圖5.1 查詢結(jié)果面頁源代碼

從網(wǎng)頁源代碼中可以發(fā)現(xiàn)解析網(wǎng)頁時(shí)可以得到該品牌所有筆記本產(chǎn)品的產(chǎn)品面頁和詳細(xì)參數(shù)面頁的URL。其中產(chǎn)品詳細(xì)參數(shù)面頁URL的節(jié)點(diǎn)形如：