第一篇：lucene工作總結(jié)

Lucene工作總結(jié)

關(guān)鍵字: lucene總結(jié)

公司項(xiàng)目：portal中期刊文章內(nèi)容作為大字段存儲(chǔ)在Oracle中，首頁有一個(gè)搜索功能：要求將所有包括搜索字段的文章的標(biāo)題列出來（文章的內(nèi)容存儲(chǔ)在Oracle的CLOB字段中），也就是要用Lucene實(shí)現(xiàn)對(duì)數(shù)據(jù)庫的大字段進(jìn)行索引(索引通過計(jì)劃任務(wù)定時(shí)建立索引)和搜索。。

==================定時(shí)建立索引文件:===============

Main方法: Java代碼

1.package zxt.lucene.index;2.3.import java.util.Timer;4.public class IndexerServer { 5.6.7./** 8.* 定時(shí)調(diào)用建立索引任務(wù) 9.* @author wulihai 10.* @create 2009-06-02 11.*/ 12.public static void main(String[] args){ 13.String propFile = “directory.properties”;14.Config.setConfigFileName(propFile);15.Timer timer = new Timer();16.LuceneDBIndexerTask luceneTask=LuceneDBIndexerTask.getInstance();17.timer.scheduleAtFixedRate(luceneTask, 0,DataTypeUtil.toLong(Constant.CREATE_INDEX_SLEEP_TIME));18.} 19.20.}

定時(shí)調(diào)用建立索引任務(wù)： Java代碼

1.package zxt.lucene.index;2.3.import java.util.Timer;4.public class IndexerServer { 5.6.7./** 8.* 定時(shí)調(diào)用建立索引任務(wù) 9.* @author wulihai 10.* @create 2009-06-02 11.*/ 12.public static void main(String[] args){ 13.String propFile = “directory.properties”;14.Config.setConfigFileName(propFile);15.Timer timer = new Timer();16.LuceneDBIndexerTask luceneTask=LuceneDBIndexerTask.getInstance();17.timer.scheduleAtFixedRate(luceneTask, 0,DataTypeUtil.toLong(Constant.CREATE_INDEX_SLEEP_TIME));18.} 19.20.}

建立索引的核心實(shí)現(xiàn)： Java代碼

1.package zxt.lucene.index;2.import java.io.BufferedReader;3.import java.io.File;4.import java.io.IOException;5.import java.io.StringWriter;6.import java.sql.Connection;7.import java.sql.DriverManager;8.import java.sql.ResultSet;9.import java.sql.SQLException;10.import java.sql.Statement;11.import java.text.SimpleDateFormat;12.import java.util.Arrays;13.import java.util.Date;14.import java.util.TimerTask;15.16.import oracle.sql.CLOB;17.18.import org.apache.lucene.analysis.standard.StandardAnalyzer;19.import org.apache.lucene.document.Document;20.import org.apache.lucene.document.Field;21.import org.apache.lucene.index.IndexWriter;22.23./** 24.* 建立索引的任務(wù)類 25.* @author wulihai 26.* @create 2009-06-02 27.*/ 28.public class LuceneDBIndexerTask extends TimerTask { 29.//缺省索引目錄

30.private static String DEFAULT_INDEX_DIR=“C:IndexDB”;31.//臨時(shí)索引目錄的父目錄

32.private File parentDir=null;33.//被搜索的索引文件

34.private static LuceneDBIndexerTask index=new LuceneDBIndexerTask();35.36.//構(gòu)造方法

37.private LuceneDBIndexerTask(){ 38.String dirStr=Constant.INDEX_STORE_DIRECTORY;39.if(dirStr!=null&&!“".equals(dirStr)){ 40.this.parentDir=new File(dirStr);41.42.}else{ 43.this.parentDir=new File(DEFAULT_INDEX_DIR);44.} 45.46.if(!this.parentDir.exists()){ 47.this.parentDir.mkdir();48.} 49.} 50.51./** 52.* 單實(shí)例訪問接口 53.* @return 54.*/ 55.public static LuceneDBIndexerTask getInstance(){ 56.return index;57.} 58.59./** 60.* 鎖定目錄以及文件 61.* 只允許單線程訪問 62.* 63.*/ 64./*public synchronized void singleRunning(){ 65.if(flag==false){ 66.flag=true;67.run(parentDir);68.} 69.}*/ 70.71./** 72.* 為數(shù)據(jù)庫字段建立索引 73.*/ 74.public void run(){ 75.System.out.println(”====LuceneDBIndexerTask$run()===============“);76.77.System.out.println(”~~~開始建立索引文件~~~~~~~~~~~~~~~“);78.Connection conn=null;79.Statement stmt=null;80.ResultSet rs=null;81.try { 82.Class.forName(Constant.DB_DRIVER_STRING);83.conn = DriverManager.getConnection(Constant.DB_URI_STRING, Constant.DB_USERNAME, Constant.DB_PWD);84.stmt = conn.createStatement();85.rs = stmt.executeQuery(Constant.DB_QUERY_STRING);

86.File file=new File(parentDir+File.separator+new SimpleDateFormat(”yyyyMMddHHmmss“).format(new Date())+File.separator);87.if(!file.exists()){ 88.file.mkdir();89.} 90.IndexWriter writer = new IndexWriter(file,new StandardAnalyzer(), true);91.long startTime = new Date().getTime();92.while(rs.next()){ 93.Document doc = new Document();94.doc.add(new Field(”ARTICLEID“, rs.getString(”ARTICLEID“), Field.Store.YES,Field.Index.TOKENIZED));95.doc.add(new Field(”TITLE“, rs.getString(”TITLE“), Field.Store.YES,Field.Index.TOKENIZED));96.doc.add(new Field(”USERNAME“, rs.getString(”USERNAME“), Field.Store.YES,Field.Index.TOKENIZED));97.doc.add(new Field(”USERID“, rs.getString(”USERID“), Field.Store.YES,Field.Index.TOKENIZED));98.//對(duì)日期建立索引

99.String createdate=new SimpleDateFormat(”yyyy-MM-dd“).format(rs.getTimestamp(”CREATEDATE“));100.doc.add(new Field(”CREATEDATE“, createdate, Field.Store.YES,Field.Index.TOKENIZED));101.//對(duì)大字段建立索引

102.BufferedReader in=null;103.String content=”“;104.CLOB clob =(CLOB)rs.getClob(”CONTENT“);105.if(clob!= null){ 106.//得到一個(gè)讀入流

107.in=new BufferedReader(clob.getCharacterStream());108.StringWriter out=new StringWriter();109.int c;110.while((c=in.read())!=-1){ 111.out.write(c);112.} 113.content=out.toString();114.} 115.doc.add(new Field(”CONTENT“, content, Field.Store.YES, Field.Index.TOKENIZED));116.writer.addDocument(doc);117.} 118.writer.optimize();119.writer.close();120.121.//測(cè)試一下索引的時(shí)間

122.long endTime = new Date().getTime();123.System.out.println(”索引文件“+file.getPath()+”建立成功...“);124.System.out.println(”這花費(fèi)了“ +(endTimestartTime)+ ” 毫秒!“);131.} else { 132.System.out.println(”0個(gè)結(jié)果!“);133.} 134.} 135.136.return results;137.138.} 139.140./** 141.* 確定搜索索引所在目錄目錄 142.*/ 143.private File getTargetDir(File dir){ 144.int length = dir.listFiles().length;145.File searchFile = null;146.147.// length=3的時(shí)候最多

148.// 同時(shí)搜索和同時(shí)建索引的時(shí)候會(huì)出現(xiàn)length=4 149.if(length >= 2){ 150.// 找到次最新建立的索引文件 151.String[] names = dir.list();152.Arrays.sort(names);153.searchFile = new File(dir + File.separator + names[length-2]);154.} 155.if(length == 1){ 156.File files[] = dir.listFiles();157.searchFile = files[0];158.} 159.if(length == 0){ 160.// 如果沒有索引文件則，建立第一個(gè)索引

161.// TestDBIndexer.getInstance().isInstanceRunning();162.// search();163.} 164.165.return searchFile;166.} 167.// 168.// public static void main(String[] args)throws Exception { 169.// new LuceneDBQuery().search(”納稅人“);170.// } 171.172.}

配置文件管理類: Java代碼

1.2.package com.liferay.portal.util;3.4.import java.io.IOException;5.6.import org.jdom.Document;7.import org.jdom.Element;8.import org.jdom.JDOMException;9.import org.jdom.input.SAXBuilder;10.11.public class LuceneDBQueryUtil { 12.13.public static String getIndexPath(){ 14.15.String filePath = ”zxt_index.xml“;16.String indexPath=”“;17.SAXBuilder builder = new SAXBuilder(false);18.try { 19.Document doc = builder.build(Thread.currentThread().getContextClassLoader().getResource(filePath));20.Element rootElement = doc.getRootElement();21.Element index=rootElement.getChild(”index“);22.indexPath=index.getText();23.System.out.println(indexPath);24.} catch(JDOMException e){ 25.e.printStackTrace();26.} catch(IOException e){ 27.e.printStackTrace();28.} 29.return indexPath;30.31.32.} 33.}

配置文件：zxt_index.xml Xml代碼

1. 2.

3.D:indexIndexDB 4.

第二篇：基于lucene的信息檢索系統(tǒng) 畢業(yè)論文

第三章 信息檢索系統(tǒng)及其關(guān)鍵技術(shù)

3.1 信息檢索系統(tǒng)簡介

信息檢索系統(tǒng)是利用信息檢索技術(shù)(如全文檢索等)幫助用戶查找特定信息的一種工具。它能夠?qū)π畔⑦M(jìn)行正確的表示、存儲(chǔ)和組織，同時(shí)還提供對(duì)于信息的訪問方式。在這里，信息的概念很寬泛，它可以是一篇文章，一段文本，一個(gè)網(wǎng)頁，一封郵件，一張照片，甚至是一些虛擬信息的集合。

3.2 信息檢索的過程

檢索的整個(gè)過程包括：構(gòu)建文本庫，建立索引，進(jìn)行檢索。1.構(gòu)建文本庫

在開發(fā)檢索功能前，一個(gè)信息檢索系統(tǒng)需要做些準(zhǔn)備工作。首先，必須構(gòu)建一個(gè)文本數(shù)據(jù)庫。這個(gè)文本數(shù)據(jù)庫用來保存所有用戶可能檢索的信息。在這些信息的基礎(chǔ)上，確定檢索系統(tǒng)中的文本模型。文本模型是被系統(tǒng)所認(rèn)可的一種信息格式，這種格式應(yīng)當(dāng)具有可識(shí)別、冗余度低等特點(diǎn)。當(dāng)然，在系統(tǒng)的運(yùn)作過程中，文本數(shù)據(jù)庫的信息可能會(huì)不斷地發(fā)生變化。

2.建立索引

有了文本模型后，就應(yīng)該根據(jù)數(shù)據(jù)庫內(nèi)的文本建立索引。索引可以大大提高信息檢索的速度。目前有多種索引的建立方式，采用哪種方式取決于信息檢索系統(tǒng)的規(guī)模。大型信息檢索系統(tǒng)(如百度、Google這樣的搜索引擎)均采用倒排的方式來建立索引。

3.進(jìn)行搜索

在為文本建立索引之后，就可以開始對(duì)其進(jìn)行搜索。通常由用戶提交一個(gè)檢索請(qǐng)求，該請(qǐng)求被分析，然后在索引中檢索并返回結(jié)果。

3.3 Lucene

Lucene是一個(gè)開源全文檢索工具包，它是apache軟件基金會(huì)jakarta項(xiàng)目組的一個(gè)子項(xiàng)目，是一個(gè)開放源代碼的全文檢索引擎工具包，即它不是一個(gè)完整的全文檢索引擎，而是一個(gè)全文檢索引擎的架構(gòu)，提供了完整的查詢引擎和索引引擎，部分文本分析引擎（英文與德文兩種西方語言）。Lucene的目的是為軟件開發(fā)人員提供一個(gè)簡單易用的工具包，以方便的在目標(biāo)系統(tǒng)中實(shí)現(xiàn)全文檢索的功能，或者是以此為基礎(chǔ)建立起完整的全文檢索引擎。3.3.1 Lucene結(jié)構(gòu)分析

Lucene作為一個(gè)優(yōu)秀的全文檢索引擎，其結(jié)構(gòu)具有強(qiáng)烈的面向?qū)ο筇卣?。首先是定義了一個(gè)與平臺(tái)無關(guān)的索引文件格式，其次通過抽象將其核心組成部分設(shè)計(jì)為抽象類，具體的平臺(tái)實(shí)現(xiàn)部分設(shè)計(jì)為抽象類的實(shí)現(xiàn)，此外與具體平臺(tái)相關(guān)的部分比如文件存儲(chǔ)也封裝為類，經(jīng)過層層的面向?qū)ο笫降奶幚恚罱K達(dá)成了一個(gè)低耦合高效率，容易二次開發(fā)的檢索引擎。Lucene的結(jié)構(gòu)和源碼組織結(jié)構(gòu)如圖3.1所示：

查詢語句org.apache.lucene.queryPaser被索引文件查詢結(jié)果org.apache.lucene.search對(duì)org.apache.lucene.analysis外接口org.apache.lucene.index核心索引org.apache.lucene.store索引文件org.apache.lucene.documentorg.apache.lucene.store基礎(chǔ)結(jié)構(gòu)封裝 圖3.1 Lucene結(jié)構(gòu)和源碼組織結(jié)構(gòu)

從圖中可以看出，Lucene由基礎(chǔ)結(jié)構(gòu)封裝、索引核心、對(duì)外接口三大部分組成。其中直接操作索引文件的索引核心又是系統(tǒng)的重點(diǎn)。Lucene的將所有源碼分為了7個(gè)模塊（在java語言中以包即package來表示），各個(gè)模塊所屬的部分也如圖3.1所示。3.3.2 Lucene索引的建立

索引是信息檢索引擎工作的第一步，只有建立了索引才能進(jìn)行信息檢索。Lucene用Document邏輯文件和Field域來組織各種數(shù)據(jù)源。Document向Lucene提供原始的要索引的文本內(nèi)容，Lucene從Document中取出相關(guān)的數(shù)據(jù)源，并根據(jù)屬性配置進(jìn)行相應(yīng)的處理，建立索引。

索引過程如下：

(1)創(chuàng)建一個(gè)IndexWriter用來寫索引文件，它有幾個(gè)參數(shù)，INDEX_DIR就是索引文件所存放的位置，Analyzer便是用來對(duì)文檔進(jìn)行詞法分析和語言處理的。(2)創(chuàng)建一個(gè)Document代表我們要索引的文檔。

(3)將不同的Field加入到文檔中。我們知道，一篇文檔有多種信息，如題目，作者，修改時(shí)間，內(nèi)容等，不同類型的信息用不同的Field來表示。(4)

IndexWriter調(diào)用函數(shù)addDocument將索引寫到索引文件夾中。

3.3.3 Lucene的搜索

Lucene建立了功能強(qiáng)大的索引機(jī)制為搜索服務(wù)，這是因?yàn)樵跈z索系統(tǒng)的使用中，用戶體驗(yàn)最深的還是搜索部分。如果這一部分的性能無法達(dá)到用戶要求，那么軟件就沒有太大的意義。

搜索過程如下：

(1)IndexReader將磁盤上的索引信息讀入到內(nèi)存，INDEX_DIR就是索引文件存放的位置。

(2)創(chuàng)建IndexSearcher準(zhǔn)備進(jìn)行搜索。

(3)創(chuàng)建Analyer用來對(duì)查詢語句進(jìn)行詞法分析和語言處理。(4)創(chuàng)建QueryParser用來對(duì)查詢語句進(jìn)行語法分析。

(5)QueryParser調(diào)用parser進(jìn)行語法分析，形成查詢語法樹，放到Query中。(6)

IndexSearcher調(diào)用search對(duì)查詢語法樹Query進(jìn)行搜索，得到查詢結(jié)果存放在TopScoreDocCollector。

3.3.4 中文分詞

中文分詞是處理中文信息的基礎(chǔ)與關(guān)鍵。由于Lucene自帶的分詞器對(duì)英文的分詞效果較好，但對(duì)中文的分詞效果并不如意。為了使檢索系統(tǒng)能更好的處理中文信息，本文采用了IKAnalyzer作為分詞器。IK Analyzer是一個(gè)開源的，基于java 語言開發(fā)的輕量級(jí)的中文分詞工具包。從2006年12月推出1.0 版開始，IKAnalyzer已經(jīng)推出了3個(gè)大版本。最初，它是以開源項(xiàng)目Luence 為應(yīng)用主體的，結(jié)合詞典分詞和文法分析算法的中文分詞組件。新版本的IKAnalyzer 3.X 則發(fā)展為面向Java 的公用分詞組件，獨(dú)立于Lucene 項(xiàng)目，同時(shí)提供了對(duì)Lucene 的默認(rèn)優(yōu)化實(shí)現(xiàn)。IKAnalyzer的特性：

? 采用了特有的“正向迭代最細(xì)粒度切分算法“，具有60 萬字/秒的高速處理能力。? 采用了多子處理器分析模式，支持：英文字母（IP 地址、Email、URL）、數(shù)字（日期，常用中文數(shù)量詞，羅馬數(shù)字，科學(xué)計(jì)數(shù)法），中文詞匯（姓名、地名處理）等分詞處理。

? 優(yōu)化的詞典存儲(chǔ)，更小的內(nèi)存占用。支持用戶詞典擴(kuò)展定義

? 針對(duì)Lucene 全文檢索優(yōu)化的查詢分析器IKQueryParser；采用歧義分析算法優(yōu)化查詢關(guān)鍵字的搜索排列組合，能極大的提高Lucene 檢索的命中率。

第四章 信息檢索系統(tǒng)的分析與設(shè)計(jì)

4.1 系統(tǒng)功能需求

隨著科技的發(fā)展，電腦的應(yīng)用越來越普遍，人們的學(xué)習(xí)工作幾乎都不能離開電腦。而筆記本電腦由于其輕便和時(shí)尚性，受到人們普遍的喜愛。但是，在購買筆記本時(shí)，我們需要詳細(xì)地了解所買型號(hào)筆記本的外表及各種功能，為此我們往往要去各個(gè)商家挑選。為了方便，需要提供一個(gè)專門的筆記本電腦信息查詢系統(tǒng)，能讓用戶輕松的獲取各種型號(hào)筆記本的詳細(xì)參數(shù)與外觀。該系統(tǒng)提供一個(gè)良好的用戶界面，用戶查詢時(shí)，系統(tǒng)能根據(jù)用戶查詢語句精確地給出查詢信息，能夠較好地理解用戶的查詢語句。

4.2 系統(tǒng)開發(fā)平臺(tái)設(shè)計(jì)

本系統(tǒng)采用的是Eclipse6.5+MySQL5.1+Tomcat5.5的開發(fā)環(huán)境。

? Eclipse是一個(gè)開放源代碼的、基于Java的可擴(kuò)展開發(fā)平臺(tái)。在開發(fā)時(shí)搭配使用MyEclipse進(jìn)行開發(fā)。MyEclipse企業(yè)級(jí)工作平臺(tái)是對(duì)Eclipse IDE的擴(kuò)展，利用它可以在數(shù)據(jù)庫和J2EE的開發(fā)、發(fā)布，以及應(yīng)用程序服務(wù)器的整合方面極大地提高工作效率。它是功能豐富的J2EE集成開發(fā)環(huán)境，包括了完備的編碼、調(diào)試、測(cè)試和發(fā)布功能，完整支持HTML CSS、Javascript、Struts、Spring、SQL、Hibernate和JSF。

? MySQL是最受歡迎的開源SQL數(shù)據(jù)庫管理系統(tǒng)，它由MySQL AB開發(fā)、發(fā)布和支持。MySQL服務(wù)器支持關(guān)鍵任務(wù)、重負(fù)載生產(chǎn)系統(tǒng)的使用，也可以將它嵌入到一個(gè)大配置的軟件中。本文采用的是當(dāng)前的穩(wěn)定版本5.1。

? Tomcat是一個(gè)免費(fèi)的、開放源碼的、支持JSP和Servlet的web服務(wù)器。Tomcat是一個(gè)小型的輕量級(jí)應(yīng)用服務(wù)器，在中、小型系統(tǒng)和并發(fā)訪問用戶不是很多的場(chǎng)合下被普遍使用，是開發(fā)和調(diào)試JSP程序的首選。它運(yùn)行時(shí)占用的系統(tǒng)資源小，擴(kuò)展性好，支持負(fù)載平衡與郵件服務(wù)等開發(fā)應(yīng)用系統(tǒng)常用的功能。目前Tomcat5.5是較穩(wěn)定的版本，而且Eclipse也很好的支持該版本的集成，所以本文采用Tomcat5.5進(jìn)行開發(fā)。此外，本系統(tǒng)所應(yīng)用到的其它開源工具為：Struts1.2、Spring2.5、Hibernate3.1，網(wǎng)絡(luò)爬蟲Heritrix1.14.3，網(wǎng)頁解析工具HtmlParser2.0，全文檢索工具包Lucene3.0，中文分詞軟件IKAnalyzer3.0。

4.3 系統(tǒng)的組成結(jié)構(gòu)

整個(gè)系統(tǒng)由三個(gè)部分組成：網(wǎng)頁采集分析模塊、索引與數(shù)據(jù)庫模塊、web搜索界面模塊。其中網(wǎng)頁采集與分析分別由開源工具網(wǎng)絡(luò)爬蟲Heritrix和網(wǎng)頁解析器HtmlParser完成；由Lucene完成索引系統(tǒng)，并將索引與數(shù)據(jù)庫關(guān)聯(lián)；web查詢界面基于SSH框架設(shè)計(jì)完成。模塊組成結(jié)構(gòu)如圖4.1所示。

網(wǎng)頁抓取分析模塊索引與數(shù)據(jù)庫模塊InternetHeritrixWeb檢索模塊抓取的信息網(wǎng)頁Lucene建立索引HtmlParser文本格式信息返回查詢結(jié)果創(chuàng)建數(shù)據(jù)庫數(shù)據(jù)庫索引根據(jù)索引查找數(shù)據(jù)庫查詢索引基于SSH設(shè)計(jì)

圖4.1 系統(tǒng)模塊結(jié)構(gòu)圖

4.4 網(wǎng)頁抓取分析模塊設(shè)計(jì)

4.4.1 站點(diǎn)選擇

從技術(shù)角度看，選擇網(wǎng)站的主要依據(jù)有：

(1)網(wǎng)站能夠被Heritrix爬蟲抓取。因?yàn)橛械木W(wǎng)站使用了反爬蟲技術(shù)，防止未經(jīng)授權(quán)的爬蟲對(duì)面頁進(jìn)行抓取。

(2)網(wǎng)站的信息不是用javaScript動(dòng)態(tài)生成的。這種動(dòng)態(tài)生成的內(nèi)容需要在瀏覽器中運(yùn)行生成，是爬蟲無法獲取到的。

(3)網(wǎng)站的面頁結(jié)構(gòu)不應(yīng)該經(jīng)常變化，最好是使用一種模版動(dòng)態(tài)生成的。這樣有利于在分析面頁時(shí)，使用較為簡單的方式從網(wǎng)頁中解析數(shù)據(jù)。

除了上述3點(diǎn)技術(shù)方面的因素，在選擇網(wǎng)站時(shí)，也應(yīng)當(dāng)盡量選擇那些訪問量較大、產(chǎn)品信息比較齊全的網(wǎng)站。這樣，有利于數(shù)據(jù)完整性?；谏鲜龈饕蛩氐目紤]，本文選擇太平洋電腦網(wǎng)(http://$ 例如蘋果Macbook Pro 15(MC373CH/A)：

http://product.pconline.com.cn/notebook/apple/411413.html 產(chǎn)品詳細(xì)參數(shù)面頁URL的正則表達(dá)式為：

^http://product.pconline.com.cn/notebook/+[wd]+/d{5,6}_detail.html$ 例如蘋果Macbook Pro 15(MC373CH/A)詳細(xì)參數(shù): http://product.pconline.com.cn/notebook/apple/411413_detail.html 產(chǎn)品頁的產(chǎn)品圖片URL都是以.jpg結(jié)尾。

通過對(duì)網(wǎng)站URL分析，可以總結(jié)出我們要抓取的面頁URL的規(guī)律，只要抓取產(chǎn)品面頁和產(chǎn)品詳細(xì)信息面頁及產(chǎn)品圖片即可。因此，要擴(kuò)展Heritrix來實(shí)現(xiàn)上述抓取策略。Heritrix有多個(gè)擴(kuò)展點(diǎn)，本文選擇擴(kuò)展FrontierScheduler來抓取特定的內(nèi)容。FrontierScheduler是Heritrix的一個(gè)PostProcessor，它的作用是將Extractor中分析得出的鏈接加入到Frontier中，以待繼續(xù)處理。擴(kuò)展代碼如下：

protected void schedule(CandidateURI caURI){

//取得URI字符串

String url = caURI.toString();try{

//URI選擇策略 //匹配 具體型號(hào)url Pattern pattern_model = Pattern.compile(MODEL_URL);Matcher matcher_model = pattern_model.matcher(url);//匹配 型號(hào)詳細(xì)參數(shù)url

}

} Pattern pattern_detail = Pattern.compile(DETAIL_URL);Matcher matcher_detail = pattern_detail.matcher(url);//URL是產(chǎn)品面頁/詳細(xì)參數(shù)面頁/jpg圖片/DNS if(//matcher_detail.find()||matcher_model.find()||url.endsWith(“.jpg”)

} e.printStackTrace();||url.indexOf(“dns:”)!=-1){

getController().getFrontier().schedule(caURI);return;}else{ }catch(Exception e){ }finally{ 4.4.3 網(wǎng)頁解析工具HtmlParser 對(duì)于抓取到的網(wǎng)頁，需要經(jīng)過解析，提取出需要的信息以便更好的建立索引和創(chuàng)建數(shù)據(jù)庫。本文Html解析器是HtmlParser，HtmlParser是一個(gè)開源的Java庫，它提供接口，支持線程和嵌套的解析Html文本。HtmlParser提供了兩種訪問Html結(jié)點(diǎn)的方法：Visitor模式和Filter模式，本文采用了Filter模式。Filter模式通過設(shè)置一定的過濾條件，對(duì)每個(gè)結(jié)點(diǎn)進(jìn)行過濾，返回一個(gè)符合規(guī)則的節(jié)點(diǎn)列表。Org.htmlparser.filters包含所有已經(jīng)實(shí)現(xiàn)的Filter類型，定義了16種Filter。

例如要解析一個(gè)網(wǎng)頁中所有包含圖片的鏈接，分析可得該節(jié)點(diǎn)中具有鏈接標(biāo)簽名”a”，并且它的字節(jié)點(diǎn)中還必須包含圖片標(biāo)簽名”img”，則過濾器的定義為：

NodeFilter filter = new AndFilter(new TagNameFilter(“A”), New HasChildFilter(new TagNameFilter(“IMG”)))4.4.4 網(wǎng)頁信息結(jié)構(gòu)化

在抓取到筆記本產(chǎn)品各種信息的Html文本后，需要用HtmlParser對(duì)Html文本解析，得到建立索引所需的各種信息。處理后的的文件如圖4.2所示。

圖4.2 處理后產(chǎn)品的信息格式

從圖中可以看出文件的格式如下：第一行是筆記本品牌(包括中文和英文名稱)；第二行是筆記本具體型號(hào)；最后一行則是該筆記本的對(duì)應(yīng)圖片文件名，圖片名是經(jīng)過Hash后的字符串；其余部分則是該筆記本的詳細(xì)參數(shù)。將所有筆記本產(chǎn)品的信息按上述格式存儲(chǔ)，以便建立索引。

4.5 數(shù)據(jù)庫與索引設(shè)計(jì)

4.5.1 數(shù)據(jù)庫設(shè)計(jì)

本文數(shù)據(jù)庫結(jié)構(gòu)簡單，只有一個(gè)數(shù)據(jù)表來存儲(chǔ)筆記本產(chǎn)品的各種信息，數(shù)據(jù)庫各字段含義如表4.1所示。

表4.1 數(shù)據(jù)庫字段含義

字段名 Id name type content abstractcontent

字段含義 主鍵

品牌名稱，如”蘋果”

型號(hào)，如” ibook G4 M9627CH/A” 筆記本產(chǎn)品的詳細(xì)信息

詳細(xì)參數(shù)的摘要，供建立索引時(shí)使用

創(chuàng)建數(shù)據(jù)庫的SQL語句如下： create database searchdb;use searchdb;create table product（id

int AUTO_INCREMENT, name varchar(128), type varchar(128), content varchar(20000), abstractcontent varchar(512),);4.5.2 索引設(shè)計(jì)

在使用Lucene建立索引時(shí)，需要定義Lucene的Document格式。索引中的信息應(yīng)當(dāng)盡量少，只要能夠滿足用戶檢索要求就可以了。本文中，為Document構(gòu)建了4個(gè)Field：

//當(dāng)前產(chǎn)品在數(shù)據(jù)庫中的id

Field indentifier = new Field(“id”,id + “",Field.Store.YES, Field.Index.NOT_ANALYZED);//產(chǎn)品的品牌

Field name = new Field(”name“,product.getName(),Field.Store.YES, Field.Index.ANALYZED);//產(chǎn)品型號(hào)

Field type = new Field(”type“,product.getType(),Field.Store.YES, Field.Index.ANALYZED);//將筆記本產(chǎn)品的name、type、abstractcontent信息綜合起來，默認(rèn)的檢索域 Field all = new Field(”all“,text,Field.Store.YES, Field.Index.ANALYZED);上述4中Filed中，前3個(gè)與數(shù)據(jù)庫的內(nèi)容有直接的對(duì)應(yīng)關(guān)系，而最后一個(gè)Filed則是將name、type這兩個(gè)Filed拼接起來并添加了abstractcontent來進(jìn)行保存，為用戶提供一個(gè)檢索時(shí)的默認(rèn)Filed。這種方式占用了索引空間，但卻避免了使用多域搜索帶來的性能損失，還可提高檢索的全面性。

4.6 web檢索模塊設(shè)計(jì)

web檢索模塊基于SSH設(shè)計(jì)實(shí)現(xiàn)，由Struts作為控制器，Spring作為業(yè)務(wù)層，Hibernate作為數(shù)據(jù)持久層，結(jié)構(gòu)如圖4.3所示。

控制器Struts業(yè)務(wù)層SpringSpringAOP持久層HibernateHibernateTemplaterequestActionServletActionFrom數(shù)據(jù)庫responseJSPActionSpringIocHibernateDAO圖4.3 基于SSH的web檢索模塊結(jié)構(gòu)圖

從圖中可以看出，用戶的請(qǐng)求會(huì)發(fā)送給ActionServlet,用戶數(shù)據(jù)通過ActionForm Bean傳遞給Action，由Action類來通過Spring的IoC容器訪問Hibernate的DAO，DAO負(fù)責(zé)數(shù)據(jù)庫的交互，然后再返回JSP面頁將查詢結(jié)果進(jìn)行顯示。

第五章 信息檢索系統(tǒng)的實(shí)現(xiàn)

5.1 網(wǎng)頁抓取的實(shí)現(xiàn)

在抓取任務(wù)開始前，需要對(duì)抓取的內(nèi)容進(jìn)行詳細(xì)地分析，確定種子，即開始抓取的網(wǎng)頁。本文中為了能盡量獲取全部的產(chǎn)品信息，直接將需要抓取的面頁(包括產(chǎn)品面頁、詳細(xì)參數(shù)面頁、圖片)的URL作為抓取的種子，這就需要找出所有產(chǎn)品的具體URL。在太平洋電腦網(wǎng)上提供了站內(nèi)搜索功能，當(dāng)輸入查詢某品牌的筆記本就能得到站內(nèi)所有該品牌標(biāo)記本的信息的面頁，當(dāng)然面頁中也包含這些筆記本的產(chǎn)品面頁的URL，這就提供了抓取的種子。依次查詢各個(gè)品牌的筆記本，將查詢結(jié)果面頁保存到本地，然后用HtmlParser解析得到其中產(chǎn)品面頁的URl，寫入種子文件。

圖5.1 查詢結(jié)果面頁源代碼

從網(wǎng)頁源代碼中可以發(fā)現(xiàn)解析網(wǎng)頁時(shí)可以得到該品牌所有筆記本產(chǎn)品的產(chǎn)品面頁和詳細(xì)參數(shù)面頁的URL。其中產(chǎn)品詳細(xì)參數(shù)面頁URL的節(jié)點(diǎn)形如：