信息检索与搜索引擎技术实验向量空间模型

昆明理工大学信息工程与自动化学院学生实验报告

( ２０１4—２01５学年第1学期)

课程名称:信息检索与搜索引擎技术开课实验室:信自楼445 201４年12月２3日

一、上机目得及内容:

给定文档语料:

ｄ1: 北京安立文高新技术公司

ｄ2: 新一代得网络访问技术

ｄ3: 北京卫星网络有限公司

d4: 就是最先进得总线技术。。。

ｄ5: 北京升平卫星技术有限公司得新技术有。。。

设计一个针对这些文档得信息检索系统。具体要求就是:

1)给出系统得有效词汇集合(说明取舍原因)。

2)写出d1与d2在VSM中得表示(使用tf＊idｆ,写出各项得数字表达式,具体数值不必实

际计算出来)、

3)画出系统得倒排文件示意图。

4)按照向量夹角得余弦计算公式,给出针对查询“技术得公司”得前3个反馈结果、

二、实验原理

1)给出系统得有效词汇集合(说明取舍原因)、

北京、安、立、文、高新、技术、公司、新、网络、访问、卫星、有限、先进、总线、升、平

得、就是、最、有,这些词作为停用词不能加入系统得有效集合

一、代,去除后并不影响原来句子语义得表达也不能算作系统得有效集合。

2)写出d1与d2在VSM中得表示(使用tｆ*iｄf,写出各项得数字表达式,具体数值不必实际计

算出来)、

得到得矩阵:

说明: TF:表示词项在

该文档或

者查询词

中出现得频度。即该词项出现次数除以该文档得长度(所有词得个数)

:表示词项k 在D i 中得出现次数。

:表示该文档得长度(所有词得个数)

ＩＤF:表示词项在文档集合中得重要程度。一个词项出现得文档数越多,说明该词项得区分度越差,其在文档集合中得重要性就越低。

Ｎ:表示集合中得文档数; :表示出现词项k 得文档数。 d1中各词项得数字表达式

“北京"得

“安”得

“立”得

“文”得

北京 1

0 1 0 1 ３ 安 １ 0 ０ 0 0 １ 立 1 0 0 ０ 0 1 文 1 0 0 0 0 1 高新

1 0 ０ 0 0 1 技术

1 1 0 0 １ 3 公司

1 0 1 ０ 1 3 新

0 1 0 0 １ 2 网络 0 1 1 0 0 2 访问 0 1 0 0 0 1 卫星 0 0 1 0 1 2 有限 0 0 1 0 1 ２ 先进 0 ０ 0 1 0 1 总线 0 ０ 0 1 ０ 1 升

0 0 0 0 1 1 平 ０

０ 0 0 1 1

“高新”得

“技术”得

“公司”得

ｄ2中各词项得数字表达式:

“新"得

“网络”得

“访问"得

“技术"得

3)画出系统得倒排文件示意图。

4)按照向量夹角得余弦计算公式,给出针对查询“技术得公司"得前3个反馈

结果。

该部分由代码实现。

三、实验方法、步骤

1．建立Javａ项目,

2．建立DoｃumentStrｕｃt.java类文件并编辑

3．建立TeｘtＶector.javａ类文件并编辑,如图4－１,图4－2所示

图4—１

图4－２

4．建立TF、ｊaｖａ类文件并编辑,如图图4-7所示

图4—4

5．建立IDF。java类文件并编辑,如图图4—5所示

图4-5

6．建立CaculａteSiｍ。ｊaｖａ类文件并编辑,如图４－6所示

图4－6

7．建立MaｉｎApp、jaｖａ类文件并编辑,图4-7所示

图４－7

8．完成后得项目文件夹如图４-8所示

图４-8

9．运行结果如图4－9所示

1.DｏcｕmeｎｔStrｕct。java代码:

paｃkageａcｍ.mｏdel;

ｐublic cｌass DocumentStruct｛

ﻩpuｂlicDocumenｔSｔrｕｃt()｛ﻩｔhis。docｕmeｎtID ＝０;

ﻩﻩthis。documｅntSｉｍValue=0;

this、doｃumentConteｎt =”Noｎe”;

thｉs.documentName ="Nｏne＂;

ﻩ｝

publicDocｕmeｎtＳtruct(int IＤ, doｕblｅ

siｍ, Sｔrinｇnａmｅ, String cｏntｅｎｔ)｛

ｔhiｓ、ｄoｃumentID = ID;

this.documentSiｍValuｅ=sｉｍ;

ﻩthis。docuｍｅntＮame= name;

ﻩﻩtｈis。documentＣｏntent = cｏnteｎt;

｝

ﻩpubｌic Strｉｎg gｅｔＤocumenｔＣｏnｔeｎt() ｛

ﻩreｔurndoｃumｅntCｏntent;

}

ﻩpublｉc void sｅtDocumentContent(Sｔring documentContent) {

ﻩthiｓ.docuｍentContｅnt = ｄｏｃumentC

ｏｎteｎt;

ﻩ}

puｂlicＳtｒing ｇetDocｕｍenｔNamｅ() {

ﻩﻩｒeturndoｃuｍentNaｍｅ;

}

publiｃｖoid setＤocuｍｅntNaｍe(Sｔrｉng docuｍｅntＮame)｛

ﻩﻩｔhｉｓ。dｏcｕmｅntNamｅ= ｄoｃｕｍｅｎtName;

ﻩ}

ﻩpｕｂlｉc douｂle getＤocumｅntSimＶalue() ｛ﻩﻩｒeturndocumenｔSiｍVａlue;

ﻩ}

ﻩpuｂlic void setDocumentSimValue(doｕble ｄoｃumeｎtＳｉｍValｕe) {

ﻩtｈｉs、documeｎtSiｍValｕe =docume ｎtＳimVaｌｕe;

ﻩ｝

ﻩpublｉciｎtgetDocｕmentＩＤ() {

ﻩreturnｄocumｅntID;

｝

ﻩpublｉcｖoid seｔDｏcｕmentIＤ(iｎtｄocumentIＤ) ｛

ﻩｔhｉs。ｄｏcumentIＤ＝ｄocumｅｎｔＩＤ;

ﻩ}

ﻩpuｂliｃDocumentStrｕｃt［] sｏrtDocBｙＳ

im(DocumｅntStruct［］docLｉsｔ)｛

ﻩDocｕmeｎtＳｔruｃｔｔｅmp;

ｆor(intｉ=０; i

ﻩfor(iｎt ｊ＝ｉ; j〈docLｉｓt。length—1; ｊ++){

ﻩif(ｄocList［ｉ］、gｅｔDocum ｅntＳiｍＶａluｅ() ＜ｄoｃＬisｔ［j］。ｇetＤ

ocumｅntSiｍValue() ){

ﻩﻩteｍp= doｃList［i];

ﻩﻩﻩdocLisｔ［ｉ] = doｃLisｔ［j];

ﻩﻩﻩﻩdocList[ｊ］＝temp;

ﻩ｝

ﻩﻩ｝

}

ﻩretuｒndｏcList;

｝

ﻩｐriｖａｔe Sｔｒing ｄocumentName;

ｐriｖaｔe StrｉnｇdocuｍentCｏnｔeｎt;

ﻩｐｒiｖate ｄoubｌeｄocuｍｅnｔSimVａlue;

ﻩprivａｔeiｎtｄｏcumentID;

}

2.TextＶector。jaｖａ代码:

ｐackａｇｅaｃm、modｅl;

publiｃclass ＴextVectｏr ｛

pubｌicTｅｘｔVｅctｏｒ(iｎｔｄimeｎｓｉon, inｔ[］teｒmＣｏunt,iｎtｄocｕｍenｔ

TermCounｔ, ｉnｔdocumｅｎtCｏunt, int[]

docuｍentConｔainＴerｍCount)｛

ﻩﻩveｃtorWeighｔ＝ｎew dｏｕble［dimeｎｓｉ

ｏn］;

ｆor(iｎti=０; i

(termＣｏunt[i］, ｄｏcumｅnｔTｅｒｍCounｔ, docｕmenｔCounｔ,doｃumentＣonｔaｉnTe

ｒmCoｕnｔ［i]);

ﻩ}

ﻩ}

public double cacuｌateWｅight(ｉnttｅr ｍCｏuｎｔ,ｉntdoｃumentTermCouｎt, inｔ

ｄocｕmentCoｕnt, intdoｃｕmｅntContainＴ

ermCouｎt){

ﻩTF teｒmTF ＝ｎew TF(termCouｎt,

documenｔＴermCount);

IDF ｔermIDＦ= neｗＩDF(docuｍｅntCｏｕｎｔ, docｕmｅnｔContainTermCoｕ

nt);

ﻩﻩｔerｍTF、caculateTＦ();

ﻩtｅrmＩＤF.cａculaｔeＩＤF();

ﻩretuｒn(tｅrmTF。gｅtTｆ()＊ｔermIDF。get Ｉdf());

ﻩ｝

ｐｕbｌic double［] geｔVeｃｔoｒWeｉght() ｛