【精品】网页序列分析系统毕业论文40论文41

目录第一章绪论 (1)第二章数据基本分析 (2)2.1数据说明 (2)2.2质量分析 (2)2.3 基本描述分析 (2)第三章数据预处理 (4)3.1 数据处理过程 (4)3.2 数据预处理方法 (4)3.3 数据预处理结果 (6)第四章数据模型构建 (8)4.1 数据流的构建 (8)第五章模型结果分析 (12)5.1结果的分析处理 (12)5.2 结果合理性分析 (13)第六章应用系统设计 (16)6.1模型接口 (16)6.2人机接口 (19)6.3软件测试 (24)结论 (30)参考文献 (31)结束语 (32)第一章绪论由于网站的结构设计，对特定用户而言信息获取的代价与所经过的浏览路径长度成正比，这些位于路径中间的不必要的文档就无疑增加了用户获取信息的代价。

本文利用Clementine数据挖掘的方法和技术对用户所访问的页面序列进行挖掘，构建网页推荐的模型，实现对当前站点排序方式的优化，从而最大限度地优化用户访问体验，提高当前站点信息获取的整体效率。

[关键词] 网页推荐；Clememtine数据挖掘；访问序列传统的Web网站以系统自身为中心，为了容纳大量的信息，以图结构组织网站，页面之间存在着比较复杂的层次关系。

这些预先设计好的浏览路径(网站的结构)严格按照设计者编辑好的层次返回页面，因此，为了获取特定的信息，从同一页面出发的所有用户都不得不重复地经过很多与自己毫无关系的、不希望看到的中间链接页面，使得用户为了获取少量的信息付出较大的代价。

如果在确保网页内容的前提下，实现网站物理结构的调整和再组织，就可以避免混乱。

站点路径优化实际上就是站点管理者优化其站点结构，它的出现就是为了提高用户的访问效率以及用户对站点的忠诚度。

第二章数据基本分析2.1数据说明本数据来自网络信息服务（IIS）网站msnbc和msn1999年9月28日全天日志记录，每行连续数据表示单个用户24小时内浏览网页的记录，连续数据中的数字表示用户对相应网页的浏览请求，该访问请求不会被记录成详细的记录，即具体的网址，而只是单单记录了网页类型。

这些网页类型分别是 "frontpage", "news", "tech", "local", "opinion", "on-air", "misc", "weather", " board service), "travel", "msn-news", and "msn-sports"。

通过超高速缓冲器（寄存器）每个网页的服务请求不会被记录到服务日志，因此，它不会体现在数据中。

2.2质量分析此次分析的数据总共有989818，平均每个用户点击网页的次数是5.7次，每个不同类型的网页有10到5000个不同的URL（网页地址）。

从数据的质量上看，这是一个较大的数据集，数据的量足够大，可以用于数据的挖掘分析，且数据来源于Internet Information Server (IIS)，有足够可信度。

用户平均点击网页的数据也有 5.7次，适合用于分析点击网页序列，每种类型的网页也有足够多的不同网址，符合客观要求。

因此从数据质量上看，所选取的数据有分析的必要。

2.3 基本描述分析截取部分数据如下：1 123 2 24 2 2 2 3 35161 166 7 7 7 6 6 8 8 8 86 9 4 4 4 10 3 10 5 10 4 4 41 1 1 11 1 1 112 121 1每一行代表一个用户所点击的网页，此次选取的数据之中一共有17个不同类型的网页，分别是：frontpage news tech local opinion on-air misc weather msn-news -sports sports summary bbs travel为了方便处理，将以上各个网页进行编号，分别为1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17。

一第三行数据为例对单个用户的数据进行说明。

用户3第一次点击3号网页，第二次点击2号网页，第三次点击2号网页，第四次点击4号网页等一次类推下去。

每一行都是一个用户的记录第三章数据预处理3.1 数据处理过程此次任务是设计基于网页点击次序来推送下一次可能点击的网页。

选取的方法是Clementine 的序列关联，所以要将数据处理成Clementine可读取的格式，并且要删减不必要的数据，改写数据的格式，这样才能达到分析处理的要求。

结合mnsbc提供的数据具体分析：每行数据是一个用户的信息记录，表示的含义是第n号用户点击了哪个网页，是第几次点击的。

举出部分数据样例如下：1 123 2 24 2 2 2 3 35161 166 7 7 7 6 6 8 8 8 86 9 4 4 4 10 3 10 5 10 4 4 41 1 1 11 1 1 112 121 1因为此次任务是进行序列关联分析，所以用户只进行了一次点击情况的记录可以直接删除，比如样例中2，4，5，6，8号用户。

又因为最终要进行的操作是推送下一个可能点击的网页，如果用户只是在不断的点击同一个网页，这样的记录也无法分析可推送的网页，故也要剔去，如样例中1号用户。

还有一种情况就是在多次点击过程中有重复点击的网页，这样的情况只需选取一次即可，因为我们所关系的是网页点击的次序而不是次数，现对样例中9号用户的数据进行分析，用户9第一次点击6号网页，第二次点击7号网页，第三次点击6号网页，第四次点击8号网页。

根据以上的要求，可将数据处理成三列，分别表示用户号，用户点击的网页号，此次点击的次序号。

将处理好的数据保存在文件中等待处理即可。

3.2 数据预处理方法根据数据处理过程，决定运用microsoft visual c++软件，进行编程处理，程序分析过程如下：1.先取数据文本中一行数据赋值给数组msn2.将msn数组按照空格分隔符分割，并将分割后数据转换为整型，赋值给msn1数组。

3.对msn1数组中数据进行前后比较，如若相等，则将前一个赋值为04.将数组msn1中数据进行判断，大于0，则将数据赋值给数组msn2。

5.将数组msn2中数据个数大于1的，按形式为三列，分别是用户号，用户点击的网页号，点击网页的次序号的格式写入e.txt文本文件。

6.具体代码分析如下：#include <iostream>#include <fstream>#include "memory.(){cout<<"正在处理，请稍等.....";void quchu();int i=0,count=0;char msn[100000];保存字符型数据数组int msn1[100000];保存一行int型数据数组int msn2[10000];保存无重复数据数组fstream out;ofstream in;定义文本输入输出流out.open("msnbc990928.seq",ios::in);打开文本数据in.open("e.txt",ios::trunc); ios::trunc表示在打开文件前将文件清空,由于是写入,文件不存在则创建while(!out.eof()){字符达到100个或遇到换行就结束const char * split=" "; 将数据变为int型char * p;i=0;p=strtok(msn,split);while(p!=NULL){msn1[i]=atoi(p); 将截取数字转换为整型，赋值给数组p=strtok(NULL,split);i++;}int ii=i;int a=0;for(i=0;i<ii;i++){if(msn1[i]==msn1[i+1]) 判断是否重复，重复则将前一值赋值为0 msn1[i]=0;if(msn1[i]>0)将符合条件的赋值给数组{msn2[a]=msn1[i];a++;}}int aa=a;保存一行数字个数if(aa>1)将一行的个数大于1的按要求写入文件{for(i=0;i<aa;i++)in<<count+1<<','<<msn2[i]<<','<<i+1<<"\n";count++;}}out.close();关闭文件}3.3 数据预处理结果数据处理好之后，形式为三列，分别是用户号，用户点击的网页号，点击网页的次序号。

取部分处理好的结果如下：ID,CONTENT,TIME1,3,11,2,21,4,31,2,41,3,52,6,12,7,22,6,32,8,43,6,13,9,23,4,3开头是加上的字段名。

表达的含义是一号用户第一到第五次分别点击3，2，4，2，3号网页。

这个数据就可以用Clementine进行处理分析了。

第四章数据模型构建4.1 数据流的构建打开Clementine软件，在源选项卡中选择“可变文件”节点，单击编辑，进行如下设置：在文件设置中，导入处理好的数据，勾选“读取文件中的字段名”，在定“界符中”选项框中勾选“逗号”，“新行”；在类型设置中，将ID字段设为无类型，CONTENT设为集，TIME设为范围。

设置过程截图如下：图1 导入数据图2 数据类型设置再点击选取表节点，连接可变文件，执行，观察数据是否正确导入了。

然后在数学建模选项卡中选择“序列”节点，连接可变文件，点击编辑，进行如下设置：在字段设置中，将ID字段设置为ID,勾选“设置时间字段”，选择TIME，内容字段中选择CONTENT。

在模型设置中，设置合适的最小规则支持度，最小规则置信度，最大序列大小，要添加到流的预测。

设置过程截图如下：图3 序列分析字段设置图4 序列分析模型参数设置以上过程设置好后，对“序列”字段点击执行，产生结果。

数据流的构建过程截图如下：图5 数据流构建第五章模型结果分析5.1结果的分析处理首先在“序列”节点的模型设置中设置好合适的最小支持度，最小置信度。

现在将最小支持度设置为3%，，最小置信度设置为60%，取其结果进行相应的分析。

结果如下：图6 测试模型结果将最小支持度设置为3%，最小置信度设置为60%是为了剔除最小支持度小于3%，最小置信度小于60%的结果。

以第一条结果为例进行说明：前项为4，7，后项为4，表示点击了4号网页，再点7号网页，可推送出4号网页。