基于网络蜘蛛的ACM自动刷题系统设计与实现

基于网络蜘蛛的ACM自动刷题系统设计与实现摘要互联网的发展日新月异，编程的门槛也越来越低，高薪吸引着众多人加入到IT行业。

这也使得越来越多的编程初学者需要强化自己的编程思维，他们可以通过在各个高校ACM平台上练习来提高自己的编程能力。

在没有老师、同学的帮助下，如何帮助初学者解决难度较高的题目，是一个值得研究的问题。

利用网络蜘蛛的技术为此类问题提供一个有效可行的途径，将它与ACM刷题结合起来，能更好地帮助初学者解决类似的问题。

本课题主要研究的主要内容包括：网页文本的自动抓取、答案文本的预处理、自动刷题器的实现。

分析了网页文本的特点和目标代码转换的关键技术，实现了基于网络蜘蛛的ACM自动刷题系统的总体设计及各个功能模块。

主要的功能模块分别为：网络蜘蛛、文本内容过滤、目标代码转换、自动刷题器。

首先分析了网络蜘蛛的遍历策略及.NET自带的网页解析器、答案文本预处理中文本过滤器与目标代码转换，在此基础上实现了自动刷题器，再使各个功能模块协调实现了自动刷题系统。

关键词：网络蜘蛛 ACM 文本过滤自动刷题1引言随着互联网的高速发展，编程的门槛也越来越低，高薪吸引着众多人加入到IT行业。

这也使得越来越多的编程初学者需要强化自己的编程思维，可以通过在各个高校ACM平台上练习来提高自己的编程能力。

而对于初学者来说，难度较高的题目也无法独立解决，需要自己借助网络平台、同学、老师求助等来解决这类难题。

为了更好的帮助这些初学者，可以利用网络蜘蛛的技术，将它与ACM 刷题结合起来，能更好地帮助初学者解决类似的问题。

1.1研究的意义互联网上资源与日俱增，如何在众多的资源当中快速有效地获取相关的资源并利用是我们研究的热点，基于网络蜘蛛技术为此类问题提供了一个切实可行的途径。

同样也可以利用网络蜘蛛技术完成ACM自动刷题，来帮助编程初学者提高编程能力，他们也不再需要去百度搜索题目资料，这也就简化他们刷题过程，提高编程效率，也为他们提供解决编程过程中遇到问题一种新的方式。

1.2 本课题研究的主要内容本文分析了在目前编程初学者存在的主要问题的基础上，提出一种基于网络蜘蛛技术ACM自动刷题解决方案，它能有效地帮助编程初学者，大大降低初学者手动搜索答案筛选的工作量。

基于网络蜘蛛技术的自动刷题涉及到网页文本的自动抓取、网页文本的预处理、网页文本的自动刷题器等。

该系统不仅可完成网页文本的自动刷题的能力，也可以用于信息搜索的优化，实现网络上资源的获取并选择利用。

1.2.1网页文本的自动抓取网络蜘蛛（即Web Spider）是目前搜索引擎从互联网上抓取目标WEB网页的广泛使用的工具。

庞大的互联网如同一个巨大的蜘蛛网络，那么Spider就是在互联网上的蜘蛛。

通过网络蜘蛛访问网页，抓取网页文本内容，然后对抓取的网页文本内容进行文本解析，从中提取用于自动刷题器的文本内容。

网络蜘蛛是通过上一个网页中的URL来寻找下一个网页。

一般地，从该网站的首页开始，获取该网站首页的内容，找到在该网页中的链向其他网页的链接，然后通过这些链接去寻找下一个网页，以此类推，直到该网站的所有链接都被遍历过为止。

网络蜘蛛对网页抓取分析，提取出网页文本中的某些关键信息或链向到其它网页的URL地址。

1.2.2答案文本的预处理答案文本预处理包括文本内容过滤和目标代码（即查找的题目所对应答案文本）转换两个子模块。

文本内容过滤是对网页文本进一步过滤，从中提取用于目标代码的文本内容。

目标代码转换是把经过过滤后的文本内容转换成可编译代码，其中的主要问题是HTML文件处理和目标代码中特殊字符的转换。

HTML文件当中的字符实体是为了在HTML中显示特殊的字符，而可编译代码不同于字符实体，可编译代码通过ASCII码来显示特殊字符，因此需要进行转换。

可编译代码的ASCII码与特殊字符一一对应，而HTML中通过实体与特殊字符一一对应。

这就使得网页文本的预处理变得复杂。

1.2.3自动刷题器的实现自动刷题器包括：用户自动登录、答案文本自动搜索、源代码自动提交、刷题状态自动判断，但如何使各个功能模块自动化处理协调是本系统的硬性标准。

目前，用户自动登录都是通过预先在数据库中保存账号实现的，本系统是否可以采用其他方式实现自动登录也是值得思考的。

答案文本自动搜索可以通过常用的百度搜索引擎实现，但如何结合网络蜘蛛技术实现自动搜索功能也是需要多加思考。

自动刷题状态判断这一部分可以采用与大多数系统一样，通过程序判断即可，但程序判断结果如何处理也是尽量做到智能化。

自动刷题器的实现也就能大大降低编程初学者手动搜索的工作量了。

因此，自动刷题器的实现及其关键技术是本课题研究的重点之一。

2总体设计在这部分主要介绍本课题总体设计的各功能模块，选取合理的开发平台和开发语言。

2.1功能模块基于网络蜘蛛的ACM自动刷题系统主要由网络蜘蛛、网页文本内容过滤器、目标代码转换、自动刷题器等模块组成。

总体结构功能模块图如图2-1所示。

图2-1功能模块图2.1.1网络蜘蛛网络蜘蛛的功能是从互联网获取网页页面的内容。

它能够根据权限获取站点的全部或部分网页文本资源。

通过网络蜘蛛技术可以实现答案文本的自动搜索，只要预先设定一个URL给网络蜘蛛，它可以抓取该网页中的链接到其他网页的URL。

这也就类似于，在百度搜索引擎下，输入关键字，查找关键字信息。

因此，利用网络蜘蛛技术是可以实现答案文本的自动搜索。

2.1.2网页文本过滤器网页文本过滤器主要是将网页中与答案文本无关的内容过滤掉。

诸如：网页中的多媒体信息、文档信息、HTML文件信息过滤掉，提取出所需的答案文本和子链接，将子链接保存下来。

2.1.3目标代码转换目标代码转换的功能是将文本内容过滤出的目标代码转换成可编译代码。

由于目标代码存在特殊字符，无法通过刷题平台编译系统，因此需要将特殊字符转换成可编译的特殊字符。

2.1.4自动刷题器自动刷题器功能包括：用户自动登录模块、答案文本自动搜索模块、源代码自动提交模块、刷题状态自动判断模块。

用户自动登录模块采用类似快捷键的方式实现自动登录的，答案文本自动搜索模块是通过网络蜘蛛技术实现答案文本在百度搜索引擎自动搜索的，源代码自动提交模块与自动登陆模块类似。

刷题状态自动判断是在对答案文本预处理以及文本完成目标代码转换成可编译代码后得到之后再紧接着判断刷题状态。

2.2开发平台选择开发一个操作简便、功能易于扩充、执行效率满足要求、信息处理灵活、网络交互能强力等特点的自动刷题工具，C#是一个很好的选择。

Visual Studio 2015 C#是基于Microsoft .NET平台的开发工具，在Microsoft .NET平台下，可以使用该平台提供的一系列的工具和接口来最大程度地开发本系统。

比如：借助强大的WEB控件组件可以轻松的实现IE浏览器的功能，这与JAVA相比，实现IE浏览器功能就简单不少。

此外，C#的另一个优点在它具有与C++类似的语法，但C++是一种混合式语言，而C#是完全面向对象的。

而且使用C#语言开发出较少bug的代码比用C++要方便得多。

在C#语言中，它具有以下特性来消除开发者经常会出现的bug：（1）在C++中，它需要开发者自己手动删除动态分配给堆的内存，而在C#中，我们并不需要这么做。

在C#中，采用自带的垃圾回收机制，它能自动在合适的时机回收不再使用的内存，因此不会出现像内存泄漏的情况。

（2）在C++中，会涉及到使用大量的指针，而在C#中，通过类实例的引用，有效避免了指针使用。

而且C#也不再支持指针类型数据，提高了程序安全性，从而使程序更加健壮。

（3）在C#中，C#的对象模型使得面向对象的编程思想有了更好的体现，它使用的是.NET框架的类库。

在.NET框架下，C#开发者拥有了一个逻辑结构一致的程序设计开发环境。

而在C++中，则更依赖于以继承和模板为基础的标准库，使得程序开发者的工作量会加大。

（4）在C#中，C#不再支持多重继承，通过从Object C中借鉴而来的接口实现多继承，能代替多继承大部分功能，而且也不需要管理多重继承层次关系。

3网络蜘蛛网络蜘蛛（Spider）又被称为网络机器人（Robot）或者爬虫（Crawler），它的主要目的是为获取在互联网上的信息。

当我们遇到问题时，第一反应便会想到去使用百度、谷歌等搜索引擎。

正当我们使用这些搜索引擎时一定会有这样的疑惑：互联网上的丰富的信息资源是如何被搜索引擎检索到的呢？了解了网络蜘蛛技术之后，显然这些搜索引擎正是运用了网罗蜘蛛技术才能够快速地找到如此之多的相关信息。

广度优先搜索网络蜘蛛基本工作的方式：首先查看其中一个页面内容，从中提取相关信息和URL链接，然后再访问该网页的所有URL链接提取相关信息和URL，以此类推，直到站点全部被访问完。

显然，网络蜘蛛工作方式就如同一张蜘蛛网，因此它被称为“网络蜘蛛”。

3.1网络蜘蛛的遍历策略整个互联网事实上是一个庞大的图，当中的每一个URL都类似于图中的一个节点，因此，对于网页遍历也可以采用图的遍历算法进行访问。

一般地，网络蜘蛛的遍历策略有三种：广度优先、深度优先和最佳优先遍历，这三种遍历策略与图的遍历一一对应。

首先，大多数网络蜘蛛会采用广度优先遍历。

广度优先的网络蜘蛛会优先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页，一层一层地访问[1]。

这是最常用的方式，使用这个方法可以提高网络蜘蛛抓取速度，因为它可以让网络蜘蛛并行处理。

深度优先遍历是指网络蜘蛛从起始页开始，跟踪每个子链接，访问完这条线路上所有网页之后再访问下一个起始页，继续跟踪子链接，以此类推，直到站点全部被访问完[2]。

这个方法的优点是网络蜘蛛比较容易设计实现。

最佳优先遍历策略又称为“页面选择问题”，为了先抓取重要的网页，可以采用最佳优先遍历策略，通常保证在有限带宽下，做到尽可能访问到重要的网页。

如图3-1所示的一个简单的网站结构拓扑图，使用不同的搜索策略，得到的搜寻路径自然也不同。

图3-1网站结构拓扑图按照广度优先遍历策略抓取算法，则可能的抓取顺序为：A，B，C，E，F，G，H，D。

如果按照深度优先遍历策略抓取算法，则可能抓取顺序为：A，C，G，D，再回溯抓取E，H，再抓取B，最后抓取F。

在图中存在着环路A-C-G-D-A，因此应采用适当的策略避免陷入死循环。

一种可行的方法是：将所有已经访问过的网站的URL地址存入到URL历史表中，对任何一个未被访问的网站，都应先将其URL地址与URL历史表中进行比较，若是一个新URL地址，则访问该网站，否则，不需要对该网站的访问。

因为我们不可能抓取所有的网页，系统开发者可以在网络蜘蛛中对一些次要的网站设置访问层数的限制，即对于超过一定层数的网页不再抓取。

例如，在3-1图中，假设A为网站起始首页，则A属于0层，B、C、E、F属于第1层，G、H属于第2层，D属于第3层。