7网上新闻资源自动采集系统

毕业设计（论文）开题报告材料1、开题报告2、文献综述3、文献翻译

1.综述本课题国内外研究动态，说明选题的依据和意义随着互联网技术的迅猛发展，人们获取资讯的方式不再是仅仅从报纸或者电视。更多的人选择上网浏览或者是通过手机获取。相比前面的两种方式，后者更具及时性，而且信息量更大，传播范围更广。从而衍生了第五媒体的说法，这也带动了相当的周边产业的发展。而这些优点的体现同样需要一个强大的技术平台和相当数量的工作人员来支撑，本文将通过对资源采集系统的介绍，为构建这样一个低成本的信息共享平台提供建议。1.新闻采集系统的现状动态网页技术的出现彻底的改变了传统互联网的模式。它让站长可以更加轻松的更新站点的内容信息。同时也让网络的应用变得更加丰富。以动态网页技术实现的应用如雨后春笋般出现。新闻采集系统也在那个时期开始发展。从最初的ASP版本到现在的多元化语言的版本，虽然架构一次次被更新，功能越来越完善，当然系统的设计目标始终都没有发生改变，实现资源的自动采集来减少人工录入所增加的成本。如今，新闻采集系统技术已经非常成熟。市场的需求量也非常大。在百度中输入“新闻采集系统”可以搜到近393,000条信息，可见这一应用的广泛程度。特别是一些新兴的站点，主要以广告盈利为目的，如果使用新闻采集系统那可以让站长不用去操心如何更新网站内容，一但架设好就几乎可以“一劳永逸”了。2.项目提出的背景通常对于新闻类专业或者大型的门户网站，都拥有自己的新闻渠道或者专门的采编人员，这往往需要很高的成本。新闻采集系统（手机应用版）用于在资源相对匮乏的情况下，使用程序的方式来进行远程抓取。在没有人工干预的情况下可以实现自动采集和资源的共享。一方面可以保证信息更及时更有效，另一方面可以提高工作效率和减轻编辑的负担。为企业提供可靠的信息来源和降低相当的成本。3.主流系统的分析总的来说目前的新闻采集系统已经比较成熟，主流的新闻采集系统基本上可以实现以下功能：1.对目标网站进行信息自动抓取，支持HTML页面内各种数据的采集，如文本信息，URL，数字，日期，图片等。

2.用户对每类信息自定义来源与分类3.支持用户名与密码自动登录4.支持记录唯一索引，避免相同信息重复入库5.支持智能替换功能，可以将内容中嵌入的所有的无关部分如广告去除6.支持多页面文章内容自动抽取与合并7.支持下一页自动浏览功能8.数据直接进入数据库而不是文件中，因此与利用这些数据的网站程序或者桌面程序之间没有任何耦合9.支持数据库表结构完全自定义，充分利用现有系统10.保证信息的完整性与准确性，绝不会出现乱码11.支持各种主流数据库，如MSSQL、Access、MySQL、Oracle、DB2、Sybase等4.讨论的范围上面讨论的新闻采集系统与本文所讨论的略有不同，主要是我们的目标有些差别。传统的新闻采集系统都是基于WWW网站。采集的困难程度要略高与WAP网站。因为WWW网站页面内容相对复杂而且更加丰富，最重要的是它没有类似XML的约束

性，网页源文件的格式内容可能会因为编写人员的疏忽存在很多错误，这将导致我们在抓取的时候可能会碰到很多解析问题，比如符号的丢失，不能匹配等等，对于采集系统最重要的是能够匹配到想要抓取的内容，如果不能解析网页的源代码不能建立完整的目录树，也就是结构不完整这将很可能造成我们在采集特定内容的时候出现偏差或者采集不成功。所以，对于采集WWW的网站不光需要采集程序的规则编写者有一定的判断力，而且要求网站的编写人员能够按照W3C规范来编写页面。但是，现在的情况是往往用户的浏览器能排除大量的错误，所以会给真正的开发人员一个错误的信号认为自己的页面没有问题，这时候我建议将页面提交到W3C的检验工具来进行检测，这是一个相对繁琐的步骤。WAP网站的优势这时候就体现出来了，因为它严格遵守这些规范，如果出现标记不能匹配或者是不能识别的标签时将会报错，这对于测试人员来说无疑是个好消息，这将大大的降低测试的成本，加快项目的建设。对于采集程序的开发者来说也绝对是个好消息，我们在编写规则的时候就无须考虑太多意外的情况，这为我们这个项目的提出也奠定了一定的基础。当然，随着手机上网的普及和3G网络的建成，越来越多的人已经开始习惯使用手机来获取信息，这已经成为一个趋势，可能在未来的什么时候电脑也将被手机所代替，无线网络最终将代替现有的电缆线路。我们抓住这个形式，将要开发基于手机浏览器平台的浏览内容，我们采集的对象也是WAP网站，可以将内容无缝嵌入到现有的栏目中，真正实现即抓即用。2.研究的基本内容，拟解决的主要问题1.功能规划1.新闻采集采集系统的运行过程是个根据任务列表不断的读取目标站点，采集需要的信息的一个过程。在读取新闻的时候需要维护一个连接，需要分析各种各样的网络连接状况，而系统的维护人员需要针对专门的页面定制一套规则，用来解析各个需要的信息部分，并且这套规则必须符合一定的规范。我们将制定一些任务的规则规范：1.页面地址：列表的入口地址2.附加参数：针对详细内容的地址附加的一些参数（比如：显示全文）3.列表规则（正则表达式）：1.ExceptWords:用于替换列表中不需要的字符2.TextRegEXP:用于筛选新闻条目（包含：链接和地址）4.内容规则（正则表达式）：1.ImgRegexp：用于获取新闻图片的地址2.TextBegMark：用于标记文章内容的开始3.TextEndMark：用于标记文章内容的结束

系统处理流程2.图片采集图片的采集不同与新闻的采集，虽然在规则上类似，而且在整个抓取过程中的操作都接近相同，但是在格式上要复杂。文字主要是存在编码的问题，而图片要考虑压缩和格式的问题，我们暂时考虑采集JPG和GIF两种格式，因为在手机上这两种是最常用的。在网络上抓取到图片之后下载到本地需要保持格式的一致性。由于JPG和GIF的压缩编码算法不同，需要分开来处理。2.功能设计1.任务配置模块任务的配置是整个系统中最重要的部分，新闻采集系统能正常工作的首要前提就是需要对每个采集任务进行配置。任务配置包括有目标地址以及页面规则的定义，力求可以将用户的文本定义转换成要求更严格的正则表达式，以保证采集内容的正确性。2.采集功能模块采集的过程主要是分析资源，并加入到我们数据库中的过程。采集过程应充分考虑资源的正确性、完整性和采集过程的稳定性。保证资源的编码正确和过程的透明性。3.资源检索模块资源的采集是我们最终的目标，我们需要实现对采集到资源能进行搜索、查询和编辑等操作，可以对资源进行筛选可控制。4.统计模块按照任务的归类可以对采集的进度和过程进行实时监测，让用户及时掌握采集资源的状况，如果发生的意外能马上获知并采取一定的措施来挽回。3.研究步骤、方法及措施1.系统配置程序的运行和维护需要一系列的配置，这对于整个系统都是至关重要的。配置人员需要一定的计算机技术基础，最终程序能否抓取到希望获取的信息都离不开系统的配置和一系列测试。2.存储接口为了兼顾到系统可能在不同的数据库环境中来使用，所以我们选择了数据库框架，这将大大方便系统的二次开发，替换数据库等情况。系统中使用了ibatis作为数据库访问框架。这也是一个开源的框架，相对于hibernate来说是轻量级，我们在这里使用它的理由是它比hibernate具有更小的操作粒度，以提高我们数据库的存储效率。3.计划任务我们的系统是由任务驱动的，每一个采集目标都是一个任务。维护人员需要做的就是任务的维护和计划的制定，这个计划任务类似于行程的安排，以备我们的任务调度框架来实现任务的控制。4.日志系统由于网络的不确定因素非常多，常常会导致程序出现超时等情况，我们需要一个强大的日志系统来记录这些问题，维护人员也需要分析日志来判断错误的原因。5.统计系统采集资源必须有一个完善的统计机制，用以记录当天或者是历史的记录。如果需要制定绩效考核方面的制度，统计系统将会提供一份完整的可维护性的文档。6.内容检索通过内容检索模块，可以实时获取当前入库的信息，让管理员可以对内容进行删除或者修改，其功能类似于新闻管理系统的后台，可以对抓取的信息进行有效的控制。新闻采集系统架构图4.工作进度5.序号6.时间7.内容8.19.08/12/11-09/01/1210.选题，熟悉课题相关背景11.212.09/01/13-09/02/1913.英文翻译，学习相关技术学习，开题报告14.315.09/02/20-09/02/2716.开题17.418.09/02/28-09/03/1519.完成总体设计20.521.09/03/16-09/04/0322.完成程序编码23.624.09/04/04-09/04/1025.中期检查26.727.09/04/11-09/05/0128.完成相关文档编写29.830.09/05/02-09/05/2231.撰写毕业论文初稿32.933.09/05/23-09/05/2934.修改毕业论文35.1036.09/05/30-09/06/0537.答辩38.主要参考文献1.Quartz-QuickStart[EB/OL].http://www.opensymphony.com/quartz/wikidocs/QuickStart.html