基于Web的网络爬虫的设计与实现

徐远超;刘江华;刘丽珍;关永

【期刊名称】《微计算机信息》

【年(卷),期】2007(023)021

【摘要】无论是站内信息检索还是特定的Web信息搜集,都离不开全文搜索引擎系统的核心模块--网络爬虫,本文详细介绍了一种设计及实现方案,包括页面搜集器和页面索引器的基本工作流程、数据存储结构、核心算法及主要的技术难点.该系统经实际运行,效果良好,最后给出了有待进一步改进的地方.

【总页数】3页(119-121)

【关键词】搜索引擎;网络爬虫;信息检索;页面索引

【作者】徐远超;刘江华;刘丽珍;关永

【作者单位】100037,北京,首都师范大学,信息工程学院;100037,北京,首都师范大学,信息工程学院;100037,北京,首都师范大学,信息工程学院;100037,北京,首都师范大学,信息工程学院

【正文语种】中文

【中图分类】TP391

【相关文献】

1.基于Web的全文搜索引擎的设计与实现 [J], 陈康; 许婷; 戴文俊; 武港山

2.基于Web挖掘的园林植物信息搜索引擎的设计与实现[J], 钱双艳; 杨林楠; 张丽莲

3.面向主题的Web信息收集系统的设计与实现 [J], 潘春华; 武港山

4.中文文本WEB搜索引擎的设计与实现 [J], 钟涛; 陈新明; 万钧; 张世永