网络爬虫毕业设计
爬虫毕设个人总结
爬虫毕设个人总结引言在大数据时代，爬虫已经成为了一项非常重要的技术。
我作为一名计算机科学专业的学生，在毕业设计中选择了在爬虫领域进行研究和开发。
本文是我对毕设过程的个人总结，主要包括项目背景、问题描述、技术实现和项目收获等内容。
项目背景随着互联网的快速发展，信息爆炸式增长，越来越多的网站和应用程序需要获取大量的数据来支持其功能和业务需求。
而手动获取这些数据的工作效率低且费时费力，因此，爬虫成为了一种非常受欢迎的数据获取方法。
在我选择毕设项目时，我意识到爬虫技术在数据获取方面具有广泛的应用前景，而且也是我个人感兴趣的领域。
因此，我决定以爬虫技术为基础，设计并开发一套通用的数据获取系统。
问题描述在项目启动初期，我花费了大量的时间来研究市面上已有的爬虫框架和工具。
然而，我发现这些框架和工具大多过于复杂，不够灵活，无法满足我个人的需求。
因此，我决定从零开始设计和开发一个简单且灵活的爬虫系统。
首先，我需要明确以下问题：1.如何定义爬虫任务和目标网站？2.如何选择合适的数据存储方式？3.如何处理网站的反爬机制？4.如何确保爬虫系统的性能和可靠性？5.如何处理大规模数据的存储和处理？技术实现爬虫任务和目标网站定义我使用了Python作为主要的开发语言，并选用了Scrapy作为爬虫框架。
Scrapy是一个高效、可扩展且功能强大的爬虫框架，可以简化爬虫的开发和维护过程。
通过Scrapy，我可以定义爬虫任务的起始链接、目标网站结构和数据抽取规则。
同时，Scrapy提供了强大的数据处理和存储机制，可以将抓取的数据保存到数据库中或导出为其他格式。
数据存储方式选择对于我的毕设项目，我选择了使用MySQL作为数据存储方式。
MySQL是一款成熟稳定的关系型数据库，具有良好的性能和可靠性。
通过使用MySQL，我可以方便地进行数据的存储、查询和管理。
反爬机制处理在实际的爬虫任务中，有些网站会设置反爬机制以阻止爬虫获取数据。
为了解决这个问题，我采取了以下几种策略：1.使用随机User-Agent：通过随机生成User-Agent，可以降低被网站识别为爬虫的可能性。
python爬虫毕业设计项目
一、引言在信息化时代，互联网数据成为了人们获取信息的主要途径之一。
网络爬虫技术应运而生，成为了数据抓取和分析的重要工具。
随着云计算和大数据技术的发展，网络爬虫在数据挖掘和商业分析中的应用越来越广泛。
二、选题背景作为一门热门的计算机语言，Python在网络爬虫方面具有很大优势。
它拥有丰富的库和模块，如Requests、BeautifulSoup和Scrapy等，能够快速、灵活地实现网页信息的抓取和处理。
选择Python作为毕业设计项目的开发语言具有一定的合理性和实用性。
三、项目内容本次毕业设计旨在利用Python编写一个简单的网络爬虫，实现对特定全球信息湾的信息抓取和处理，具体包括以下内容：1. 确定爬取目标：选择一个特定的全球信息湾作为目标，如新闻全球信息湾、电商评台等，确定需要抓取的信息类型，如新闻标题、商品价格等。
2. 抓取页面内容：利用Python的Requests库向目标全球信息湾发送HTTP请求，获取网页的HTML源码。
3. 解析网页信息：利用BeautifulSoup库对抓取的HTML源码进行解析，并提取所需的信息。
4. 存储数据：将提取的信息存储到本地文件或数据库中，以便后续的分析和处理。
5. 编写用户界面：利用Python的GUI库，设计一个简单的用户界面，方便用户输入全球信息湾、选择信息类型，并启动爬虫程序。
6. 测试和优化：对爬虫程序进行测试，并根据实际情况进行优化，提高抓取效率和稳定性。
四、项目意义通过完成本毕业设计项目，可以达到以下几点意义：1. 提高对Python语言和网络爬虫技术的理解和应用能力，为将来在相关领域的工作打下良好基础。
2. 增强对信息的获取和处理能力，提升数据分析和挖掘的技能。
3. 发挥网络爬虫在实际工作中的作用，为企业提供数据支持和决策依据。
4. 为个人知识积累和项目经验积累提供一个实践评台，丰富个人履历和求职经历。
五、项目计划为了顺利完成本次毕业设计项目，需要按照以下计划进行：1. 明确目标：确定需要抓取的全球信息湾和信息类型，明确项目的功能和范围。
基于python爬虫的毕业设计
基于Python爬虫的毕业设计一、引言在当今信息化时代，互联网是获取各类信息的主要途径之一。
人们需要从网络上获取各种数据，并进行分析和研究。
而爬虫技术作为一种能够自动从网页中提取数据的工具，被广泛应用于各个领域。
本文以基于Python的爬虫技术为研究对象，探讨其在毕业设计中的应用。
二、Python爬虫的基本原理Python爬虫是通过程序模拟人的行为来访问网络，并获取所需数据的过程。
其基本原理包括以下几个步骤： 1. 发送HTTP请求：通过HTTP协议向目标网站发送请求，并获取相应的数据。
2. 解析HTML页面：将获取的网页内容进行解析，提取出需要的数据。
3. 数据存储和处理：将获取的数据存储到本地或者数据库中，并进行进一步的处理和分析。
三、Python爬虫的工具和库Python爬虫可以使用多种工具和库来实现，下面介绍几个常用的工具和库： 1. Requests库：用于发送HTTP请求和获取网页内容。
2. BeautifulSoup库：用于解析HTML页面，提取出需要的数据。
3. Scrapy框架：一个强大的Python爬虫框架，提供了高效的数据提取和爬取功能。
4. Selenium库：用于模拟浏览器操作，解决动态网页的爬取问题。
四、Python爬虫的应用领域Python爬虫在各个领域都有广泛的应用，下面列举几个常见的应用领域： ###4.1 网络数据分析爬虫可以用于获取网络上的各种数据，如新闻、股票、天气等，以及社交媒体上的用户信息和评论等。
这些数据可以被用于进行数据分析和挖掘，为决策提供依据。
4.2 商品价格监控通过爬虫技术，可以实时监控电商网站上商品的价格和促销活动，及时获取最低价格和优惠信息，为消费者提供购物建议。
4.3 数据采集和整合爬虫可以用于采集和整合各种数据，如学术论文、专利信息等，为科研人员和企业提供便利。
4.4 搜索引擎优化通过爬虫技术，可以获取搜索引擎的排名结果，了解竞争对手的网站结构和内容，从而优化自己的网站。
【设计】毕业设计网络爬虫
【关键字】设计毕业设计网络爬虫篇一：网络爬虫的设计与实现毕业设计（论文）说明书学院软件学院专业软件工程年级姓名张凤龙指导教师陈锦言XX年3月 6 日毕业设计（论文）任务书题目：网络爬虫设计与实现学生姓名张凤龙学院名称软件学院专业软件工程学号指导教师陈锦言职称讲师一、原始依据（包括设计或论文的工作基础、研究条件、应用环境、工作目的等。
）互联网是一个庞大的非结构化的数据库，将数据有效的检索并组织呈现出来有着巨大的应用前景。
搜索引擎作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。
但是，这些通用性搜索引擎也存在着一定的局限性。
不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。
所以需要一个能基于主题搜索的满足特定需求的网络爬虫。
为了解决上述问题，参照成功的网络爬虫模式，对网络爬虫进行研究，从而能够为网络爬虫实现更深入的主题相关性，提供满足特定搜索需求的网络爬虫。
二、参考文献[1]Winter．中文搜索引擎技术解密：网络蜘蛛[M]．北京：人民邮电出版社，XX年．[2]Sergey等．The Anatomy of a Large-Scale Hypertextual Web Search Engine [M]．北京：清华大学出版社，1998年．[3]Wisenut．WiseNut Search Engine white paper [M]．北京：中国电力出版社，XX年．[4]Gary R.Wright W.Richard Stevens．TCP-IP协议详解卷3：TCP事务协议，HTTP，NNTP 和UNIX域协议[M]．北京：机械工业出版社，XX 年1月. [5]罗刚王振东．自己动手写网络爬虫[M]．北京：清华大学出版社，XX年10月.[6]李晓明，闫宏飞，王继民．搜索引擎：原理、技术与系统——华夏英才基金学术文库[M]．北京：科学出版社，XX年04月.三、设计（研究）内容和要求（包括设计或研究内容、主要指标与技术参数，并根据课题性质对学生提出具体要求。
python爬虫毕业设计
python爬虫毕业设计Python爬虫毕业设计是一个非常有趣和实用的课题。
首先，让我们来看一下Python爬虫的基本原理。
Python爬虫是利用Python编程语言编写的一种网络爬虫程序，它可以自动化地访问网页并提取所需的信息。
在毕业设计中，你可以选择一个特定的主题或领域来进行深入研究和开发。
以下是一些可能的毕业设计方向和思路：1. 网络数据抓取与分析，你可以选择一个特定的网站或者网站集合作为研究对象，利用Python爬虫技术从中抓取数据，并对数据进行分析和可视化展示。
比如，你可以抓取某个电商网站的商品信息，然后对商品价格、销量等数据进行统计分析。
2. 社交媒体数据挖掘，你可以利用Python爬虫技术抓取社交媒体平台（如微博、Twitter等）上的用户信息、帖子内容等数据，然后进行文本分析、情感分析等研究。
3. 新闻信息抓取与分类，你可以开发一个新闻信息抓取系统，利用Python爬虫技术从新闻网站上抓取新闻内容，并对新闻进行分类和整理，以便用户快速浏览感兴趣的新闻。
4. 搜索引擎优化，你可以研究搜索引擎优化（SEO）相关的技术，利用Python爬虫技术对网站进行抓取和分析，然后提出相应的优化建议。
无论你选择哪个方向，都需要考虑到伦理和法律问题。
在进行数据抓取和分析时，需要遵守相关的法律法规和网站的使用协议，确保不侵犯他人的合法权益。
另外，还需要注意数据的隐私保护和安全性。
在毕业设计中，你需要详细描述你的研究目的、方法、实现过程和结果分析。
同时，你还需要对已有的相关技术和研究进行深入的文献综述和分析，以展示你的研究水平和创新性。
最后，你还可以考虑将你的毕业设计成果转化为一个实际的应用系统，以便更好地展示你的研究成果和创新能力。
希望这些思路能够对你有所帮助，祝你的毕业设计顺利成功！。
网络爬虫毕业设计
网络爬虫毕业设计网络爬虫毕业设计随着互联网的迅猛发展，信息的获取变得越来越方便。
而在这个信息爆炸的时代，网络爬虫作为一种高效的信息获取工具，受到了广泛的关注和应用。
作为一名计算机专业的毕业生，我选择了网络爬虫作为我的毕业设计主题。
首先，我将介绍网络爬虫的基本原理和工作方式。
网络爬虫是一种自动化程序，通过模拟人类的浏览行为，从互联网上抓取各种信息。
它可以访问网页，提取文本、图片、链接等信息，并将其保存到本地数据库或文件中。
网络爬虫通常使用HTTP协议来进行网页的请求和响应，通过解析HTML文档来提取所需的信息。
接下来，我将介绍网络爬虫的应用领域。
网络爬虫广泛应用于搜索引擎、数据挖掘、舆情监测、价格比较、信息聚合等领域。
例如，搜索引擎利用网络爬虫来抓取互联网上的网页，并建立索引，以便用户能够快速找到所需的信息。
数据挖掘领域可以利用网络爬虫来收集大量的数据，进行分析和挖掘。
舆情监测可以通过网络爬虫来抓取新闻、社交媒体等信息，实时监测和分析舆情动态。
价格比较网站可以利用网络爬虫来抓取各个电商网站的商品信息，并进行价格比较和推荐。
信息聚合网站可以通过网络爬虫来抓取各个新闻网站的新闻，并将其汇总在一个平台上，方便用户阅读。
在设计我的网络爬虫毕业项目时，我将考虑以下几个方面。
首先，我需要确定我的项目的目标和需求。
是要抓取特定网站的信息，还是要抓取特定领域的信息？其次，我需要选择合适的编程语言和开发框架。
Python是目前最常用的网络爬虫编程语言，而Scrapy是一个强大的网络爬虫框架，可以帮助我快速开发和部署我的项目。
然后，我需要设计合适的数据存储方案。
可以选择使用关系型数据库，如MySQL或SQLite，也可以选择使用非关系型数据库，如MongoDB。
最后，我需要考虑如何处理反爬虫机制。
很多网站为了防止被爬虫抓取，会采取一些反爬虫措施，如验证码、IP封锁等。
我需要设计相应的策略来应对这些反爬虫机制。
在实施我的网络爬虫毕业项目时，我将遵循一定的原则和规范。
网络爬虫的设计与实现毕业设计
网络爬虫的设计与实现毕业设计一、引言网络爬虫是一种自动化的网页抓取程序，能够从互联网上抓取和收集数据。
毕业设计项目将设计和实现一个网络爬虫，用于从特定的网站或网页收集数据。
本文将介绍该毕业设计项目的背景、目的、意义、相关技术和方法，以及预期成果。
二、项目背景和目的随着互联网的快速发展，人们对于从网上获取信息的需求越来越大。
网络爬虫作为一种自动化网页抓取程序，能够快速、有效地从互联网上收集数据。
毕业设计项目旨在设计和实现一个高效、稳定、可扩展的网络爬虫，以帮助用户从特定的网站或网页收集所需的数据。
三、项目意义网络爬虫的设计与实现毕业设计项目具有以下意义：1、满足用户对于快速、有效地从互联网上获取数据的需求；2、提高自动化网页抓取程序的设计和实现能力；3、加深对于相关技术和方法的理解和应用；4、为进一步研究和发展网络爬虫技术打下基础。
四、相关技术和方法网络爬虫的设计与实现涉及多种相关技术和方法，包括：1、网络编程技术：用于实现网络爬虫的通信和数据传输；2、网页抓取技术：用于解析和提取网页中的数据；3、数据存储技术：用于存储和检索收集到的数据；4、算法优化技术：用于提高爬虫的性能和效率；5、软件测试技术：用于检测和验证爬虫的正确性和稳定性。
五、预期成果网络爬虫的设计与实现毕业设计项目的预期成果包括：1、设计和实现一个高效、稳定、可扩展的网络爬虫；2、提高相关技术和方法的应用能力；3、加深对于网络爬虫技术的理解和掌握；4、为进一步研究和发展网络爬虫技术打下基础。
基于Python的网络爬虫设计与实现随着互联网的快速发展，网络爬虫作为一种获取网络资源的重要工具，越来越受到人们的。
Python作为一种易学易用的编程语言，成为了网络爬虫开发的首选。
本文将介绍基于Python的网络爬虫设计与实现。
一、网络爬虫概述网络爬虫是一种自动浏览万维网并提取网页信息的程序。
它们从一个或多个起始网页开始，通过跟踪链接访问其他网页，并收集相关信息。
爬虫分析毕业设计
爬虫分析毕业设计爬虫分析毕业设计在当今信息爆炸的时代，互联网成为了人们获取信息的主要途径。
而在互联网上，各种各样的数据被广泛传播和存储。
对于一些研究者来说，获取和分析这些数据是非常重要的。
因此，爬虫技术应运而生，成为了他们的得力助手。
爬虫，即网络爬虫，是一种自动化的程序，通过模拟人的浏览行为，从互联网上抓取信息。
它可以访问网页，提取数据，并将数据存储在本地或者数据库中。
对于毕业设计来说，爬虫技术可以被广泛应用于数据收集、数据分析和数据可视化等方面。
首先，爬虫技术可以帮助毕业生收集所需的数据。
在进行毕业设计时，研究者通常需要大量的数据来支撑他们的研究。
而传统的数据收集方式往往费时费力，效率低下。
而通过使用爬虫技术，可以自动从互联网上抓取所需的数据，极大地提高了数据收集的效率。
其次，爬虫技术可以对收集到的数据进行分析。
在毕业设计中，数据分析是非常重要的一环。
通过对数据进行统计、挖掘和分析，可以得出一些有价值的结论，并为后续的研究工作提供有力的支持。
爬虫技术可以将收集到的数据进行清洗和整理，然后通过各种算法和模型进行分析，帮助研究者发现数据中的规律和趋势。
最后，爬虫技术还可以将数据可视化，使得研究者能够更直观地理解和展示数据。
数据可视化是将抽象的数据通过图表、图形等形式呈现出来，使得人们能够更容易地理解和分析数据。
通过使用爬虫技术，可以将收集到的数据转化为可视化的图表，帮助研究者更好地展示他们的研究成果。
当然，爬虫技术也存在一些问题和挑战。
首先，爬虫的合法性和道德性是一个需要考虑的问题。
在进行爬虫时，需要遵循相关的法律法规，尊重网站的规定和隐私权。
其次，爬虫技术在处理大规模数据时，也面临着性能和效率的问题。
如何优化爬虫程序，提高数据处理的速度和质量，是一个需要研究者不断探索的方向。
综上所述，爬虫技术在毕业设计中发挥着重要的作用。
它可以帮助研究者收集数据、分析数据和展示数据，为毕业设计提供了强有力的支持。
毕业设计爬虫项目
毕业设计爬虫项目可以是一个非常有趣且富有挑战性的项目，以下是一些可能的方向和建议：1. 目标与问题定义：在开始设计爬虫项目之前，首先明确你的目标是什么，以及需要解决的具体问题是什么。
例如，你可以选择一个你感兴趣的领域（如科技、新闻、社交媒体等），并从该领域的网站或平台上收集数据。
2. 选择合适的爬虫框架：Python中有许多优秀的爬虫框架，例如Scrapy、BeautifulSoup、Selenium等。
你可以根据自己的需求和偏好选择一个框架，并熟悉其基本用法和原理。
3. 确定爬取的URL和数据结构：在爬虫项目中，确定要爬取的URL和数据结构是非常关键的一步。
你需要分析目标网站或平台的数据结构和特点，并确定相应的抓取策略。
4. 实现数据抓取功能：利用所选的爬虫框架，实现数据抓取功能。
这可能涉及到模拟浏览器行为（如登录、跳转页面等），处理JavaScript动态生成的内容，以及避免反爬虫措施等。
5. 数据存储和处理：将抓取的数据存储到数据库或文件中，并对其进行必要的清洗和处理。
这可能包括去除重复数据、数据转换、数据抽取等操作。
6. 可视化和数据分析：利用数据可视化工具和数据分析技术对抓取的数据进行深入挖掘和分析。
这可以帮助你发现数据中的模式、趋势和关联，并得出有价值的结论。
7. 性能优化和反爬虫策略：为了提高爬虫的性能和避免被封禁，可以采取一些优化措施，如使用代理IP、设置合理的抓取频率、避免过于频繁的访问等。
此外，了解目标网站的反爬虫策略也是非常重要的，以避免不必要的损失。
8. 文档编写和报告提交：在完成爬虫项目后，编写相应的文档和报告，总结你的工作成果和学习经验。
这可以帮助你更好地理解自己在项目中的表现和收获，并为未来的工作提供参考。
总之，毕业设计爬虫项目需要综合运用网络爬虫技术、数据分析技术、可视化技术等多个领域的知识和实践经验。
通过完成这样一个项目，你可以提升自己的技能水平，并为未来的职业发展打下坚实的基础。
爬虫毕业设计
爬虫毕业设计爬虫毕业设计：探索数据世界的奇妙之旅随着互联网的快速发展，数据已经成为了现代社会中一种无处不在的资源。
然而，如何从海量的数据中获取有用的信息，成为了一个亟待解决的问题。
在这个背景下，爬虫技术应运而生，成为了一种重要的数据获取工具。
在我的毕业设计中，我选择了爬虫技术作为研究对象，旨在探索数据世界的奇妙之旅。
首先，我将介绍爬虫技术的基本原理和应用。
爬虫，顾名思义，就是模拟人类在互联网上的行为，自动化地访问网页并提取所需的信息。
通过分析网页的结构和内容，爬虫可以从中提取出我们感兴趣的数据，并将其保存到本地或者进行进一步的处理。
爬虫技术在各个领域都有广泛的应用，比如搜索引擎的建设、电子商务的数据分析、新闻媒体的舆情监测等等。
通过毕业设计，我希望能够深入了解爬虫技术的原理和应用，并掌握其实际操作的能力。
接下来，我将介绍我在毕业设计中所选择的具体任务。
我计划使用爬虫技术从某个特定的网站上获取相关的数据，并进行进一步的分析和处理。
这个网站是一个在线的电影数据库，其中包含了大量的电影信息，比如电影的名称、导演、演员、评分等等。
我将通过编写爬虫程序，自动化地访问这个网站的各个页面，并将所需的电影信息提取出来。
然后，我将对这些数据进行整理和分析，探索其中的规律和趋势。
通过这个任务，我希望能够提高自己的编程能力，并且对数据分析有更深入的了解。
在进行毕业设计的过程中，我预计会面临一些挑战和困难。
首先，爬虫技术本身就是一个复杂的领域，需要掌握一定的编程知识和网络原理。
我需要学习Python编程语言以及相关的网络库，比如BeautifulSoup和Scrapy，来实现爬虫程序的编写。
其次，网站的结构和内容可能会发生变化，导致原有的爬虫程序无法正常工作。
我需要及时调整和优化爬虫程序，以适应网站的变化。
此外，由于涉及到大量的数据处理和分析，我还需要学习一些数据科学的基本方法和工具，比如数据清洗、数据可视化等等。
尽管面临着一些挑战，但我相信通过不断学习和实践，我能够顺利完成这个毕业设计。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
摘要目前即使通讯软件在平时的生活中有着十分广泛的应用，但是对绝大部分的软件来说，都必须应用在互联网上，必须在一个INTERNET环境下才能使用。
有时候单位内部的员工，同学，在没有互联网环境下或因其他原因希望不用INTERNET就可以进行信息交互，这样开发局域网通信就有了必要性。
本文提出了局域网信息交互的需求，并详细对网络协议TCP/IP 协议族进行了介绍和研究，如TCP，UDP，广播等相关技术。
并对网络信息交互原理惊醒了说明，在此基础上利用SOCKET网络编程实现了一种基于WINDOWS平台的局域网信息交互功能。
网络爬虫是一种自动搜集互联网信息的程序。
通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息等。
本文通过JAVA实现了一个基于广度优先算法的多线程爬虫程序。
为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。
通过实现这一爬虫程序，可以搜集某一站点的URLs，并将搜集到的URLs存入数据库。
将解析的网页存入XML文档。
【关键词】网络爬虫；SOCKET编程；TCP/IP；网络编程；JA V AAbstractInstant message software in our daily lives has a very wide range of application , However ,most of the software must be used in the Internet , and it must be used in a Internet environment .Sometimes Internal staff, students ,may not have the Internet environment or other reasons do not wish to be able to communicate on the Internet .This development will have a need for LAN communication program .Therefore ,this paper presents the needs of local area network exchange information Software ,And details of the network protocol TCP/IP protocol suite are introduced and research such as TCP, UDP, broadcast ,and other technologies . and network information exchange theory is discussed . Base on this condition I use of Socket Network programming based on Windows platform to develop a LAN chat application .SPIDER is a program which can auto collect informations from internet. SPIDER can collect data for search engines, also can be a Directional information collector, collects specifically informations from some web sites, such as HR informations, house rent informations.In this paper, use JAVA implements a breadth-first algorithm multi-thread SPDIER. This paper expatiates some major problems of SPIDER: why to use multi-threading, and how to implement multi-thread; data structure; HTML code parse. etc.This SPIDER can collect URLs from one web site, and store URLs into database.【KEY WORD】SPIDER; JAVA;；Socket programming; TCP/IP ;Network programming目录1 绪论 (1)1.1网络爬虫的发展 (1)1.2国内外技术发展现状 (2)1.3系统设计的意义 (3)2 总体设计方案 (4)2.1系统设计方案 (4)2.2系统设计框图 (4)2.3网络爬虫的相关技术 (5)2.3.1 URL (5)2.3.2 HTTP协议 (6)2.3.3 JA V A多线程 (9)2.3.4 JA V A网络编程 (16)3 系统软件设计 (21)3.1系统软件概述 (21)3.2E CLIPSE软件介绍 (21)3.3服务器端设计 (22)3.3.1 网本页解析部分 (22)3.3.2 获取新的网络代理部分 (36)3.4.1 登录部分 (37)3.4.2 Table 模块 (37)3.4.2 上传档及查询部分 (39)3.5S OCKET通信部分 (39)3.5.1 什么是Socket (39)3.5.2 服务端部分 (44)3.5.3 客户端部分 (46)4 系统运行 (49)4.1服务器端界面 (49)4.2客户端界面 (50)结论 (52)致谢 (53)参考文献 (54)外文资料原文 (55)附录B 汉语翻译 (62)附录C 程序代码 (66)1 绪论1.1 网络爬虫的发展在互联网发展的早期，网站数量相对较少，信息数据量不大，查找也比较容易。
然而伴随互联网井喷性的发展，普通网络用户想找到自己所需的数据简直如同在数据的海洋里捞针，为满足大众信息检索需求的专业搜索网站便应运而生了。
所有搜索引擎的鼻祖，是1990年由Montreal的McGill University三名学生（Alan Emtage、Peter Deutsch、Bill Wheelan）发明的Archie（Archie FAQ）。
Alan Emtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。
Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。
Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。
由于Archie深受欢迎，受其启发，Nevada System Computing Services大学于1993年开发了一个Gopher（Gopher FAQ）搜索工具Veronica （Veronica FAQ）。
Jug head是后来另一个Gopher搜索工具。
虽然当时万维网还未出现，但网络中档传输还是相当频繁的，而且由于大量的档散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Archie工作原理与现在的搜索引擎已经很接近，它依靠脚本程序自动搜索网上的文件，然后对有关信息进行索引，供使用者以一定的表达式查询。
当时，“机器人”一词在编程者中十分流行。
计算机“机器人”（Computer Robot）是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。
由于专门用于检索信息的“机器人”程序象蜘蛛一样在网络间爬来爬去，因此，搜索引擎的“机器人”程序就被称为“蜘蛛”程序。
世界上第一个用于监测互联网发展规模的“机器人”程序是Matthew Gray开发的World wide Web Wanderer。
刚开始它只用来统计互联网上的服务器数量，后来则发展为能够检索网站域名。
与Wanderer相对应，Martin Kosher于1993年10月创建了ALIWEB，它是Archie的HTTP版本。
ALIWEB不使用“机器人”程序，而是靠网站主动提交信息来建立自己的链接索引，类似于现在我们熟知的Yahoo。
随着互联网的迅速发展，使得检索所有新出现的网页变得越来越困难，因此，在Matthew Gray的Wanderer基础上，一些编程者将传统的“蜘蛛”程序工作原理作了些改进。
直到一些编程者提出了这样的设想，既然所有网页都可能有连向其它网站的链接，那么从跟踪一个网站的链接开始，就有可能检索整个互联网。
到1993年底，一些基于此原理的搜索引擎开始纷纷涌现，但是早期的搜索引擎只是以搜索工具在数据库中找到匹配信息的先后次序排列搜索结果，因此毫无信息关联度可言。
而RBSE是第一个在搜索结果排列中引入关键词串匹配程度概念的引擎。
最早现代意义上的搜索引擎出现于1994年7月。
当时Michael Mauldin将John Leavitt的蜘蛛程序接入到其索引程序中，创建了大家现在熟知的Lycos（2000年被西班牙网络集团Terra Lycos Network收购）。
同年4月，斯坦福（Stanford）大学最为著名的两名博士生，美籍华人杨致远（Gerry Yang）和David Filo共同创办了Yahoo公司，并成功地使搜索引擎的概念深入人心。
从此搜索引擎进入了高速发展时期。
目前，互联网上有名有姓的搜索引擎已达数百家，其检索的信息量也与从前不可同日而语。
像国外的Google，国内的百度，这样的搜索引擎巨擘由于掌握的大多数的入口流量，成为互联网世界的霸主，并带来了巨大的商业价值。
1.2 国内外技术发展现状因为搜索引擎的商业化应用带来了巨大的商业价值，所以作为搜索引擎的核心部分的网络爬虫技术，也理所应当的成为了国内外研究的热点。
对于网络爬虫的研究从上世纪九十年代就开始了目前爬虫技术已经相当成熟。
并催生了像Baidu和Google这样的网络巨擘，而其它公司也纷纷推出了自己的搜索引擎。
网络爬虫是搜索引擎的重要组成部分。
现今，网络爬虫主要分为通用爬虫和聚焦爬虫两类。
通用搜索引擎的目标是尽可能大的网络覆盖率，通用搜索引擎大多提供基于关键词的检索。
聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。
与通用爬虫(general purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。