社交网络数据采集算法的设计(软件工程课程设计报告)
网络社交网络分析网络课程设计
网络社交网络分析网络课程设计一、引言在今天信息爆炸的社会中，互联网已成为人们获取信息、进行交流和社交的主要平台。
随着社交媒体的兴起，对网络社交网络的分析和设计日益重要。
本文将探讨网络社交网络的概念及其对社会和个体的影响，并设计一门网络课程，旨在让学生深入了解网络社交网络的原理、方法与应用。
二、网络社交网络概述1.1 定义网络社交网络是指通过互联网平台进行个人或组织之间的社交关系建立和交流的网络结构。
它主要通过用户之间的关系连接来构建，其中包括朋友、关注者、粉丝等联系方式。
1.2 影响网络社交网络在社会中发挥着重要作用。
它极大地促进了信息的传播速度和范围，方便了人们的沟通和交流。
同时，它也给商业机会带来了无限可能，成为了许多企业市场推广的重要途径。
三、网络社交网络分析概述2.1 定义网络社交网络分析是指通过统计、数学和计算机科学等手段对网络社交关系进行系统的分析和研究。
它可以揭示网络中个体之间的联系、信息传播的路径和效果等重要信息。
2.2 方法网络社交网络分析的方法主要包括节点分析、连边分析和整体网络结构分析。
节点分析主要研究个体在网络中的特征和影响力；连边分析主要研究个体之间的关系强度和类型；整体网络结构分析主要研究网络中的群体、社区和聚集等特征。
四、网络社交网络课程设计3.1 课程目标本课程旨在让学生全面了解网络社交网络的原理、方法与应用，培养学生的社交网络分析能力和应用能力，为学生今后的学术研究和职业发展打下坚实基础。
3.2 课程内容（1）网络社交网络基础知识：介绍网络社交网络的概念、发展历程和影响。
（2）网络社交网络分析方法：讲解网络社交网络分析的常用方法和技术，包括节点分析、连边分析和整体网络结构分析。
（3）网络社交网络应用案例：通过实际案例，让学生了解网络社交网络在不同领域应用的情况，并进行实践操作。
（4）网络社交网络伦理与安全：探讨网络社交网络伦理道德问题和信息安全问题，并引导学生正确使用网络社交媒体。
社交网络数据采集算法的设计(软件项目工程课程教学设计报告)
软件工程课程设计社交网络数据收集算法的设计摘要随着互联网的发展，人们正处于一个信息爆炸的时代。
社交网络数据信息量大、主题性强,具有巨大的数据挖掘价值,是互联网大数据的重要组成部分。
一些社交平台如Twitter、新浪微博、人人网等,允许用户申请平台数据的采集权限,并提供了相应的API 接口采集数据,通过注册社交平台、申请API授权、调用API 方法等流程获取社交信息数据。
但社交平台采集权限的申请比较严格,申请成功后对于数据的采集也有限制。
因此,本文采用网络爬虫的方式,利用社交账户模拟登录社交平台,访问社交平台的网页信息,并在爬虫任务执行完毕后,及时返回任务执行结果。
相比于过去的信息匮乏，面对现阶段海量的信息数据，对信息的筛选和过滤成为了衡量一个系统好坏的重要指标。
本文运用了爬虫和协同过滤算法对网络社交数据进行收集。
关键词：软件工程；社交网络；爬虫；协同过滤算法目录摘要······················································································································ - 3 -目录······················································································································ - 4 -课题研究的目的································································································· - 1 -1.1课题研究背景······················································································· - 1 -2 优先抓取策略--PageRank ·········································································· - 2 -2.1 PageRank简介······················································································ - 2 -2.2 PageRank流程······················································································ - 2 -3 爬虫················································································································· -4 -3.1 爬虫介绍································································································· - 4 -3.1.1爬虫简介···························································································· - 4 -3.1.2 工作流程··························································································· - 4 -3.1.3 抓取策略介绍··················································································· - 5 -3.2 工具介绍································································································· - 7 -3.2.1 Eclipse ······························································································· - 7 -3.2.2 Python语言····················································································· - 7 -3.2.3 BeautifulSoup················································································· - 8 -3.3 实现········································································································· - 9 -3.4 运行结果·······························································································- 11 -4 算法部分·······································································································- 12 -4.1获取数据的三种途径···········································································- 12 -4.1.1通过新浪微博模拟登录获取数据················································- 12 -4.1.2 通过调用微博API接口获取用户微博数据······························- 13 -4.2基于用户的协同过滤算法···································································- 16 -4.2.1集体智慧和协同过滤·····································································- 16 -4.2.2深入协同过滤核心·········································································- 17 -4.3算法实现·····························································································- 20 -结论····················································································································- 28 -参考文献············································································································- 30 -课题研究的目的1.1课题研究背景互联网导致一种全新的人类社会组织和生存模式悄然走进我们，构建了一个超越地球空问之上的、巨大的群体——网络群体，21世纪的人类社会正在逐渐浮现出崭新的形态与特质，网络全球化时代的个人正在聚合为新的社会群体。
软件工程项目—网上交友系统报告
软件工程实习报告系统名称：网上交友系统指导教师：小组成员：学号：提交日期：没有目录的目录1系统概述 (1)1.1系统简介 (1)1.2小组成员及分工 (1)2需求获取实习 (2)2.1功能性需求 (2)2.2非功能性需求 (3)3用例建模实习 (4)3.1识别参与者 (4)3.2识别用例 (4)3.3绘制用例图 (6)3.4编写用例归约 (6)4 精化用例模型实习 (12)4.1 精化用例模型 (12)4.2 编写或修改用例归约 (14)5 寻找分析类实习 (22)5.1 CRC头脑风暴 (22)5.2 Noun/Verb分析 (25)5.3 绘制初步的分析类图 (27)6 识别关系实习 (28)6.1 识别关联 (28)6.2 识别其它关系 (28)6.3 更新分析类图 (29)7用例实现（分析）实习 (31)7.1确定和整合分析类 (31)7.2创建交互图 (34)7.3分包组织建模元素 (46)8设计模型实习 (48)8.1划分子系统和层 (52)8.2创建设计类图 (53)8.3精化顺序图 (53)9总结与建议 (54)9.1总结 (54)9.2建议 (54)1系统概述1.1系统简介我们建立快捷交友系统，是一种简单的电子交友平台，使得用户朋友能查看该站点其他用户在网站上刊登的个人信息、进行好友定向查询、打招呼、发信息、送礼物、关注。
1.2小组成员及分工2需求获取实习（组内共享）2.1功能性需求2.2非功能性需求3用例建模实习3.1识别参与者（组内共享）3.2识别用例（组内共享）3.3 绘制用例图（组内共享）注内容管控员未3.4 编写用例归约 3.4.1小组成员及分工3.4.2用例归约（个人独立完成）3.4.2.1 用例1用例归3.4.2.2 用例2用例归约4精化用例模型实习4.1精化用例模型4.1.1精化后的用例图（组内共享）未员用户作接收者4.1.2参与者和用例描述（组内共享）4.2编写或修改用例归约（个人独立完成）4.2.1用例1的用例归约4.2.2用例2的用例归约4.2.3用例3的用例归约5寻找分析类实习（组内共享）CRC卡找出类NV类类图5.1CRC头脑风暴此处粘贴CRC方法所获得的初步分析类图，并进行解释。
社交网络数据分析与建模
社交网络数据分析与建模在当今数字化时代，社交网络已经成为我们日常生活中不可或缺的一部分。
通过社交网络，人们可以方便地与朋友、家人甚至陌生人进行交流和互动。
然而，除了作为社交工具外，社交网络还是一个巨大的数据源，其中蕴藏着大量有价值的信息。
通过对社交网络数据的分析与建模，我们不仅可以观察人们之间的关系和行为，还可以深入研究社会网络的结构和演化规律。
1. 社交网络数据的特点社交网络数据具有以下几个特点：1) 多样性：社交网络中包含各种类型的数据，如文本、图片、视频等，这些数据形式多样，需要采用不同的方法和工具进行处理和分析。
2) 大规模性：现今的社交网络拥有数以亿计的用户，每个用户之间都可能产生大量的数据，因此处理这些数据需要高效的算法和技术。
3) 高维度：社交网络数据通常是高维度的，每个用户可能涉及多个属性和关系，需要通过降维等手段来提取有用的信息。
4) 动态性：社交网络数据是动态变化的，用户的关系和行为随着时间的推移而不断变化，因此需要考虑时间因素对数据的影响。
2. 社交网络数据分析的方法社交网络数据分析可以采用多种方法和技术，主要包括以下几个方面：1) 社交网络分析：通过图论和网络科学的方法，可以对社交网络结构进行分析，如节点的度、连通性、社团结构等，从而揭示社会网络的特点和规律。
2) 文本挖掘：通过自然语言处理和机器学习的技术，可以对社交网络中的文本数据进行情感分析、主题识别等，从而了解用户的情感倾向和兴趣爱好。
3) 图像处理：通过计算机视觉和图像处理的技术，可以对社交网络中的图片数据进行分析和识别，如人脸识别、物体检测等，从而提取有用的信息。
4) 行为建模：通过数据挖掘和机器学习的方法，可以对用户的行为数据进行建模和预测，如用户的偏好、购买行为等，从而为个性化推荐和广告投放提供支持。
3. 社交网络数据建模的应用社交网络数据建模在实际应用中具有广泛的应用价值，主要体现在以下几个方面：1) 社交推荐系统：基于用户的社交关系和行为数据，可以建立个性化的推荐系统，为用户提供更符合其兴趣和需求的推荐结果。
软件工程课程设计报告书
软件工程课程设计报告书一、引言随着信息技术的快速发展，软件工程作为一门关键的技术学科逐渐受到广泛关注和应用。
具备软件工程专业知识和技能的人才需求日益增长。
为了提高学生对软件工程的理解和实践能力，本课程设计报告书将阐述我们小组在软件工程课程设计过程中所进行的实践活动、设计方法和结果。
二、项目背景本次软件工程课程设计的项目背景是开发一个在线教育平台。
随着互联网的普及，越来越多的人选择通过在线教育平台来学习和获取知识。
为满足用户的需求，我们小组决定设计一个功能完善、易于使用的在线教育平台。
三、需求分析在进行开发之前，我们首先进行了需求分析。
通过对用户需求的调研和问题分析，我们确定了下列主要需求：1. 用户注册和登录功能2. 教师上传课程和学生选课功能3. 在线学习的视频播放功能4. 学生作业提交和教师批改功能5. 讨论区和反馈系统四、系统设计基于需求分析的结果，我们进行了系统设计。
我们采用了MVC （Model-View-Controller）模式来设计系统架构，提高了系统的可扩展性和可维护性。
系统主要包括以下几个模块：1. 用户管理模块2. 课程管理模块3. 视频播放模块4. 作业管理模块5. 讨论区和反馈模块五、开发过程在开发过程中，我们小组采用了敏捷开发方法，通过迭代开发和持续集成的方式来提高开发效率和软件质量。
1. 需求确认和任务拆分：在每个迭代期开始前，我们与客户确认需求，并将需求拆分为多个可实现的任务。
2. 任务分配和实现：将任务分配给小组成员，并利用版本控制工具来协同开发。
3. 单元测试：每个小组成员负责对自己实现的功能进行单元测试，确保代码的正确性和可维护性。
4. 集成测试：在每个迭代期结束时，我们进行了集成测试，确保各个模块之间的协作和功能的完整性。
5. 系统测试和优化：在开发结束之前，我们进行了系统测试，并不断优化系统性能和用户体验。
六、结果与讨论通过以上开发过程，我们成功地完成了在线教育平台的开发。
社交网络分析报告的编写与数据挖掘
社交网络分析报告的编写与数据挖掘一、引言社交网络已经成为人们日常生活的重要组成部分，人们通过社交网络平台进行交流、分享和获取信息。
在庞大的社交网络数据背后隐藏着大量有价值的信息，对这些数据进行分析和挖掘可以帮助我们了解社交网络的结构、关系和趋势变化，为我们提供有益的决策支持。
本文将介绍社交网络分析报告的编写和数据挖掘的方法，以帮助读者更好地理解和应用社交网络数据。
二、社交网络分析报告的意义与目标1. 社交网络分析报告的意义：通过分析社交网络数据，可以揭示社交网络中的隐藏模式和规律，发现潜在的关联和影响力，帮助企业、政府和个人做出有效的决策和战略规划。
2. 社交网络分析报告的目标：准确识别社交网络中的关键节点、关键路径和社群结构，量化网络中的影响力和层级，分析网络中的信息传播和影响传递等。
三、社交网络的数据获取与预处理1. 社交网络数据的获取方法：通过API接口获取社交网络平台上的数据，或者通过网络爬虫技术从网页上抓取数据。
2. 社交网络数据的预处理方法：对于社交网络数据的预处理需要进行数据清洗、去噪和格式转换等操作，以确保后续分析的准确性和可行性。
四、社交网络的网络结构分析1. 社交网络的节点度分布：分析节点的度分布可以帮助我们了解网络中节点的连接程度和社交关系的紧密程度。
2. 社交网络的平均路径长度：通过计算网络中节点之间的平均最短路径长度，可以评估网络的全局连通性和信息传播的效率。
3. 社交网络的社群划分：利用社群发现算法可以将网络中的节点划分为不同的社群，揭示出网络中隐藏的群体结构和社交关系。
五、社交网络的关系分析与影响力评估1. 关系强度分析：通过分析节点之间的关系强度，识别出社交网络中的关键影响者和潜在的合作伙伴。
2. 影响力评估：采用节点中心性指标（如度中心性、接近中心性和介数中心性）可以评估节点在社交网络中的影响力和地位。
六、社交网络的信息传播分析1. 信息传播路径的追踪：通过分析节点之间的信息传播路径，可以追踪信息在社交网络中的传播过程，了解信息的扩散规律。
社交网络图数据分析与推荐系统设计
社交网络图数据分析与推荐系统设计社交网络已经成为了人们日常生活中不可或缺的一部分。
无论是在个人交流、信息传播，还是商业活动和营销策略方面，社交网络都发挥着重要的作用。
为了更好地理解和利用社交网络数据，社交网络图数据分析与推荐系统设计变得越来越重要。
社交网络图数据分析的意义在于发现和理解社交关系中隐藏的规律和模式。
社交网络中的用户之间通过关注、好友关系、互动等方式相互连接。
通过对这些连接关系的分析，我们可以了解用户的兴趣爱好、社交圈子以及他们之间的互动模式。
这些信息对于个性化推荐、社交关系挖掘和社交网络营销都具有重要的指导意义。
为了进行社交网络图数据分析，我们首先需要构建一个准确完整的社交网络图。
这可以通过爬虫程序从社交媒体平台获取用户数据，包括用户之间的连接关系以及用户的个人资料和行为数据。
然后，我们可以使用图论和网络科学的方法来分析这个社交网络图。
例如，我们可以使用节点度中心性来衡量用户的社交影响力，使用聚类算法来发现用户之间的社交圈子等。
这些分析方法能够帮助我们识别出社交网络中的核心用户、社群结构以及关键信息流动路径。
在社交网络图数据分析的基础上，我们可以设计和构建一个个性化推荐系统。
个性化推荐系统的目标是根据用户的兴趣爱好和社交关系，为他们提供他们可能感兴趣的内容和产品。
社交网络图数据为个性化推荐系统提供了丰富的信息来源。
我们可以使用协同过滤算法，根据用户之间的社交关系和兴趣相似度，为用户推荐他们的好友喜欢的内容。
同时，我们也可以使用内容推荐算法，根据用户的社交圈子中的热门话题和关注内容，向用户推荐他们可能感兴趣的内容。
除了个性化推荐系统，社交网络图数据还可以用于社交关系挖掘和社交网络营销。
社交网络关系挖掘的目标是发现有意义的社交网络关系，例如影响力节点、关键传播者等。
这些信息对于社交网络的营销活动和社交媒体策略制定来说都非常有价值。
通过分析和挖掘社交网络关系，我们可以洞察用户之间的信息传播路径和影响力传递模式，从而更好地设计推广活动和提升品牌影响力。
社交网络数据分析方法与案例分享
社交网络数据分析方法与案例分享社交网络随着互联网的迅猛发展而变得日益普及，已成为人们日常生活不可或缺的一部分。
同时，社交网络中蕴含着大量的数据，这些数据对于各种领域的研究和分析具有重要意义。
本文将介绍社交网络数据分析的方法，并结合案例分享具体应用。
一、社交网络数据分析的方法1. 数据收集社交网络数据分析的第一步是数据收集。
常见的收集方式包括爬虫技术、API接口和问卷调查等。
通过这些方式，可以获取到用户的个人信息、社交关系、社交行为等多种数据。
2. 数据预处理社交网络数据通常存在噪音和缺失值，需要进行预处理以提高数据质量。
预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。
清洗数据可以去除冗余信息和异常值，集成数据可以将多个数据源进行整合，变换数据可以对数据进行归一化或标准化处理，规约数据可以减少数据量和降低计算复杂度。
3. 社交网络分析社交网络分析是研究社交网络结构和关系的一种方法。
其中，常用的分析方法包括：（1）邻接矩阵邻接矩阵是社交网络中最基本的一种表示方法，通过记录用户之间的关系，可以方便地分析社交网络的拓扑结构。
邻接矩阵可以使用矩阵计算方法进行分析，例如计算网络中节点的中心性、连通性等指标。
（2）社区发现社区发现是一种将社交网络划分为若干个相对独立子图的方法。
社区发现可以通过识别节点之间的紧密连接和弱连接来判断社区结构，常用的算法包括Louvain算法、模块化最大化算法等。
（3）影响力分析影响力分析是通过研究社交网络中节点之间的信息传播现象来分析节点的影响力。
常用的影响力分析方法包括PageRank算法、HITS算法等。
二、案例分享1. 社交网络数据在营销中的应用社交网络数据分析可以帮助企业了解用户需求、分析竞争对手情报、识别潜在用户等。
如某电商公司通过分析社交网络数据，发现消费者在社交网络上对产品的评价是营销的重要因素，进而采取相应的措施优化产品和服务。
2. 社交网络数据在舆情监测中的应用社交网络数据中蕴含着大量用户对各种事件、产品或服务的评论和反馈，可以帮助机构进行舆情监测和危机公关。
网络数据采集课程设计总结
网络数据采集课程设计总结一、课程目标知识目标：1. 让学生理解网络数据采集的基本概念、原理和方法。
2. 让学生掌握利用网络爬虫工具进行数据采集的步骤和技巧。
3. 让学生了解网络数据采集的法律法规和道德规范。
技能目标：1. 培养学生运用网络爬虫工具进行数据采集的能力。
2. 培养学生分析网络数据，提取有效信息的能力。
3. 培养学生解决网络数据采集过程中遇到的问题的能力。
情感态度价值观目标：1. 培养学生对网络数据采集的兴趣，激发学生的学习热情。
2. 培养学生遵守网络数据采集相关法律法规和道德规范，树立正确的网络道德观。
3. 培养学生具备合作精神，善于与他人共同解决问题。
课程性质：本课程为实践性较强的课程，旨在帮助学生掌握网络数据采集的方法和技巧，提高学生的数据分析和处理能力。
学生特点：学生具备一定的计算机操作基础和网络知识，对新鲜事物充满好奇，喜欢动手实践。
教学要求：结合课程性质和学生特点，注重理论与实践相结合，充分调动学生的主观能动性，培养学生的实际操作能力和团队协作能力。
通过课程学习，使学生能够达到上述具体的学习成果。
二、教学内容本课程教学内容主要包括以下几部分：1. 网络数据采集基本概念：介绍网络数据采集的定义、作用和分类。
2. 网络爬虫原理与设计：讲解网络爬虫的工作原理、设计方法及常见爬虫算法。
3. 网络数据采集工具：介绍常用的网络数据采集工具及其使用方法，如Python的BeautifulSoup、Scrapy等。
4. 网络数据采集实战：通过实际案例，让学生动手操作，掌握数据采集的具体步骤和技巧。
5. 网络数据采集法律法规与道德规范：讲解我国网络数据采集的相关法律法规，强调遵守网络道德规范。
6. 数据处理与分析：教授如何对采集到的数据进行处理、分析，提取有效信息。
教学大纲安排如下：1. 第1周：网络数据采集基本概念，了解网络数据采集的意义和分类。
2. 第2周：网络爬虫原理与设计，学习爬虫的基本原理和设计方法。
社交媒体数据挖掘与分析系统设计
社交媒体数据挖掘与分析系统设计随着社交媒体的普及和发展，人们在日常生活中越来越依赖于社交媒体平台进行信息传播和交流。
对于企业和组织而言，了解社交媒体上的用户趋势、品牌声誉以及市场竞争情况等信息至关重要。
因此，设计并开发一套社交媒体数据挖掘与分析系统能够帮助企业和组织提取和分析社交媒体数据，从而实现更好的决策和战略制定。
一、系统架构设计社交媒体数据挖掘与分析系统的架构设计应包括数据采集、数据预处理、数据挖掘与分析及可视化展示四个主要模块。
1. 数据采集模块数据采集模块负责从社交媒体平台提取数据并存储为结构化数据。
可以通过API接口进行数据抓取，并根据需求选择采集特定的数据(如用户信息、微博内容等)。
同时，需要保证数据采集的实时性和可靠性，并定期更新数据以保持数据的有效性。
2. 数据预处理模块数据预处理模块对采集到的原始数据进行清洗和标准化，以便后续的数据挖掘和分析。
主要包括噪声数据的过滤、重复数据的去重、缺失数据的填充等操作。
此外，还可对文本数据进行分词、词性标注等自然语言处理操作，为后续的情感分析和主题挖掘做准备。
3. 数据挖掘与分析模块数据挖掘与分析模块对预处理后的数据应用不同的挖掘算法进行信息提取和分析。
常用的挖掘技术包括情感分析、用户画像构建、网络关系分析、主题挖掘等。
通过分析用户在社交媒体上的行为、观点和需求，可以获取有关用户行为模式、市场趋势以及竞争对手的情报等信息。
4. 可视化展示模块可视化展示模块将挖掘和分析得到的结果以图表等形式进行展示。
用户可以通过直观的图表和可交互的界面快速了解数据的趋势和特点。
同时，该模块还可以提供定制化的报告生成功能，以满足用户对特定信息的需求。
二、关键技术与算法选择1. 社交媒体API选择合适的社交媒体API用于数据采集，如Twitter API、Facebook Graph API等。
API提供了便捷的接口和相应的授权机制，可以满足数据采集的需要。
2. 文本挖掘与情感分析对于社交媒体上的文本数据，可以采用自然语言处理技术进行分词、词性标注等操作。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
社交网络数据收集算法的设计
组号 组长 组员 组员 组员 姓名：盖云东 姓名：任志成 姓名：马剑楠 姓名：陈海涛
第 21 组 学号：130104010049 学号：130104010121 学号：130104010004 学号：1301040们正处于一个信息爆炸的时代。社交 网络数据信息量大、 主题性强,具有巨大的数据挖掘价值,是互联网 大数据的重要组成部分。一些社交平台如 Twitter、新浪微博、人 人网等,允许用户申请平台数据的采集权限,并提供了相应的 API 接口采集数据,通过注册社交平台、申请 API 授权、调用 API 方 法等流程获取社交信息数据。但社交平台采集权限的申请比较严 格,申请成功后对于数据的采集也有限制。 因此,本文采用网络爬虫 的方式,利用社交账户模拟登录社交平台 ,访问社交平台的网页信 息,并在爬虫任务执行完毕后,及时返回任务执行结果。 相比于过去 的信息匮乏，面对现阶段海量的信息数据，对信息的筛选和过滤 成为了衡量一个系统好坏的重要指标。本文运用了爬虫和协同过 滤算法对网络社交数据进行收集。
关键词：软件工程；社交网络；爬虫；协同过滤算法
目录
摘要 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -2目录 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -3课题研究的目的 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -11.1 课题研究背景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -12 优先抓取策略--PageRank · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -22.1 PageRank 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -22.2 PageRank 流程 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -23 爬虫 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -43.1 爬虫介绍 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -43.1.1 爬虫简介· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -43.1.2 工作流程 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -43.1.3 抓取策略介绍 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -53.2 工具介绍 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -63.2.1 Eclipse · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -73.2.2 Python 语言 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -73.2.3 BeautifulSoup · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -73.3 实现 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -83.4 运行结果 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · -94 算法部分 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · - 10 4.1 获取数据的三种途径 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · - 10 4.1.1 通过新浪微博模拟登录获取数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · - 10 4.1.2 通过调用微博 API 接口获取用户微博数据 · · · · · · · · · · · · · · · · · · · · · · · · - 11 4.2 基于用户的协同过滤算法 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · - 14 4.2.1 集体智慧和协同过滤 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · - 14 4.2.2 深入协同过滤核心 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · - 15 4.3 算法实现 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · - 18 结论 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · - 21 参考文献 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · - 22 -