非结构化P2P网络搜索技术研究
合集下载
非结构化数据处理及应用的研究与实现
非结构化数据处理及应用的研究与实现随着互联网的迅速发展和大数据时代的到来，非结构化数据在各行各业中的重要性逐渐凸显。
非结构化数据不同于传统的结构化数据，它没有明确的预定格式和组织结构，包括文本、图片、音频、视频等形式的数据。
如何高效地处理和应用非结构化数据已经成为当前研究的热点之一。
一、非结构化数据处理的挑战非结构化数据由于其自由度高、多样性大，使得其处理变得复杂且困难。
其主要挑战包括以下几个方面：1.数据来源的多样性：非结构化数据来自于各种各样的渠道，如社交媒体、博客、新闻等，这些数据具有高度的异构性。
2.数据量的庞大：随着互联网的普及和用户数量的增加，非结构化数据的规模呈指数级增长，处理海量数据成为一项重要任务。
3.数据的有效提取：非结构化数据中所包含的信息往往需要通过算法和技术手段进行提取和分析，如情感分析、实体识别等。
二、非结构化数据处理与应用的研究方法与技术1.数据清洗与预处理：由于非结构化数据的多样性和异构性，首先需要对数据进行清洗和预处理，包括去除噪声、重复数据和非法字符等，以减少后续处理的复杂度和提高数据的质量。
2.文本挖掘与自然语言处理：非结构化数据中大量是以文本形式存在，因此如何有效地挖掘和处理文本数据成为关键。
文本挖掘技术可以通过关键词提取、主题模型、情感分析等方法来发现隐藏在大量文本数据中的有用信息。
同时，自然语言处理技术可以对文本进行分词、词性标注、命名实体识别等操作，以更好地理解和处理非结构化数据。
3.图像和音频处理：除了文本数据外，非结构化数据还包括图片、音频等形式的数据。
图像处理技术可以通过图像识别、目标检测等方法提取图像中的有用信息，如识别人脸、车辆等。
音频处理技术可以通过语音识别、情感分析等方法对音频数据进行处理和应用。
4.机器学习与深度学习：非结构化数据处理中，机器学习和深度学习等技术起着重要作用。
机器学习算法可以通过训练模型来进行数据分类、文本分类、情感分析等任务。
非结构化P2P网络资源搜索算法研究
本地索 引算法 中 ， 每个节 点维护 了距 离 自己ｍ步 以 内节点 的数据 索引 ， 当节点收 到查 询请求时 ， 它可 以为 ｍ步 以内的所有 节点处理查询 请求 ， 这里 的 ｍ是索 引半径 ， 是 索引算法 的参 数。通过这 种算法 ， 可以 把对 资源 的查 询处 理放 到较 少 的节点 上进 行 ， 从而 降低 资源 搜索 延 时。本地索 引算法 工作过程如下 ： 一个 系统范围 内的策略规定 了查询 消息的处理在哪些节点上进行 ， 通常在深度为 ２ ｍ ＋ ｌ 的结点进行 。深度 不 在策略 中的结点不 处理查询请 求 ， 只是简 单地将查询 消息转发 给邻 居。例如 ， 如果搜 索策略 Ｐ ＝ （ Ｏ ， ５ ） ， 那么离查 询结点深度为 ０ 和５ 的倍 数 上 的结点会处 理查 询消息 ， 其 它节点只是 简单 地把查 询转 发给邻居 节
１ ． ２ 本地索引算法（ Ｌ ｏ ｃ ａ ｌ Ｉ ｎ ｄ ｉ ｃ ｅ ｓ ）
网络节 点资源可 以看成是节 点文本 的集 合 ， 即节点 资源相关 度可 以通过计算文本相 似度得 到。本文通过扩展后缀树来表达节 点文本 内 容， 进 而通过构建 节点文本 向量来计算节 点资源 的相关 度 。统计 结果 表明 ， 标题、 关键词 和摘要所 含信息代表 了文本信息 的 ７ ０ ％， 并且摘 要 是从原 始文本资源 中提炼 出来 的最具代表 意义的短句集 合 ， 反映 了文 档的 主题 内容 ， 而且 摘要相对 较小 ， 聚类速度 快且效率 高 ， 因此在 本文 中我们主要是针对标题 、 关键词和摘要进行构建扩展后缀树 。 后缀树 ： 一个有 ｎ 个字符的 串Ｐ， 它的后缀树是一棵有 根的有 向树 ， 共有 ｎ 个 叶子 ， 分别 标号 为 ｌ 到ｎ 。每一条 边都 用 Ｐ 的非 空子 串来 表 示 。从任一 节点 出来 的两条边 ， 它 们必须 以不 同的字符 开始。从根 节 点到 叶子节 点 ｉ ， 顺序 经过 的树边 的 串联 ， 恰 好为 Ｐ 从ｉ 位 置开 始 的后 缀， 即Ｐ 。例如字符 串ａ ｐ ｐ ｌ ｅ ￥， 它所有的后缀为 ： ａ ｐ ｐ ｌ ｅ ￥， ｐ ｐ ｌ ｅ ￥， ｐ ｌ ｅ ￥，
基于P2P技术的网络信息检索的探讨
交 流 、 件 交 换 、 布 计 算 、 同 、 度 检 索 等 方 面应 用 十 分 广 文 分 协 深 泛 。一 般 来 说 ．２ Ｐ Ｐ有 两个 层 面 的基 本 含 义 ： Ｐ Ｐ通 信 模 式 。这 种 模式 区别 于传 统 的 客户 机 ， 务 器 或 ２ 服 者 主， （ ｓ Ｓａｅ 模 式 ， 个 通 信 方 都 具 有 相 同 的能 力 。 从 Ｍａｔ ｌ ） ｍ／ ｖ 每 并 且 每个 通 信 方 都 可 以 发 起 一 个通 信过 程 ． Ｐ Ｐ网 络 。Ｐ Ｐ 网络 是 运 行 在 互 联 网上 的动 态 变 化 的 逻 ２ ２ 辑 网络 。这 个 网络 是 由一 些 运 行 同 一 个 网 络 程 序 的 客 户 端 彼 此 互 连 而 构 成 的 ．客 户 端 彼 此 间 可 以 直 接 访 问 存 储 在 对 方 驱 动 器 上 的文 件 。 ’Ｐ Ｐ使 得 网 络 上 的 沟 通 变 得 更 容 易 、用 户 可 以直 接 共 享 和 ２ 交互而不必借助 中间商 ．不用像过去那样必须连接到服务器才 能 浏 览 与下 载 。Ｐ Ｐ 另 一 个 重 要 特 点 是 改 变 了 互 联 网 以太 网站 ２
－
要建立 在分布式 Ｈａｈ表之上 。 ｓ 在给定 资源的索引情况 下 ． 能够
在 ０１ 跳 之 内定 位 到 索 引对 应 的 节点 。 （ 即） ２Ｐ Ｐ的概 念和 结构 模 式 ．２
２１Ｐ Ｐ的 概 念 ． ２
Ｐ Ｐ是 ｐ －ｏ ｐｅ ２ ￣ｒｔ— ｅｒ的缩 写 。 目前 Ｐ Ｐ 技 术 在 加 强 网 络 上 ２
挖 掘 网 络 边缘 资 源 ， 可 提 供 个 性 化 的 信 息服 务 。 本 文 从 Ｐ Ｐ技 术 的 基 本 原 理 入 手 ， 并 ２ 围绕 Ｐ Ｐ技 术 的基 本 概 念 、 用 范 围和 ２ 应
P2P在无线和移动网络中的解决方案研究
度。
邻冒节 选择的灵活性 在无线网络中， 报文可以方便的广播到邻居
节点。 目 而 付出的ｆ 淑 仅是 — 保持这些节点 的连接仅产生少量的本地流量。 如果 自 组织网络协 议能够分析报文， 那么一条消息就能被—个节点截 获， 该节点 就参与到底层网络的路由过程之中。这 个 可能将涛溅 向到这样的节 ： 基于周边 对等存储的信息确定是否距离 目的地节点更近的
节点。 是否截获—条消息取决于与替代路由上的距 离相比， 在重叠网结构中所取得的改进。如果连接 速度不是问题 ， Ｂ 舴叼 牵涉到路由中的节 也 可能截获—条消息。路由 可能变化， —条路由变 目 化消息必须发送到负责处理路由 请求的节点 匕 如 。 变化的消息， 路 由 过程将继续进行， 但是这个过程将以 增加时延而
信息产业 ＩＩ ｌ
刘 志 敏 （ 齐哈 尔 市广 播 电视 大学 ， 黑龙 江 齐 齐哈 尔 １ １ ０ ） ６ ０ ６
科 辔商
Ｐ Ｐ在无线和移 动网络 中的解 决方案研究 ２
摘 要 ：２ Ｐ Ｐ技 术已经 大量 的应 用在 Ｉｅ ｔ 并取得 了好 的效果 。 ｎ ｍｅ 上， 如何在无线和移动 网络 中部 署 Ｐ Ｐ网络是本文的重点 内容。 ２ 通过分析无线 和移动 网络的特点 ， 分别提 出了在 非结构化 和结构化 Ｐ Ｐ网络 的解决方案。 ２ 关键 词 ：２ ； 线 网络 ； 动 网络 ； ＨＴ ＰＰ 无 移 Ｄ
Ｒｏ ｔｎ ｎ ｕｉ ｇ ｉ Ａｄ Ｈｏ Ｗ ｉｅｅ ｓ Ｎｅｗｏｋ ’ Ｍｏ ｉ ｅ ｒｌｓ ｔ ｒ ｓ ｂｌ ｅ
Ｃ ｍ ｕｉｇ（１ｗ ｒＡ ａｅ ｃＰ ｂｉｈ商， ９６ ｏ ｐ ｔ Ｋ． ｅ ｃｄ ｍｉ ｕ ｌ ｅ １ ９ ｎ ｓ
。
作者简介： 刘志敏， 同 女， 济大学软件学院在读
邻冒节 选择的灵活性 在无线网络中， 报文可以方便的广播到邻居
节点。 目 而 付出的ｆ 淑 仅是 — 保持这些节点 的连接仅产生少量的本地流量。 如果 自 组织网络协 议能够分析报文， 那么一条消息就能被—个节点截 获， 该节点 就参与到底层网络的路由过程之中。这 个 可能将涛溅 向到这样的节 ： 基于周边 对等存储的信息确定是否距离 目的地节点更近的
节点。 是否截获—条消息取决于与替代路由上的距 离相比， 在重叠网结构中所取得的改进。如果连接 速度不是问题 ， Ｂ 舴叼 牵涉到路由中的节 也 可能截获—条消息。路由 可能变化， —条路由变 目 化消息必须发送到负责处理路由 请求的节点 匕 如 。 变化的消息， 路 由 过程将继续进行， 但是这个过程将以 增加时延而
信息产业 ＩＩ ｌ
刘 志 敏 （ 齐哈 尔 市广 播 电视 大学 ， 黑龙 江 齐 齐哈 尔 １ １ ０ ） ６ ０ ６
科 辔商
Ｐ Ｐ在无线和移 动网络 中的解 决方案研究 ２
摘 要 ：２ Ｐ Ｐ技 术已经 大量 的应 用在 Ｉｅ ｔ 并取得 了好 的效果 。 ｎ ｍｅ 上， 如何在无线和移动 网络 中部 署 Ｐ Ｐ网络是本文的重点 内容。 ２ 通过分析无线 和移动 网络的特点 ， 分别提 出了在 非结构化 和结构化 Ｐ Ｐ网络 的解决方案。 ２ 关键 词 ：２ ； 线 网络 ； 动 网络 ； ＨＴ ＰＰ 无 移 Ｄ
Ｒｏ ｔｎ ｎ ｕｉ ｇ ｉ Ａｄ Ｈｏ Ｗ ｉｅｅ ｓ Ｎｅｗｏｋ ’ Ｍｏ ｉ ｅ ｒｌｓ ｔ ｒ ｓ ｂｌ ｅ
Ｃ ｍ ｕｉｇ（１ｗ ｒＡ ａｅ ｃＰ ｂｉｈ商， ９６ ｏ ｐ ｔ Ｋ． ｅ ｃｄ ｍｉ ｕ ｌ ｅ １ ９ ｎ ｓ
。
作者简介： 刘志敏， 同 女， 济大学软件学院在读
非结构化P2P网络搜索算法的研究与改进
［ ｙｗ ｒ ｓ ｅｗｏｋｔｐ ｌｇ ｒｃｕｅ ｐｙ ｉａｌｃｔ ｎ ｄｒｃｉｎ ｌ ｕｒ Ｋｅ ｏ ｄ ！ｎｔ ｒ ｏｏ ｙｓ ｕｔｒ； ｈ ｓ ｌｏａｉ ；ｉ ｔ ａ ｑ ｅ ｏ ｔ ｃ ｏ ｅ ｏ ｙ
１ 概述
Ｐ Ｐ是指对等计算或对等 网络 ，可以简单地定义 为通 过 ２ 直接交换共享计算机资源和服务 。Ｐ Ｐ 网络中弱化了服务器 ２ 的功能 ，任意 ２台 Ｐ Ｃ互为服务器／ 客户机。
［ ｓｒｃ ］ ｃｒｉｇｔ ｅ ｏ ｆｃｅ ｃ ｎ ｇ ｏ ｓｍｐｉｎｏ ２ ａｃ ｆ ｒｅ ａ ｅｗｏｋｔｐ ｌｇ ｔ ｃｕｅｂ ｓｄｏ ｈ ｓ ａ ｌｃｔ ｎ Ａｂｔａｔ Ａｃｏｄｎ ｔ ｗｅｆ ｉｎｙａ ｄｌ ｅｃｎｕ ｔ ｆ Ｐｓ ｒｈｓ ｔ ， ｔ ｒ ｏｏ ｙｓ ｕ ｔｒ ａｅ ｎｐ ｙｉ ｌｏａｉ Ｏｈｌ ｉ ｒ ａ ｏ Ｐ ｅ ｏ ｗａ ｎ ｏ ｒ ｃ ｏ
中心化拓扑结构 ，全分布式非结构化拓扑结构 ，全分布式 结
构化拓扑结构 以及半分布式拓扑结构。 目前 ，大多数 Ｐ Ｐ应用系统是非结构化 拓扑 结构 ，这种 ２
动节点主机的地址 中获取 ； ２存储 Ｐ ｎ 信息 中的主机地址 ； （） ｏｇ （） ３存储 Ｑ ｅｙ ｔ ｕ ｒＨｉ消息 中的主机地址。 获得 的地址形式都是端
ｉ ｐ ｅ ｅ ｔｄ ｃ ｍｂ ｎ ｄ ｗ ｔ ｓ ｂ ｅ ｓ ｃ ｎ ｌｇ ． ｄｒｃｉｎ ｌ ｕ ｒ ｅ ｏ ｒｅｓ ａｃ ｌｏ ｉ ｍ（ — ｅ ｃ ｉｇ ｂ ｓｄｏ ｔｄ ｓ ｌ ｔ ｄ ｃ ｄ ｓ ｒｓ ｎｅ ｏ ｉ ｅ ｉ ｕ ｎ ｔ ｈ ｍａｋ ｔ ｈ ｏｏ ｙ Ａ ｉ ｔ ａ ｅｙｒ ｓ ｕｃ ｅ ｈ ａ ｒ ｈ Ｄ Ｓ ａ ｈ ｎ ） ａｅ ｎ ｓ ｙｉ ａｓ ｉ ｒ ｕ ｅ ， ｅ ｅ ｏ ｑ ｒ ｇ ｔ ｒ ｕ ｏｎ ｏ
P2P资源搜索算法研究与分析
维普资讯
中 国 民 航 飞 行 学 院 学 报
４ ２ Ｊ ｕ ｎ ｌ ｏ Ｃｉ ｉ Ａｖ ａ ｉｎ Ｆ ｉｈ Ｕｎ ｖ ｒｉ ｏ Ｃｈ ｎ ｏ ｒ ａ ｆ ｖｌ ｉｔ ｌ ｔ ｏ ｇ ｉｅｓｙ ｔ ｆ ｉａ
Ｎｏ ． ０ ６ ｖ ２０
来 ，彼此提供和共享资源与服务。Ｐ Ｐ 的系统结 ２
构是动态变化 的，会不断地有新用户加入或老用 户离开。因此 ，Ｐ Ｐ 系统 中一般都需要 引入动态 ２
线被 Ｐ Ｐ这一不算新的技术思想所吸引。Ｐ Ｐ 其 ２ ２
实是起源于最初的联网通信，建立在 Ｔ ＰＩ Ｃ／ Ｐ协议 之上 的通信模式构成 了今 日互联网的基础 。因此 从基础技术看 ，Ｐ Ｐ 不是新技术 ，而是新 的技术 ２
Ｐ Ｐ 自身的特 点，如系统的开放性 、计算机 ２
之 间的直接 互连 、 资源和服 务 的共 享等 ，使得 Ｐ Ｐ 系统在实现 上存在一些关键技术，如动态成 ２
员管 理机制 、内容 复制技术 、内容查询 定位算 法，安全技术等。
２１ 系结构 ．体
Ｐ Ｐ 系统 将 成千 上万 的计 算机 用户 连接 起 ２
提 高访 问资源成功率 ，即提高资源的可获得性 ，
很 多 Ｐ Ｐ 系统都采 取 了复制和缓 存技术 。复制 ２ （ ｅｌａｏ ） Ｒ ｐｉ ｔ ｎ是将文件 复制保存在 离请 求发起用户 ｃｉ 距离较近 的用户节 点中：缓存（ ａｈ ｇ有多种不 Ｃ ｃｉ ） ｎ
维普资讯
中图分类号：Ｔ ３ ｌ Ｐｌ
ｌ２ Ｐ体 系结构 的兴起 Ｐ
文献标识码：Ａ 技术主要指由硬件形成连接后 的信息控制技术，
当前，最普遍 的分布式计算模 型是客户／￣ Ｊ 务 ］ ｌ
其代表形式是软件。
Ｐ Ｐ技术相对于 ＣＳ模式的优势在于：负载 ２ ／ 均衡信息资源丰富、冗余和容错 、基于 内容 的寻 址 、有效的搜索等。 ２２ Ｐ系统 的关键技术 Ｐ
中 国 民 航 飞 行 学 院 学 报
４ ２ Ｊ ｕ ｎ ｌ ｏ Ｃｉ ｉ Ａｖ ａ ｉｎ Ｆ ｉｈ Ｕｎ ｖ ｒｉ ｏ Ｃｈ ｎ ｏ ｒ ａ ｆ ｖｌ ｉｔ ｌ ｔ ｏ ｇ ｉｅｓｙ ｔ ｆ ｉａ
Ｎｏ ． ０ ６ ｖ ２０
来 ，彼此提供和共享资源与服务。Ｐ Ｐ 的系统结 ２
构是动态变化 的，会不断地有新用户加入或老用 户离开。因此 ，Ｐ Ｐ 系统 中一般都需要 引入动态 ２
线被 Ｐ Ｐ这一不算新的技术思想所吸引。Ｐ Ｐ 其 ２ ２
实是起源于最初的联网通信，建立在 Ｔ ＰＩ Ｃ／ Ｐ协议 之上 的通信模式构成 了今 日互联网的基础 。因此 从基础技术看 ，Ｐ Ｐ 不是新技术 ，而是新 的技术 ２
Ｐ Ｐ 自身的特 点，如系统的开放性 、计算机 ２
之 间的直接 互连 、 资源和服 务 的共 享等 ，使得 Ｐ Ｐ 系统在实现 上存在一些关键技术，如动态成 ２
员管 理机制 、内容 复制技术 、内容查询 定位算 法，安全技术等。
２１ 系结构 ．体
Ｐ Ｐ 系统 将 成千 上万 的计 算机 用户 连接 起 ２
提 高访 问资源成功率 ，即提高资源的可获得性 ，
很 多 Ｐ Ｐ 系统都采 取 了复制和缓 存技术 。复制 ２ （ ｅｌａｏ ） Ｒ ｐｉ ｔ ｎ是将文件 复制保存在 离请 求发起用户 ｃｉ 距离较近 的用户节 点中：缓存（ ａｈ ｇ有多种不 Ｃ ｃｉ ） ｎ
维普资讯
中图分类号：Ｔ ３ ｌ Ｐｌ
ｌ２ Ｐ体 系结构 的兴起 Ｐ
文献标识码：Ａ 技术主要指由硬件形成连接后 的信息控制技术，
当前，最普遍 的分布式计算模 型是客户／￣ Ｊ 务 ］ ｌ
其代表形式是软件。
Ｐ Ｐ技术相对于 ＣＳ模式的优势在于：负载 ２ ／ 均衡信息资源丰富、冗余和容错 、基于 内容 的寻 址 、有效的搜索等。 ２２ Ｐ系统 的关键技术 Ｐ
国内P2P网络热点技术研究
时 ，存储 在其 上的数 据就变得 不可用 ，为 了进 一步提 高数据 的可获取性 ，减 少数 据定位 的延迟 ，那么 网络 中的资 源就 必须存在 多个副 本 ，从而推动 了资
源 复制 策略 的研 究 。
扑 结构松散无 关 ，著 名的例 子有 Ｇ ｕ ｅｌＩ和 Ｋａ ａ ，它们 在文件 共享方 ｎ ｔｌ ‘ ａＩ Ｚ Ａｌ
面取得 了巨大 成功 。 结构化 Ｐ Ｐ网络是 完全分布 式的对 等 比较 著名 的有 ＣＡＮ Ｉ Ｃ ｏ ｄ ， ２ ｈ ｒ Ｐ ｓ ｒ ｛和 Ｔａ ｅｔ ｙ Ｉ ａ ｔｙ Ｉ ｐ ｓｒ ￣ 。在这种 结构 中，资源的分 布有一定 的规则 ：每个节 点对应某个 空间的唯 一的哈 希值 ｐ ｅ ｉ ，每 个资源也对 应该 空间中唯 一的哈 ｅｒ ｄ 希值 ｋ ｙｄ，该资源 就被存储到 ｐ ｅ ｉ ｅｉ ｅｒ ｄ距离 ｋ ｙ ｄ在数值上最 接近 的节 点上 。 ｅｉ 当查询资 源时 ，根据 此资源 的哈希 值就能 定位到 某个节 点上 ，因此 ，结构 化
层 ，所 以就出现 了逻辑 网络拓扑 与物理 网络拓 扑不 匹配的问 题。这项技 术的 研究 大大 提高 了搜 索效 率 ，减少 了不 必要 的路 由 ，降低 了网络 开销 。
１ ２ 体 系结构介绍 ２ Ｐ Ｐ
Ｐ Ｐ网络根据 体系结构 的不 同可 以分为 两类 ：非结构 化 Ｐ Ｐ网络 和结构 ２ ２
对于非 结构化 Ｐ Ｐ网络 ，主 要有以 下两种 资源 复制 策略 。 ２ （） 基于流 行度的副本 策略 。论 文ＩＩ １ ！ 中提 出了一种基 于流行度 的层次式 副本 创建 策略 Ｐ Ｓ Ｐ Ｒ。该策略 充分考 虑文件 的异 质性 ，利用 文件流 行度辅助 副 本创 建 ，使得 文件 副 本数量 和 分布 更加 合 理 ，充 分利 用 了 当前 非 结构化
源 复制 策略 的研 究 。
扑 结构松散无 关 ，著 名的例 子有 Ｇ ｕ ｅｌＩ和 Ｋａ ａ ，它们 在文件 共享方 ｎ ｔｌ ‘ ａＩ Ｚ Ａｌ
面取得 了巨大 成功 。 结构化 Ｐ Ｐ网络是 完全分布 式的对 等 比较 著名 的有 ＣＡＮ Ｉ Ｃ ｏ ｄ ， ２ ｈ ｒ Ｐ ｓ ｒ ｛和 Ｔａ ｅｔ ｙ Ｉ ａ ｔｙ Ｉ ｐ ｓｒ ￣ 。在这种 结构 中，资源的分 布有一定 的规则 ：每个节 点对应某个 空间的唯 一的哈 希值 ｐ ｅ ｉ ，每 个资源也对 应该 空间中唯 一的哈 ｅｒ ｄ 希值 ｋ ｙｄ，该资源 就被存储到 ｐ ｅ ｉ ｅｉ ｅｒ ｄ距离 ｋ ｙ ｄ在数值上最 接近 的节 点上 。 ｅｉ 当查询资 源时 ，根据 此资源 的哈希 值就能 定位到 某个节 点上 ，因此 ，结构 化
层 ，所 以就出现 了逻辑 网络拓扑 与物理 网络拓 扑不 匹配的问 题。这项技 术的 研究 大大 提高 了搜 索效 率 ，减少 了不 必要 的路 由 ，降低 了网络 开销 。
１ ２ 体 系结构介绍 ２ Ｐ Ｐ
Ｐ Ｐ网络根据 体系结构 的不 同可 以分为 两类 ：非结构 化 Ｐ Ｐ网络 和结构 ２ ２
对于非 结构化 Ｐ Ｐ网络 ，主 要有以 下两种 资源 复制 策略 。 ２ （） 基于流 行度的副本 策略 。论 文ＩＩ １ ！ 中提 出了一种基 于流行度 的层次式 副本 创建 策略 Ｐ Ｓ Ｐ Ｒ。该策略 充分考 虑文件 的异 质性 ，利用 文件流 行度辅助 副 本创 建 ，使得 文件 副 本数量 和 分布 更加 合 理 ，充 分利 用 了 当前 非 结构化
基于P2P网络的资源搜索技术研究
基于Ｐ２Ｐ网络的资源搜索技术研究作者：郑磊来源：《硅谷》2009年第18期[摘要]对P2P资源搜索的拓扑结构和资源搜索算法等相关知识作较详细的介绍,对基于不同P2P结构的搜索算法作简单的对比和分析。
并针对现有搜索算法存在的问题,提出一些解决的设想,最后对影响搜索算法的因素和解决的方法进行归纳。
[关键词]P2P资源搜索中图分类号:TP3文献标识码:A文章编号:1671-7597(2009)0920068-01一、引言P2P即端到端网络应用,又称为对等连接或对等网络,是一种新的通信模式,P2P网络中的节点是对等的,且每个peer能同时充当服务器和客户端。
在P2P网络中,不存在中心服务器,所有的节点既是客户机,享用其他节点提供的服务,同时又充当服务器,为其他节点提供服务。
P2P对等的节点之间进行直接的连接与共享,因此搜索无需通过Web服务器,也可不受任何信息文档格式和宿主设备的限制,可以达到传统搜索引擎无可比拟的深度,理论上可以包括网络上所有的信息资源。
现阶段互连网上大量资源被闲置,没有被充分利用,P2P搜索技术可以帮助人们方便地找到所需资源。
二、P2P资源搜索技术为了在P2P网络中有效的发现资源,人们对P2P搜索技术做了大量的研究。
目前主要从P2P网络的结构以及采用的算法两方面进行研究。
P2P网络可分为两类:结构化网络和非结构化网络。
在结构化网络中每个结点存储的信息与网络拓扑结构有关,通过映射完成,查找采用基于DHT分布式散列路由搜索算法。
而非结构化网络则与网络拓扑无关,其结点可任意存储信息,查找采用基于广度优先的搜索算法及其改进算法。
(一)结构化P2P网络的资源搜索技术结构化P2P网络是指像CAN、Chord、Tapestry之类的点对点的网络。
这类网络中每个节点都有固定的地址,整个网络具有相对稳定和规则的拓扑结构。
依赖拓扑结构,可以给网络的每一个节点指定一个逻辑地址,并把地址和节点对应起来。
动态散列表是大多数结构化P2P网络所采取的资源定位方式。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对现有的非结构化 ＰＰ网络的改进 ２
直到收到响应 ，或者达 到了最大 的泛洪步 拓扑 自适应
考虑到网络的异构和各节 点处理能力 低的节点离能力高的节点很近。
ｉ三一 ２ ｜ｉ ； 维普资讯｜ ｜｜ ０ ＝ ｊ ＿０ ｊ 三 ｌ
研究与发展
ｆ ｜ ｌ三 Ｉ ｊ ＿ 三 ｉ。 ｌ
［７ ２ ２ ２ ￣
维普资讯
■
７ ２
Байду номын сангаас
研究与发展
非结构化 Ｐ ２ Ｐ网络搜索技术研究
■文 ／ 李晓娟 徐远超 张树东 张聪霞 （ｌｏｉｇ Ｆｏｄｎ ）发现 和随机转 发机制 。 Ｐ Ｐ文件共享首先要解决文件定位的 为了控制搜索消 ２ 问题 。理论上 ，Ｐ Ｐ搜索技术 的搜索范 围 息 的传 输 ，通 过 ２
对流量的分析和控制能力将直 接决定整个网 络的交通状况
非结构化Ｐ Ｐ 网络解决 了网络结构中 ２ 这种 洪 泛方 式定 位对 等 点 的方 法 心化的问题 ，扩展性和容错性 较好 。但是
它采用应用层 广播 的协议 ， 导致消息量 过 将造成网络流量 急剧增加 ，从而导致 网络 的不 同，用节 点每秒 能处理 的查询量来表 大 ，网络负担过重 ，无法得 知整个网络的 中部分低带宽节点 因网络资源过载而失效， 示节 点的能力 。通 过计算，获得各节 点的 拓扑 结构或组成 网络 的各对 等点 的身份 ， 甚至存在 比较严重的分区 、断链现象 。导 处理 能力 ，进而避免 任何节 点过 载以处理 新的对等点进入网络时 ，系统必须 向这个 致一个查询访问只能在网络的很小一部分 更多的查询 ，适应不断增大的系统规模 。
ＵＰ Ｒ的比较结果。 为了实现这一目标，所有节点都将各 居 节点问建 立 连接 时相互交 换信 息获得 ， 和 Ｓ Ｅ 自 算出 自己的关联度 。关联度不仅决定 并周期性进行增量更新。这样，当一个节 计
表 １ 不同复制率下各方法的 Ｆ 值 比较 （ｐ ） Ｐ ｑｓ
■蓦Ｅ 瞳—唯 盈一 ｜
将在几秒钟内以几何级数增长，几分钟内 Ｔ ＴＬ （ ｍｅ Ｔｏ Ｔｉ
就可 搜遍 几百万台 Ｐ Ｃ上的信息资源 。当 Ｌ ｖ ） ｉｅ的减值来实 然，实际环境 中还需要考虑 网络带宽 以及 现 。这种 模型 需 路由优化方面 的问题 。特别是 Ｐ Ｐ网络规 要 很 多 的网络 带 ２ 模 比较大 以及异构 网络存在 、节点分散且 宽 来 进行 资源 的 不断的离开加入所造成 的不稳定 、数据种 搜 索 工作 。 随着 类繁 多等特点 的存在 。因此 ，设 计高效 的 联 网节 点 的不 断 搜索 机制 ， 快速 而准确地找 到所需要 的数 增 多 ，网络规 模 据 ，才能使 Ｐ Ｐ 网络得 以广泛应用 。 ２ 不断 扩大 ，通 过
ＵＩ ６ 消耗 。相互 连接 的超级节点带有 指向各对 标识 Ｇ Ｄ。这一标识是任意产生的 １ 位
次握手协议 长时间有效 ， 另外这类系统更容易受到垃圾 统， 如通过Ｋ Ｚ Ａ引入超级节点。 ａａ 把查询 点；各节点之间的联系通过 ３
ＰＰ ２ 常用网络搜索技术分析
等点数据 的指针 ，而所有 的请求通过路 由 字符 串，它能跟踪信息 的传输 ，并且将反
对等点提供一 个对 等点列表 ，但 Ｐ Ｐ网络 进行 ，因此 网络 的可扩展性不好 。 ２
当源节点发布消息时 ，它通过非结构
的强动态性决定了这个对等点列表不可能
信息 ，甚至是病毒 的恶意攻击 。
２ 之后 ，又出现了其他 改进 的分布 式系 化Ｐ Ｐ 网络的 自适应机 制来定位其他的节 请求集 中到超级节点 ，减少了网络带宽 的 来完成。在源节点发送的信息前带有惟一
到达超级节点。但是当查询率相当高时 ， 馈信息原路路 由回源节点 。每一个节点都
２ 系统仍 然会出现一 些问题 ：节点容易 维护一个缓存，其中包含一张其他节点信 Ｇ ｕｅ ａ 型是应用最 广泛 的纯 （ ｎ ｔｌ 模 ｌ 非 Ｐ Ｐ 结构化） ２ ＰＰ拓扑结构 ， 没有索引服务器 ， 过载，系统运行容易出错。而且随着系统 息的表， 表里有节点的 Ｉ地址 ， 口 Ｐ 端 号和 每一个联 网计算机在 功能上都 是对 等 的 ， 的增大这个 问 题就越发严重。 既是客户机 同时又是服务器 。查询信 息不 是发送 至中央服务器 ，而是 向所有 的对等 点发布。不需要 向 目 录服务器报告共享 的 信息 ， 而是将请求泛洪到直接相连的邻居 ， 数 。 它 采 用 了基 于 完 全 随机 图 的 洪 泛
蛰 、
Ｏ． ５
｜＾ｌ ４ ◆ 令 ｌ
１ Ｏ ４ ３
．
０． ５ ５
薯 ｛ ｌ
■秘 壁重ｍ 嚣一 日
Ｏ． ０５ １ ５
＿ 疆 骥＿ ５ 鬟 § ｌ ８ ｌ
３ 国 育 络２７２ ０中 教 网 ０ ０１
它们的能力。节点使用消息交换机制进行 主机节点的信息交换，如果连接某一节点
失败 ，则在缓存表 中将该节点标记为死节 点 。缓存定期删 除死节点的记录 。拓扑适 应算法 的 目 标是保证 网络 中处理能力强的 节点连接较多 的邻居节点 ，并且处理能力
Ｏ． ０５ １ ４ ０． ５
是否运行拓扑 自 适应，而且决定了该节点 点收到查询 信息 ，它不仅可 以返 回自己相
被使 用的频率 。关联度 越低就越经常使用 匹配的内容 ，也可 以返 回其 邻居 节点 的相 拓扑适 应。 ０ ｌ 间的一 个值来表示该 匹配 的内容。 用 到 之 节 点与其 当前邻居 节点 的关联程 度 。Ｌ ０ ＝ 表示 关联性很低 ，Ｌ 表示 关联性 很高 。 ＝Ｉ 当某一邻居节点 因为 拓扑 自适应或节