非结构化P2P网络
P2P网络拓扑结构

P2P网络拓扑
P2P 网络拓扑是P2P信息共享技术的基础, 它负责合理地组织网络中的节点以及节点 上提供共享的信息资源, 并在此基础上高 效地发送查询请求和查询应答消息, 其目 的是在保证检索质量的情况下, 尽可能减 少查询所引发的各种开销。
集中式
非结构化
全分布式 混合式
P2P网络 环装结构
全分布式结构化
P-Grid算法
• 作为反馈的索引值可以从以下两种方法得到: (1)乐观方法 乐观算法建立在转发节点将成功完成查询请求的 假定条件之上: 当一个节点向一个或几个邻居节点 转发查询时, 就增加被选节点的索引值。 (2)悲观方法 悲观算法与乐观算法相反: 当一个节点向一个或几 个邻居节点转发查询时, 就减少被选节点的索引值 (假设转发节点将失败)。
尹禾 192121
目录
• 了解P2P • 了解网络拓扑结构
• P2P网络拓扑结构的分类与优缺点 • 拓扑结构及算法实现 • 总结与展望
P2P技术
P2P(Peer-to-Peer)网络,被叫做对等网 络或对等计算,是一种有别于传统C/S(客 户端/服务器)模式的分布式网络。
传统C/S网络模式
P2P网络模式
P-Grid算法是一种基于虚拟分布式搜索树的P2P系统:每个节点 (Peer)只保存整棵树的一部分内容,这种树结构只有通过各 个节点间的通信合作才能建立起来。 •2.基本思想 P-Grid定义了一种新的数据访问结构。它的基本思想是: 节点 通过相互间随机的访问, 连续不断地分割搜索空间, 每个节点 均保留足够的信息以便在以后响应搜索请求时与其它节点通信。 最终形成的分布式访问结构就称为“P-Grid”(Peer Grid)。
•3.优点
搜索高效、快速,极大地减少了网络带宽,是一个真正的分布 式系统,不需要中央协调者。
P2P 技术在互联网中的应用和分析

P2P 技术在互联网中的应用和分析随着信息技术的飞速发展,基于P2P 的分布式网络资源共享系统逐渐成为用户获取数据信息的重要手段,本文对P2P 技术的结构模式和特点进行描述,对P2P网络应用加以说明,并对未来P2P的发展进行了展望。
标签:P2P 技术网络应用探讨一、引言P2P(Peer-to-Peer)又称为对等网,是近几年非常流行的一种网络技术,和传统的客户机/ 服务器模式不同,P2P 技术依赖网络中所有参与者的处理能力和信息共享,它改变了人们部署网络硬件资源的方式,为网络的发展提供了一种新的思路。
P2P 技术具有良好的扩展性和健壮性,性价比较高,P2P 网络是建立的基础是IP 网络,网络中所有安装特定软件的客户端构成一个逻辑P2P 网络,网络中的资源和应用分布在所有客户端上,各用户之间的数据传输无需服务器的介入就能够直接通信,通过这样的方式,大量的客户资源能够充分得到利用,降低硬件成本和,简化了复杂性。
二、P2P的结构类型P2P 网络的结构主要有三种模式:中央式P2P 网络、无中心结构P2P 网络和混合式P2P网络。
1.中央式P2P中央式P2P 网络在硬件部署上有一个中心服务器,主要负责维护共享资源信息以及对客户端查询信息作出回应。
根据中心服务器提供的功能,又可分为以下三类:1.1服务器提供资源的发现,查询和存储。
这种模式与传统的C/S 模型中一样,所有资源都存放在服务器上,客户端从服务器上获取信息,但客户端之间并不具有信息交换能力。
1.2服务器提供发现和查询。
在这种结构中,客户端存储共享资源信息,服务器则提供索引信息,服务器与客户端、客户端与客户端都可以进行数据信息交互。
1.3服务器仅提供发现功能。
在这种方式下,服务器仅提供在客户端的列表信息,客户端彼此之间建立连接和通信。
如果某个用户需要获取某个资料文件,会根据服务器提供的列表清单,依次查询所有的客户端,直到找到所需的资源,如果没有找到,则返回错误信息。
非结构化P2P网络资源搜索算法研究

本地索 引算法 中 , 每个节 点维护 了距 离 自己m步 以 内节点 的数据 索引 , 当节点收 到查 询请求时 , 它可 以为 m步 以内的所有 节点处理查询 请求 , 这里 的 m是索 引半径 , 是 索引算法 的参 数。通过这 种算法 , 可以 把对 资源 的查 询处 理放 到较 少 的节点 上进 行 , 从而 降低 资源 搜索 延 时。本地索 引算法 工作过程如下 : 一个 系统范围 内的策略规定 了查询 消息的处理在哪些节点上进行 , 通常在深度为 2 m + l 的结点进行 。深度 不 在策略 中的结点不 处理查询请 求 , 只是简 单地将查询 消息转发 给邻 居。例如 , 如果搜 索策略 P = ( O , 5 ) , 那么离查 询结点深度为 0 和5 的倍 数 上 的结点会处 理查 询消息 , 其 它节点只是 简单 地把查 询转 发给邻居 节
1 . 2 本地索引算法( L o c a l I n d i c e s )
网络节 点资源可 以看成是节 点文本 的集 合 , 即节点 资源相关 度可 以通过计算文本相 似度得 到。本文通过扩展后缀树来表达节 点文本 内 容, 进 而通过构建 节点文本 向量来计算节 点资源 的相关 度 。统计 结果 表明 , 标题、 关键词 和摘要所 含信息代表 了文本信息 的 7 0 %, 并且摘 要 是从原 始文本资源 中提炼 出来 的最具代表 意义的短句集 合 , 反映 了文 档的 主题 内容 , 而且 摘要相对 较小 , 聚类速度 快且效率 高 , 因此在 本文 中我们主要是针对标题 、 关键词和摘要进行构建扩展后缀树 。 后缀树 : 一个有 n 个字符的 串P, 它的后缀树是一棵有 根的有 向树 , 共有 n 个 叶子 , 分别 标号 为 l 到n 。每一条 边都 用 P 的非 空子 串来 表 示 。从任一 节点 出来 的两条边 , 它 们必须 以不 同的字符 开始。从根 节 点到 叶子节 点 i , 顺序 经过 的树边 的 串联 , 恰 好为 P 从i 位 置开 始 的后 缀, 即P 。例如字符 串a p p l e ¥, 它所有的后缀为 : a p p l e ¥, p p l e ¥, p l e ¥,
第九章P2P数据管理系统

第九章 P2P数据管理系统
P2P系统的体系结构
P2P系统的体系结构分为三种:集中式、分布式和混合式。 (1) 集中式P2P网络
在集中式P2P网络中,维护着一个全局的目录服务器,它负责记录节 点的共享信息并回答对于这些信息的查询请求。提供者节点把共享信 息发布到目录服务器上,消费者节点首先在目录服务器上查找所需资 源的准确节点位置,然后连接节点完成数据交换。 集中式P2P网络与传统的client/server模式下的集中式系统虽然有相 似之处(都维护着一个中心服务器)但两者有着本质的区别:传统的 集中式系统的中心服务器不仅保存资源的目录信息,更为关键的是保 存全部的共享资源,客户端只能连接中心服务器并下载所需要的数据; 而集中式P2P网络的中心服务器只保留共享信息的目录,所有共享信 息依然保存在局部节点上。消费者节点在中心服务器上查找到资源提 供者节点后,完成节点之间的连接,并进行数据交换。
第九章 P2P数据管理系统
P2P系统的体系结构
P2P系统的体系结构分为三种:集中式、分布式和混合式。 (1) 集中式P2P网络
第一代P2P网络均采用集中式结构,其中典型的代表是Napster。 Napster是一种可以在网络中下载自己想要的MP3音乐文件的软 件。安装了Napster系统的机器将成为一台服务器,可为其它用 户提供音乐下载服务。Napster系统本身并不存储和提供MP3文 件下载,它实际上提供的是整个网络中包含的MP3音乐文件 “目录”,即MP3音乐文件的地址,这个目录存放在一个集中 的服务器上,而MP3音乐文件本身则分布在网络中的每一台机 器上。使用者在目录服务器上找到想要的MP3音乐文件的位置, 然后到指定的位置完成下载。2002年,Napster由于违反了知识 产权保护法而被迫关闭。
非结构化P2P覆盖网络通信协议研究

非结构化 P P覆盖 网络通信协议 研究 2
姚全珠, 李 薇, 孔 伟
Y O a z u L iKO A Qu n h , IWe, NG i We
摘
要: 针对各种基 于 流言机 制的通信协议 在构造 非结构化 P P 2 覆盖 网络 中, 其适用范 围缺 乏广泛 的实证 问题 , 出了一 个通的节点采样服 务 , 行 高效和 可靠 的节 点采样服务 。在 这种协议框 架下通 过实验分析 了 8 以执 种通 信协议 的差 异。 实验表 明, 用不 同的通信协 议 , 采 所构造 的非结构 化 P P覆盖 网络就表现 出多种 不 同的行 为特性 , 2 为构造非结构 化 P P 盖 网络 中选取通信协议提 供 了重要 的参 考依 据。 2覆 关键 词 : 流言机 制; 节点采样服 务; 通信协 议; 非结构化 P P 2 覆盖 网络
西安理工大 学 计算机科学 与工程学院 , 西安 7 0 4 10 8
S h o f Co u e ce c & En i e r g, ’ n Un v r i f T c n l g Xi a 0 4 Ch a c o l o mp t r S in e g n e i Xi a i e s y o e h o o y, ’ 71 0 8, i n t n n
Ab t a t Go sp b s d o sr c : s i 。 a e c mmu iai n p o o o s a e e n p l d n c n t c u s ucl e 2 v ra n t r b t t er n c t r t c l h v b e a p i i o sr t n 仃 t r d P P o e l y e wo k. u h i o e u 1 s o e o p l ai n a e h l c o x e sv e i c l n l ssT i c p s f a p i t h v t e a k f e tn i e mp r a a ay i . h s a e p e e t a e e c r m e r g s i — a e c o i p p r r s n s g n t fa wo k, o sp b s d i p e s mp i g e v c t i lme t r l b e n f ce t a l g e i eUn e e r e r o x lr a d o a e e r a l s r ie o mp e n a ei l a d e n a i in s mp i s r c . d r t fa wo k t e p o e n c mp r n v h m eg t o ih c mmu i ai n r t c 1 e e u t o x e m e t s o n c t p oo o . r s l o h T s f ep r i n s h w t a t e i e e t o h t h d f r n c mm u i ai n r t c l o sr cs u o n c t p o o o c n t t o u o t f
P2P网络的拓扑结构

P2P网络的拓扑结构拓扑结构是指分布式系统中各个计算单元之间的物理或逻辑的互联关系,结点之间的拓扑结构一直是确定系统类型的重要依据。
目前互联网络中广泛使用集中式、层次式等拓扑结构。
Internet本身是世界上最大的非集中式的互联网络,但是九十年代所建立的一些网络应用系统却是完全的集中式的系统,许多Web应用都是运行在集中式的服务器系统上。
集中式拓扑结构系统目前面临着过量存储负载、DOS(Denial of S ervice,拒绝服务)攻击,网络带宽限制等一些难以解决的问题。
Peer-to-Peer (简称P2P) 系统主要采用非集中式的拓扑结构,一般来说不存在上述这些难题。
根据结构关系可以将P2P系统细分为四种拓扑形式:•中心化拓扑(Centralized Topology);•全分布式非结构化拓扑(Decentralized Unstructured Topology);•全分布式结构化拓扑(Decentralized Structured Topology,也称作DHT网络);•半分布式拓扑(Partially Decentralized Topology)。
其中,中心化拓扑最大的优点是维护简单,资源发现效率高。
由于资源的发现依赖中心化的目录系统,发现算法灵活高效并能够实现复杂查询。
最大的问题与传统客户机/服务器结构类似,容易造成单点故障,访问的“热点”现象和版权纠纷等相关问题,这是第一代P2P网络采用的结构模式,经典案例就是著名的MP 3共享软件Napster[1].Napster是最早出现的P2P系统之一,并在短期内迅速成长起来。
它实质上并非是纯粹的P2P系统,而是通过一个中央索引服务器保存所有Napster用户上传的音乐文件索引和存放位置的信息。
它的工作原理如图1所示。
当某个用户需要某个音乐文件时,首先连接到Napster中央索引服务器,在服务器上进行检索,服务器返回存有该文件的用户信息,再由请求者直接连到文件的所有者传输文件。
EIR:具有超级结点的非结构化P2P中多维数据搜索框架研究
EI :T eS a c r me r fM ut dm e so a ts t n Un tu tr d P P Newo k wi u e - e r R h e rh F a wo k o li i n in l - Da ae s r cu e 2 t r t S p rp e o h
Z ENG - n CHEN h— n Bi Qig Zi Ga CHEN n - a wU i h n He g F Ru- e 1 Z
( p rme to m p trEn ie r De at n fCo u e gn e i ng,Na h iCa p s o t ia Nom a n a m u ,S u h Chn r lUniest vri y,Na h i 2 2 5) n a 8 2 5 ( le eo nfr a in S in ea dEn ie rn o C lg fI o m to ce c n gn eig,Ce ta ut nv ri n rlS h U iest o y,Ch n s 1 0 3 z a g ha4 0 8 )
摘 要 在具有超级结点的非结构化 P P系统 中, 究 于具有超 2 研 提 级结点的非结构化 P P网络的综合框 架, 该框 架 中, 够 实现 对 多维数据 共 享、 引以及 查询 等操 作的 处理。 以 2 在 能 索 R—t e r 索引树为基础 , 出 了一种 能够应 用于 P P的扩展 R—t e索引树 , E R te 树 , 究了系统 中集群信 息的 e 提 2 r e 即 I- e 研 r
计算机四级网络工程师试题库含答案
计算机四级网络工程师试题库含答案一、单选题(共82题,每题1分,共82分)1.数据传输速率为3.5×10 12 bps,它可以记为( )。
A、3.5KbpsB、3.5MbpsC、3.5TbpsD、3.5Gbps正确答案:C2.关于BitTorrent的描述中,正确的是( )。
A、源于MIT的开源系统B、最初的BitTorrent采用DHT技术C、不需要中心服务器D、不需要种子文件正确答案:A3.下列进程间通信的各种方法中,哪一个是“信箱”通信方式()。
A、在内存中开辟若干区域,发送进程申请一个区域,并将信息送入,然后把它插入到接收进程的相应队列中,之后通知接收进程B、发送进程创建好连接两个进程的一个打开的共享文件,然后写入数据流;接收进程在需要时可以从该共享文件读出数据,写入和读出数据的长度是可变的C、在相互通信的进程之间设一公共区域,一组进程向该公共区域写,另一组进程从公共区域读,通过这种方式实现两组进程间的信息交换D、发送进程首先创建一个链接两个进程的通信机制,然后把信息送入该机制;发送进程和接收进程不直接建立联系,而接收进程可以在任何时刻从该机制中取走信息正确答案:D4.关于交换式以太网的描述中,正确的是( )。
A、基本数据单元是IP分组B、数据传输不会发生冲突C、核心设备是集线器D、需要执行IP路由选择正确答案:B5.处理器中对用户不可见的寄存器是( )。
A、地址寄存器B、条件码寄存器C、数据寄存器D、指令寄存器正确答案:A6.全文搜索引擎功能模块的组成为搜索器、检索器、用户接口和( )。
A、加密器B、交换器C、索引器D、网守正确答案:C7.关于Web服务系统的描述中,正确的是( )。
A、Web采用对等工作模式B、页面到页面的链接信息由URL维持C、Web页面通常符合HTTP规范D、Web的传输协议采用HTML正确答案:B8.从网络设计者角度看,Internet是一种( )。
A、城域网B、广域网C、局域网D、互联网正确答案:D9.某 4 核处理器的计算机系统中共有50个进程,那么,处于就绪状态的进程最多有几个( )。
P2P网络搜索技术
Chord:插入
Node 105
Key 5
K5 K20
N105
Circular ID space
N32
N90
K80
Chord结点加入算法
Chord的自适应需要保持两个不变的属性
每个结点的后继始终正确 对每个对象k,结点successor(k)始终负责k的索引
为此,新结点n的加入需要完成几个任务
Chord/CAN/Tapestry/Pastry
目标相同
减少路由到指定文件的P2P跳数
减少每个Peer必须保持的路由状态
算法异同
都保证算法的跳数与Peer群组的大小相关 或都指出算法能以高概率完成 方法上的差别很小
Chord
每个Peer保持LogN其他Peer的踪迹(N是群组的全部Peer
“N90 has K80”
N32
K80 N90
N60
结点维护一个有m(ID位数)项的路由表,也称“指 向表”(finger table),其中第i项指向结点s, s=successor(n+2i-1),1≤i≤m,即s是在顺时针方向到n 的距离至少为2i-1的第一个结点,记做n.finger[i].node Chord路由表的特点:
1.2.3.4
Napster原理
4.3.2.1 search(A) --> 4.3.2.1
Fetch
Query
Reply
Where is file A?
分布式结构化P2P搜索
分布式结构化P2P搜索
结构化P2P网络中,每个节点都有固定的地址,整个网络具有相对稳定而规则的拓扑结构。依赖 拓扑结构可以给网络的每个节点指定一个逻辑地址,并把地址和节点的位置对应起来。
p2p技术
1、什么是P2P技术?并说说明其优缺点点对点技术(point to point,简称P2P)又称对等互联网络技术,是一种网络新技术,依赖网络中参与者的计算能力和带宽,而不是把依赖都聚集在较少的几台服务器上。
P2P网络通常用于通过Ad Hoc连接来连接节点。
这类网络可以用于多种用途,各种档案分享软件已经得到了广泛的使用。
P2P技术也被使用在类似VoIP等实时媒体业务的数据通信中。
P2P网络的一个重要的目标就是让所有的客户端都能提供资源,包括带宽,存储空间和计算能力。
因此,当有节点加入且对系统请求增多,整个系统的容量也增大。
这是具有一组固定服务器的C/S结构不能实现的,这种结构中客户端的增加意味着所有用户更慢的数据传输。
P2P网络的分布特性通过在多节点上复制数据,也增加了防故障的健壮性,并且在纯P2P网络中,节点不需要依靠一个中心索引服务器来发现数据。
在后一种情况下,系统也不会出现单点崩溃。
当用P2P来描述Napster 网络时,对等协议被认为是重要的,但是,实际中,Napster 网络取得的成就是对等节点(就象网络的末枝)联合一个中心索引来实现。
这可以使它能快速并且高效的定位可用的内容。
对等协议只是一种通用的方法来实现这一点。
P2P在安全上的好处:隐私保护与匿名通信在P2P网络中,由于信息的传输分散在各节点之间进行而无需经过某个集中环节,用户的隐私信息被窃听和泄漏的可能性大大缩小。
此外,目前解决Internet隐私问题主要采用中继转发的方法,从而将通信的参与者隐藏在众多的网络实体之中。
在一些传统的匿名通信系统中,实现这一机制依赖于某些中继服务器节点。
而在P2P中,所有参与者都可以提供中继转发的功能,因而大大提高了匿名通信的灵活性和可靠性,能够为用户提供更好的隐私保护。
健壮服务与网络抗毁P2P采用了完全分布式架构,网络中的节点既可以获取其他节点的资源或服务、同时又是资源或服务的提供者,不依赖于少数集中控制节点,具有比传统的Client/Server网络更好的健壮性和抗毁性,成为构建高健壮性网络的有效方式。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Directory Server
User
User
集中模型的优点和缺点
优点: 结构简单 便于管理 资源检索响应比较快(不同情况不一定) 管理维护整个网络消耗的网络带宽较低
集中模型的优点和缺点
缺点: 服务器承担所有的检索工作,负载过重 不完全符合P2P的原则 服务器上的索引不能及时更新,检索结 果不精确 服务器受到攻击时,对服务影响较大 容易受版权限制 穿透防火墙能力差
混合模型同时吸取了完全分散式模型 和层次模型的优点,构建高效的混合拓扑 结构需要同时涉及这两种模型的问题。 对于超级节点组成的完全分散式网络, 更好的gossip协议和智能的TTL选择方法 可以改善网络负载和搜索覆盖率的平衡性。 超级节点的选取算法也影响混合P2P网 络的服务质量。
P2P相关其他问题
混合模型
混合模型可以利用完全分散式模型在 节点数不多时实现的高分散性,鲁棒性 和高覆盖率。也利用层次模型对大规模 网络提供可扩展性。 在完全分散式模型中,TTL=5时,网 络的规模不超过20000,性能是较好的, 如果每个超级节点管理50-200个普通节 点,整个网络规模是可观的。
混合模型研究的重点
node ttl=4 ttl=5 ttl=6
Random Walk 覆盖率
newscast协议使用不同TTL的覆盖率
层次化模型(MBone)
在层次化模型中,把参与服务的部分性 能较好的节点选出作为超级节点,超级节点 管理普通节点,超级节点再由更高级一级的 超级节点管理,构成层次化的结构。超级节 点保存子节点的文件索引信息。
Random Walk
采用newscast协议(gossip的一种)得到的 最大深度
10 9
hop
8 7 6 5
1
5
9
13
17
21
25
29
33
37
41
45
49
53
57
61
65
69
73
77
81
85
89
93
1E+04 最大深度
97
rate
100 20 40 60 80 0
5000 10000 15000 20000 25000 30000 35000 40000 45000 50000 55000 60000 65000 70000 75000 80000 85000 90000 95000 1E+05
混合模型
在完全分散式模型中,TTL=5时,网络的 规模不超过20000,网络覆盖率是相当高的
混合模型
层次化模型中,处于底层的超级节点是 比较容易维护的,某个这种超级节点的离 开对网络的影响不大。 混合模型的思想是,把整个P2P网络建 成一个二层结构,由普通节点和超级节点 组成,一个超级节点管理多个普通节点, 超级节点直接使用gossip协议构成完全分 散式模型。
非结构化P2P网络
内容
1. 2. 3. 4. 5.
介绍 集中模型: Napster 分散模型: Gnutella 层次化模型 混合模型
介绍பைடு நூலகம்
集中模型(Napster)
分散模型Gnutella) 层次化模型(MBone) 混合模型(EDonkey)
集中模型: Napster
User User
分散模型:Gnutella
完全分散式P2P文件共享系统: 没有中央索引服务器,所有的节点都是 平等的,节点不仅提供文件下载服务, 也提供文件搜索服务。搜索文件时,搜 索请求遍历整个P2P网络,拥有相关文件 的节点返回搜索结果。
分散式P2P路由
技术:
Flooding Replication & Caching Time To Live (TTL) Epidemics & Gossiping protocols Random Walkers & Probabilistic algorithms
层次化模型的优点和缺点
优点:相对于集中模型,索引信息不是保存在 中央服务器上,不会产生服务器瓶颈,索引 信息同步较快,相对于完全分散式模型,信 息检索不会给网络造成较大流量。 缺点:层次化模型对于非结构化网络,维护整 个网络比较困难,特别是处于结构的顶层的 节点在离开网络后,对网络的影响比较大, 重构网络比较复杂。
安全性 数据传输控制 分散节点管理 P2P网络的测量和统计 P2P网络模拟 移动P2P
分散式P2P路由
Hostcache Server H e.g. :6346
Gnutella Network N
Request/Receive a set of Active 1 Peers
!
Servent p
2 Connect to network
完全分散式模型的优点和缺点
优点: 所有的节点都参与服务,不存在中央服 务器,避免了服务器性能瓶颈 部分节点受攻击不影响服务 搜索结果比较及时,有效性比较强。
完全分散式模型的优点和缺点
缺点: 采用flooding方式传播搜索请求,造成网络 额外开销比较大,随P2P网络规模的扩大,网 络开销成指数级增长。TTL =4, 5, 6, 7 , 8时, cache(20),msglen(100B), (每条请求) 16MB, 320MB, 6.4GB, 128GB, 2.56TB (每秒 请求数随网络规模的扩大,是很可观的) 搜索请求遍历整个P2P网络需要经过很多跳, 完整的获得搜索结果延迟比较大。 防火墙穿透能力差
rate
100 20 40 60 80 0
5000 10000 15000 20000 25000 30000 35000 40000 45000 50000 55000 60000 65000 70000 75000 80000 85000 90000 95000 1E+05
node ttl=4 ttl=5 ttl=6