CDN与P2P融合技术介绍
融合P2P与CDN技术的流媒体内容分发技术
目前，随着互联网的发展，流媒体视频内容日趋增多，已经成为互联网信息的主要承载方式。
相对传统的文字，图片等传统WEB应用，流媒体具有高数据量，高带宽、高访问量和高服务质量要求的特点，而现阶段互联网“尽力而为”的特点决定了在现有网络架构下大规模流媒体应用是存在困难的。
在这种情况下，CDN和P2P应运而生，以不同的方式，不同的优势解决了内容分发的问题，但受其固有计算模型的制约，无论是CDN或者P2P均存在一些根本的缺点。
本文将探讨利用CDN与P2P的互补性，发挥各自的优势，将P2P和CDN技术融合构建一种新型的流媒体内容分发模型。
1.传统CDN与P2P技术简介1)传统CDN技术介绍CDN的全称是Content Delivery Network，即内容分发网络。
其目的是通过在现有的Internet中增加一层新的网络架构，通过通过智能化策略，将中心的内容发布到最接近用户、服务能力最好的的网络"边缘"节点，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提高用户访问网站的响应速度。
从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因，解决用户访问响应速度慢的问题。
然而，传统的CDN技术仍然是一种客户机-服务器(C/S)的计算模式。
尽管传统CDN 将服务能力和服务内容在网络上进行了分布，可以在一定程度上加速流媒体内容的分发，提高服务质量。
但由于其核心仍然是基于C/S的架构，其服务的扩展能力取决于分布节点的不断部署，由此造成了CDN服务能力扩展的成本非常高，需要不断的投资。
同时，用户访问是具有随意性，突发性等特点的，而传统CDN系统不具备弹性动态扩展的能力，难以从根本上提升CDN系统的效率。
2)P2P技术简介P2P即Peer to Peer，也就是节点对节点的对等传输。
P2P技术将各个用户互相结合成的一个网络，共享其间的带宽、共同处理其中的信息。
与传统的客户机－服务器模式（C/S模式）不同，P2P工作方式中，每一个客户终端既是客户机又是服务器。
关于P2P与CDN混合的流媒体技术综述
Ｉｔｒｅ ｎｅｎｔ的飞 速发 展 使其 成 为 社 会 基础 信 息 的 载体 ， 着流媒 体 技术 的出现 ， 随 存储 系统 能力 的增 强
以及 网络 传输 带 宽 的增 加 ， Ｉｔｒ ｅ 上 开 展 各 种 在 ｎ ｅｎ ｔ 流媒 体应 用如 视 频 点 播 （ ｄ ｏｏ ｍａ ｄ Ｖｏ 、 Ｖｉｅ ｎＤｅ ｎ ， Ｄ）
频会 议等 已逐 步实 现 。流媒 体 分发技 术 初期 采 用 的 结构 是客 户／Ｋ Ｉ务器 （ ｓ 模 式 ， ｌ ｃ／ ） 由单 一 服务 器 提 供
资源 ， 存在 单 点 失 效 问 题 ， 法 满 足 大 规 模 应 用 需 无 求［ 。Ｃ １ ］ ＤＮ 最 早 由 麻 省 理 工 学 院 的 一 个 小 组 于 １９ ９ ６年 提 出 ， 它是 对 ｃ ｓ模式 中服务 器端 的 能力 增 ／ 强， 但依 然 存 在 性 能 瓶 颈 ， 乏 扩 展 能 力 ［ 。 １ ９ 缺 ２ ］ ９８ 年 出现 了利 用 Ｐ Ｐ实 现 大 规 模 流 媒 体 应 用 的 系 统 ２ Ｗ ｅ ｃｓ［ 。Ｐ Ｐ是 对 客 户 端 能 力 的增 强 ， 解 决 ｂ ａ ｔ３ ２ ３ 可 ｃ ｓ架构 下服 务 器 性 能 及 网络 资 源 的瓶 颈 问题 ， ／ 但
网络 电视 （Ｉ ｔｒ ｅ Ｐ ｏｏｏ ｌｖｓ ｎ ＩＴＶ） 视 ｎｅｎ ｔ ｒ ｔｃ ｌ ｅ ｉ ｏ ，Ｐ Ｔｅ ｉ 、
１ Ｐ Ｐ技 术 ２
Ｐ Ｐ是 一 种 与 Ｃ Ｎ 完 全 不 同 的 内 容 分 发 方 ２ Ｄ 式， 它打破 了传 统 的 ｃ ｓ模 式 ， ／ 网络 中没 有 集 中 的 服 务器 ， 每个 节点 （ ｅ ｒ 既可 作为 服务 器提 供者 ， ｐ ｅ） 又
２ １ 年 ３月 ０１ 第１ ６卷 第 ２期
浅析P2P+CDN模式部署策略
浅析P2P+CDN模式部署策略【摘要】P2P应用造成网络堵塞、网速降低和不稳定，被许多业内人士称为“带宽杀手”，对P2P流量的管理和调度，成为了运营商非常棘手的一个难题，目前，有效管理P2P流量，限制P2P下载，控制P2P传输，拦截P2P视频的手段较为有限，本文将从疏导角度出发，为运用商应对P2P流量爆发式增长提供有效的管控手段。
【关键词】P2P；CDN；CACHE；流量调度1 前言随着互联网视频的高清趋势，以及运营商的接入带宽提速，网络视频用户迅速增长，截至2012年底中国网络视频用户达到3.72亿，较上年底增加了4653万人，增长率为14.3%。
网民中上网收看视频的用户比例较上年底提升了2.5个百分点，达到65.9%。
视频和下载流量（web类和P2P类）在互联网总流量占比超过80%，其中P2P流量占比超过45%。
基于P2P的应用异军突起，P2P应用涉及的领域越来越广，已从单一的大文件下载转变为更多的新型多媒体应用，如P2P高清点播、直播和P2P语音通信等，越来越多的互联网用户选择在线观看新闻、电影、直播等原本在电视或本地计算机上观看的媒体资源。
目前CP（内容提供商）流量调度策略与运营商流量调度策略不一致，导致了大量跨省/跨网流量，增加了运营商的骨干压力，盲目的限制、控制、拦截又会带来大量的用户投诉，因此合理调度这些流量，成为运营商需要解决的一个课题。
2 传统的P2P应对策略为了解决P2P流量产生的影响，运营商和CP（内容服务提供商）一般采用如下方法进行应对：（1）限制：运营商对P2P应用的流量限制一般借助于深度数据包解析（DPI）设备，将这些设备接入运营商网络，通过对流量的深度识别，然后对相关P2P 流量进行限制。
（2）流量本地化：由于P2P内容具有很高的重复性，运营商可以通过在网络中部署P2P Cache（缓存）服务器来本地化P2P流量。
（3）传输优化：P2P应用常常采用基于逆向工程的技术来感知网络状况。
IPTV网络中CND与P2P结合的技术分析
IPTV网络中CND与P2P结合的技术分析摘要：P2P IPTV系统是目前IPTV应用技术发展中一个新的研究方向。
针对P2P-IPTV技术发展中存在的问题进行了研究。
在介绍了传统的IPTV中CDN系统架构的基础上，分析了该技术开发过程中可能遇到的难题；在讨论了P2P-IPTV技术解决上述难题优势所在的基础上，分析了IPTV网络中CDN与P2P技术结合点。
关键词：IPTV网络；P2P；技术开发；CDN0引言IPTV（Internet Protocol Television，互联网协议电视）系利用宽带，以电视、电脑为主要终端电器，在IP网络上传送包含电视、视频、图形和数据等，并提供服务质量/服务感受(QoS/QoE)保证、安全、交互性和可靠性的可管理的多媒体业务。
P2P技术因为Skype以及BT文件传输等应用而为一般网络用户所熟悉。
近年来，如何利用P2P提供网络互动电视之P2P IPTV系统已成为IPTV应用技术发展的一个新研究方向。
因此，本文针对P2P IPTV技术发展中存在的问题进行研究。
目前的IPTV系统多采用C/S模式提供单播和点播业务（包括V oD和时移电视），由于服务器输出/输入(I/O)瓶颈的限制，一台服务器只能够支持有限的并发流。
如果用户较多或者服务器与用户距离较远发生阻塞时，用户观看节目效果就会降低。
为减轻中小服务器的负担、提供用户访问内容的响应速度，当前比较主流的IPTV网络一是采用组播来提供广播，二是在媒体分发时大多采用内容分发网络（CDN）技术，通过在现有的Internet中增加一层新的CDN网络架构，将内容发布到离用户最近的网络“边缘”，使用户可以就近取到所需要的内容，提高用户访问网站的响应速度。
当用户要观看节目时，首先需要确定最接近用户的最佳CDN 服务器，即上面的边缘服务器，同时将用户的请求指向该节点。
CDN 可以明显提高Internet网络中信息流动的效率，从技术上解决由于网络带宽小、用户访问量大、网点分布不均等问题，提高用户访问网站的响应速度。
CDN与P2P结合的技术在流媒体分发和交付系统中的应用
来实现
响应 时 间 大大 缩 短
运 营商 而 言
，
，
服务 质 量 得 到 提高 ； 对 电信
，
流 媒 体 业 务 的分 发
。
减 轻 了骨 干 网络 流 量 压 力
节省 了
16
I 信息 通 信 技 术
骨 干 网 络 的 带 宽 占用
。
3 在 流 媒 体 业 务 量 尚未 形 成 规 模 性 增 长 时
Co
n
te
n
t
D e li v
e r y
N e tw
o r
k )l~II 内容 分
长 用 户 对流 媒 体 业 务 的 需 求 日益 增 强 这 些 都 为
流媒体业 务的发展提供 了强 大的发展 动 力
。
发网络
，
它 构 建在 I P 网 上
，
由
一
个 中心 节 点 和
。
流媒
、
分 布 在 不 同 区 域 的 多 个 边 缘 节点 组 成 带 流 媒 体 等 业 务 提 供 支撑 与优 化
CD N
与P
2P
结合 的 技 术 在
流 媒 体 分 发 和 交 付 系统 中
的应用
I 乔治 夏 俊杰 _ 北 京 电 信规 划 设 计 院 有 限 公 司 北 京
10 0 0 4 4
摘要
点
。
：
从 电 信 运 营 商 的 角 度 分析 了
，
CDN
技 术和
，
P 2P
技 术在 流 媒 体 分 发 和 交 付 系 统中各 自 的特
将 用 户 请 求调 度 到 可 为 用 户 提 供 最佳 服 务 的
基于CDN和P2P混合系统技术的探讨
基于CDN和P2P混合系统技术的探讨摘要：本文对目前 IPTV网络中广泛使用的 CDN （CDN）进行了简要的介绍，并根据其局限性，提出了一种将P2P技术与 CDN技术相结合的混合流媒体系统的设计方案和功能模块，详细说明了其具体的实施过程，并针对客户加入、离开的随机性以及故障节点的动态节点提出了一种新的节点优化方法。
关键词：CDN；P2P；混合系统引言当前 IPTV网络中的互动多媒体业务主要是以流媒体为基础进行的，而这一领域的比例也在快速的增加， CDN技术在各个城市的 IPTV骨干和城市中得到了广泛的应用，尽管 CDN技术已经发展到了一定的程度，但由于服务器瓶颈的问题，CDN系统已经很难满足日益增加的流量。
P2P技术是近几年发展起来的一种新兴技术，它在流媒体和文档下载方面的突出性能得到了广泛的重视。
最后，本文对P2P技术在 CDN中的应用进行了讨论。
1 CDN+P2P技术的基本功能和基本原理本系统的核心是内容路由器和身份验证服务器，另外，还包括了内容源服务器，它提供了原来的流媒体内容；认证服务器负责用户的认证、计费等业务；内容路由器选择适当的缓存代理来访问，并将请求重新导向至其上，其功能与 CDN系统中的功能大致相同，不需要做太多的修改。
在网络的边缘，高速缓存代理服务器包括目录索引服务器和内容缓存服务器，这些平台是P2P网络的中心服务器，具有中心控制、目录等功能，为本地用户提供下载服务。
同时，目录索引服务器为每个缓存的流媒体档案保持一个在线客户端的清单，这些用户都是下载和缓存的。
整个 CDN+P2P系统的体系结构有三层：中心层、边缘层、客户端层，中心层与边缘层依然是传统的 CDN结构，中心节点对多个边沿节点进行管理和控制；在P2P技术的基础上，引入P2P技术，减少P2P的负担，在P2P与客户端之间建立多个P2P自治域，使用户节点的数据交换限制在各自的自治区域，以最大限度地减少P2P的跨域交互。
互动业务支撑平台 基于P2P技术CDN系统研究与分析
传统的客户端服务器模式下,服务器只提供(发送)内界,而客户端只获
取(接收)内界。
内容分发网络(CDN)
■ 内容分发网络(CDN)通过在按策略放置于不同地点的多个镜像web服务器 (例如代理服务器)之间复制内容来加快分发速度。按照地理位置分布web服 务器是ISP常用来提高性能和可伸缩性的方式, 它能最大程度地利用带宽,通 过内容复制提升可访问性,提高网络性能,将离用户最近的缓存服务器的内 容分发给用户,从而提供快速可靠的服务。CDN的扩展成本很高,这是因为 其技术的核心基于B/s的架构,且与地域化的管制有着紧密的联系。
前缀树(trie)
■ trie ，又称前缀树或字典树，是一种有序树，用于保存关联数组，其 中的键通常是字符串。与二叉查找树不同，键不是直接保存在节点 中，而是由节点在树中的位置决定。一个节点的所有子孙都有相同 的前缀，也就是这个节点对应的字符串，而根节点对应空字符串。
一般情况下，不是所有的节点都有对应的值，只有叶子节点和部分
E站P2P客户端H@H
■ H@H is a Peer-2-Peer gallery distribution system which reduces the load on the Galleries.
■ H@H is a project that can be compared to a cross between the SETI@home
■ ■ 复旦大学硕士学位论文 王国凯 基于P2P技术的CDN系统的设计与实现 北京邮电大学硕士学位论文 李建强 CDN-P2P系统的中心服务器与客户端节点的设计与实现
谢Байду номын сангаас！
Thank For Your Attention
基于P2P技术CDN系统 研究与分析
P2P和CDN技术融合实现流媒体业务
１ 概述
目前 ， 随 着 互 联 网技 术 的 发 展 和 普 及 ，大 批
媒体 内容。在Ｉ 组播 模式下 ，存在 着种种 限制 ， Ｐ
如 ：很难 实现可 靠性组播 、拥 塞控制 等 ；第 三种
流量 、内容版 权 管理等 方面也 存在 着一 系列的 问
题 ，这些 因素在某种程度上 限制了Ｐ Ｐ ２ 流媒体技 术
的 快速 发 展 。
＿
由于现 在被 广泛应 用的Ｐ２ 技 术和 Ｃ Ｐ ＤＮ技术 都 存在 其 自身 的问题 ， 目前Ｐ Ｐ￣Ｉ ２ ［ ＣＤＮ技 术融合 实现 流 媒 体 业 务 已被 提 出并 引 起 了广 泛 关 注 。 通 过将Ｐ Ｐ Ｄ ＤＮ技 术融 合 ，很 大程度 上增 强 了 ２ ￣Ｃ Ｃ ＤＮ的可扩展 性 ，并 且可 以弥补 单纯 的Ｐ Ｐ 构 ２架 的不 足 ，另外由于 Ｃ ＤＮ网络 已经发展 相对成熟 ， 在现 有的 Ｃ ＤＮ网络上加 载Ｐ Ｐ ２ 技术 ，可 以大幅 度 减 少硬 件 的投 入 和 运营 成本 ， 同时 增 加 用 户容
Ｐ Ｐ Ｄ 技术融合实现流 ２ 和Ｃ Ｎ
媒体业务
ｌ 轶慧 王洪波 马
摘 要
程时端
ｌ北京邮电大学网络与交换技术国家重点实验室 北京 １０７ ０８６
Ｐ Ｐ和Ｃ 融合实现流媒 体业务是 一种高效实用的方案 。本文首先对Ｐ２ ２ ＤＮ Ｐ和Ｃ 技术的优缺点 ＤＮ
进行分析 比较 ，指出二者融合的优势 ，然后介 绍并分 析了Ｐ Ｐ ２ 和现有Ｃ Ｎ Ｄ 融合实现流媒体业 务的几种解
２ ０ 人 ，平 时 在 线 人 数 为 １ ０ 人 。 ５万 ２万
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
视频网站CDN面临的挑战
• 带宽成本
内容更清晰 480P
720P
1080P
4K
…
宽带接入提升
光纤接入用户达到5393万户，8M以上的用户占比超过30% 数据来源：2014年中国互联网大会
• 用户体验
观影屏变化
PC屏
移动网络发展
移动屏
电视屏
3G和4G用户占移动用户的比重接近40%，随时随地观看视频
HCDN支撑爱奇艺
• 极佳用户体验，卡播比低于业界，<10% • 毫秒级启动播放等待 • 较高的P2P分享率，极大降低带宽成本 • 支持PCFlash、PC客户端、iOS、Android多终
端，真正做到一云多屏 • ……
谢谢聆听！
Thank you for listening
• ATS
proxy.config.cache.enable_read_while_writer Range请求缓存行为支持不完善
• NGINX
proxy_cache_lock Range请求缓存行为支持不完善，临时文件造成IO压力大
HCDN服务器端传输
• 实现分发、回源统一
主动被动相结合，有计划、有序地传输视频数据
HCDN-爱奇艺云的一部分
• 连接爱奇艺云和众多终端的桥梁
PC WEB/H5
TV端
H
C 爱奇艺云 D
移动端
PC客户端
视频信息 后台
⑥ 视频相关信息
VMS
① 编辑 视频编 辑
统一 后台
CMS
②
③
上
பைடு நூலகம்
转
传
码
存储云
编码云
云平台
VCDN ④ 视 频 CDN 文 件
SCDN ⑤ 静 态 文 件
视频生产流程
视频信息 后台
数据来源：2014年中国互联网大会
HCDN——CDN+P2P融合技术
• 融入P2P的Hybrid CDN系统
• 主要特征
原有强大CDN网络基础上融入P2P 连接可靠的服务器网络与相对可靠的用户节点网络 主动被动相结合，有计划、有序地传输视频数据 为用户提供高速、高可靠的数据访问体验 控制相对低的总体数据传输成本
• 服务器端传输优化
打破文件边界 缓存在前端合并请求，支持Range请求拆解 缓存在后端压缩回源，支持Range请求组合 每分片数据均保存复用，确保每文件回源吞吐为文件大小 实现多路径回源，增强回源吞吐，同时避免单点故障 ……
HCDN调度
• GSLB
基于用户DNS
小运营商网间结算，dns forward
• 传统模式
以文件为边界 中心或者树形结构
• HCDN模式
打破文件边界，启用P2P传输网络 星形网状结构 用户PEER可作为数据源补充
AMA己 o心
0-o OGII-巳
M i乙lto SOi=T'
．内 比
勹
。凡 ；也
八"'"' ，曼'"""" 201 4中国 系统架构师大会
O一 －－＿＿＿＿＿＿＿一，-
Seaue :;守 空
以“
Ch四 Un
回源-拉取
• 视频CDN回源挑战
视频格式及转封装 海量文件实时访问 随时拖拽非缓存处理 ……
• 优化点（传输角度）
缓存前端合并请求 缓存后端减少回源吞吐 增强Range请求支持 ……
• SQUID
collapsed_forwarding range_offset_limit、quick_abort_*，Range请求支持不完善
数据流向
内容源 存储 缓存
用户
HCDN服务体系
• 上万台服务器 • 上千万的用户在线并发 • 每天传输视频数据近70P+
装满硬盘堆起来可以达到珠峰的高度(按250G一块硬盘，每 天可以装满28万块硬盘，每块硬盘厚度3cm)
• 每天服务器访问日志上千亿条 • 每天PEER数据请求数5万亿条 • ……
⑤ 视频信息 同步
视频信息 接口
④ 视频相关信息
⑥ 获取视频信息
统一
后台
VMS
CMS
存储云 编码云
① 调度
视
频
文 件
CDN
VCDN
⑦ 请求调度
用户 缓存 ⑧ 获取 节点 视频内容 ⑨ P2P
② SCDN ③ 内容同步
静 态 文 件
用户
视频访问流程
CDN体系架构
存储
调度
用户
缓存
推送
拉取
传输
分发-推送
• CDN调度(二次调度)
基于用户IP
小运营商多出口，缓存劫持
• P2P TRACKER
P2SP S：私有协
议数据源 P：用
避免缓存劫持，但存在数据污染
户PEER
建立相对稳定的用户节点网络
用户数据来源
HTTP CDN
客户端 容错
UDP CDN
用户
Peers
CDN调
服度务端 容错
调度
P2P Tracker