AppStore_PPCache系统需求分析及方案设计

PPCache系统_针对AppStore缓存需求分析及系统方案设计

北京东方网信科技股份有限公司

2012年3月

目录

1前言 (3)

2产品简介 (3)

2.1 PPCache系统产品优势 (3)

2.2 PPCache系统支持功能特点 (4)

2.2.1多协议支持、统一平台、统一管理 (4)

2.2.2系统可管理性 (5)

2.2.3内容解析、监管 (6)

2.2.4分级部署、跨域调度 (7)

2.2.5速网增值业务系统（可选模块） (8)

2.2.6速网平台智能分发 (9)

3XXXX需求分析及方案设计 (9)

3.1 需求分析 (9)

3.1.1三网融合对运营商的影响 (9)

3.1.2“全业务”经营和竞争 (10)

3.1.3用户应用的变化 (12)

3.2 XXXX网络现状 (12)

3.3 解决方案概述 (13)

3.4 各模块具体的部署方案 (14)

3.5 设备明细配置 (17)

3.6 系统部署后预期效果 (18)

4需要局方提供的资源 (18)

5主要硬件设备规格 (18)

1前言

1、本项目建议书为北京东方网信科技股份有限公司（以下简称“东方网信”）出口缓存系统——PPCache的主要技术规范、供货安装以及售后服务的说明，供设备采购使用方XXXX 在采购过程中使用。

2、本项目建议书所含信息仅限于XXXX内部使用，未经授权不得对外披露。

3、东方网信保留对本建议书的解释和修改权。

4、P2P流量缓存系统项目在本项目建议书中，统一称为“PPCache系统”。

2产品简介

2.1PPCache系统产品优势

1、国内唯一真正支持“云缓存”的技术平台

“云缓存”依靠部署在各个节点大量缓存设备的协同工作，为用户提供以下益处：（1）极大改善用户内容获取的能力，尤其是对次热门的内容，用户体验大大增强；

（2）更精准的把握互联网用户的行为，提高缓存系统的整体效率；

（3）基于云缓存构建分发平台，支持新型高速数据传输通道；

（4）极大改善基于缓存平台构建的增值业务平台的体验（速网增值业务系统）；

PPCache系统：当前在线超过1500台缓存设备，为新加入节点提供“云缓存”服务能力。随着PPCache系统在各地的大量部署和实施，优势会愈加明显。

其他缓存系统：停留在理论阶段，或因在线节点数量过少而失去云缓存的意义。

2、国内唯一支持分级热点内容调度、分域部署的缓存系统

缓存系统须支持“分域部署，分级调度，集中管理”的特性，以体现缓存系统“就近服务，本地优化”的建设原则，各个地市部署分域，省网集中管理，提高系统运行效率。

PPCache系统：唯一支持此特性的商用缓存系统，且在线实际商用。

3、针对互联网主流协议缓存，不断更新、升级的支持能力

大量在线系统提供对最新协议的及时反应和跟踪；

与中国科学院声学所“高性能网络实验室”是长期深度战略伙伴，研发力量雄厚，对P2P协议变化反应迅速。

与视频门户网站、视频客户端具备良好合作关系，可在第一时间支持此类流量加密后的缓存加速

4、系统经过大流量、高并发用户量的在线实际运行

该系统自2006年开始商用，目前在线运行的局点中，大于20万宽带用户的为26个，超过50万宽带用户的为8个，单个局点最大覆盖宽带用户超过100万。

5、成功销售案例多

拥有超过90个成功案例（大部分为省级或省会级地市单位），最长在线稳定运行四年多。占缓存市场案例数量80%以上，监控链路带宽和覆盖宽带用户数量90%以上份额。

6、国家P2P标准化协议工作组发起者、核心成员

CISA P2P 标准化工作组的发起人和核心成员单位

参与CCSA（中国通信标准化协会）

7、工作机制采用被动缓存、分片存储机制，提供律师产品评估报告，避免法律纠纷

8、后续增值产品丰富

已经开发、部署基于缓存系统的增值业务平台，为运营商带来更多的增值业务及收益。

9、统一平台支持

支持统一协议内部的存储共享和统一调度，在内容过热、设备超负荷、设备故障等情况下能够调度其他缓存服务器的能力为用户继续提供服务。

2.2PPCache系统支持功能特点

2.2.1多协议支持、统一平台、统一管理

PPCache系统目前已对网络中占用比率大的多种协议进行支持，包括用户敏感度较高的AppStore下载、WEB视频、PPStream、Pplive等，以及下载类高流量的BT、HTTP、P2SP、EM、QQlive、风行、迅雷私有、迅雷看看、UUSee、QQ旋风等等，并且支持的厂家在不断增

加中。

PPCache系统为统一平台缓存，支持多协议内部的存储共享，并且进行统一调度，在内容过热、设备超负荷、设备故障等情况下能够调度其他缓存服务器的能力继续为用户提供服务。通过综合评估内容热度、设备负载、设备存储资源占用情况等因素，合理的将内容存储到一台或多台缓存服务器上，完善的解决了因以上情况引起的服务迁移问题。

在整个PPCache系统管理上采用统一的管理方式，一个管理终端支持所有协议的管理，并且多协议统一部署，在机房建设、网络运维方面提供高效、方便、快捷的运维手段，将整个缓存平台做到最优化处理，进一步减轻运维部门的工作负担。

2.2.2系统可管理性

PPCache系统有着很高的可管理性，并可以提供自动智能管理，手动参入管理等手段。缓存触发策略：

PPCache系统默认会采用自动智能识别技术进行热点资源的有效缓存，通过一个资源2次以上访问机制排除冷门资源的缓存，并且根据网络用户访问习惯进行规则默认设定。

包含如下缓存策略来管理进入缓存系统的资源：

●文件的大小

●扩展名

●访问地址

●黑白名单等

在自动智能缓存的基础上，目前已开放了手动缓存策略的设置，用户可根据自行掌握的情况进行缓存策略的手动更改，以实现缓存系统做到针对性缓存的功能。设置策略包括文件大小范围、访问次数限制、文件名称过滤、文件扩展名、关键字过滤、访问地址过滤等手段进行配置。

缓存内容更新机制：

要保障缓存系统长期有效的运行，能够实时贴合用户的访问需求，需要有一套有效的资源更新机制。PPCache缓存系统经过多年对用户访问行为的分析、互联网资源更新频率的统

计，已设计出一套有效的自动智能更新机制，实时根据用户请求的行为，筛选已缓存内容的热度，优先删除过时的冷门资源，使PPCache缓存系统始终保持在良好工作状态，有良好的命中率表现。在自动智能更新的同时，用户可以根据内网掌握的数据，对缓存的更新进行手工干预，在更新机制未能删除冷门、过时资源的同时，手工删除一些冷门过时资源，使系统能够更有效的发挥缓存的功能，及时的缓存有效的热点内容，使其更好的发挥缓存系统的优势，对内网用户的体验、出口带宽的缓解得到更好的表现。

缓存内容的管理：

PPCache系统结合内容解析模块可对已缓存的内容进行排序、管理。通过可视化的报表功能使用户能够掌握缓存中的资源内容，并能通过访问次数排序等方式实时掌握热点资源的信息，用户可自行定义时间段查询资源的热度，了解内网资源热度的变化情况。并可以手动干预缓存内容的管理，可对冷门资源进行删除，可对非法不良信息加入黑名单。

2.2.3内容解析、监管

内容的解析

PPCache系统有着独有的内容解析技术，能够对用户所需求的资源进行深度解析，获取用户的需求热点，并且能够根据资源访问热点进行排序，进一步锁定用户需求，能够为增值业务平台提供有力依据。

PPCache系统的解析系统能够对所有缓存的资源信息进行记录，并且支持按小时精度的热点资源排序查询，实时了解用户访问热点资源的变化，了解实时的用户需求。对所缓存的资源能够做到类型、名称的识别，并且包含热点资源的URL地址、访问协议的类型、用户访问的次数、内容类型、文件名称、资源大小等信息，方便的进行统计查询，并可生成报表数据。

内容的监管

目前互联网已成为资源、信息的最大传播途径，已成为音频、视频的主要传播手段，因此互联网中存在大量的非法内容，还包括大量盗版内容。广电总局已经开始对互联网视听服务的清理整顿，运营商成为了内容监管的重要执行者，但是目前互联网资源的监管手段还仅局限于关键字的过滤，对用户访问的内容无法做到有效的监管。

PPCache系统结合内容解析模块可有效的识别用户请求的内容信息，可实时发现网络中

的不良内容，进而实时有效地管理、删除、阻断。目前已经可以做到根据关键字自动过滤手段进行主动屏蔽，也可对缓存内容进行手动的管理，可进行删除，加入黑名单等操作。并可根据哈希值过滤，有效阻断企图蒙混过关的高危内容。

2.2.4分级部署、跨域调度

在实现有效缓存的基础上，PPCache系统可采用两级架构、分域部署、优化两级管理，中心集中缓存为主导，以适应各省、地市用户访问习惯的边缘区域缓存为辅助，更好的发挥缓存系统对网络品质的改善和提升用户体验的作用。

省公司也应部署全协议的PPCACHE缓存系统，通过对出口上行的监控来实现对全省共享的P2P资源进行缓存，并对全网P2P流量进行管理和优化，同时对全网P2P缓存内容进行分析，深度的了解用户行为。对全网用户访问日志进行统计和管理。省中心缓存池优先在全国资源中心更新数据，缓存省网内用户需求的资源。

根据用户规模在规模较大的市公司部署用户体验敏感度高的在线视频基础缓存模块（如在线视频模块），对本地区内的用户访问高热点内容进行有效缓存，管理本地区内的P2P 流量。通过LBE跨域调度功能，以同城交换优先的原则，引导该地区的用户优先在本区域内的缓存池获取资源，在该域内无法命中时再到省中心缓存系统获取。

PPCACHE系统分级部署的方案示意图如下：

PPCache系统分级部署示意图

2.2.5速网增值业务系统（可选模块）

速网增值业务系统提供搜索门户平台，引导用户进一步消费缓存平台内容，可以通过和用户宽带服务帐号的绑定，向用户提供差异化的互联网宽带接入服务，提高用户体验，提升运营商宽带接入服务产品的价值。

速网增值业务系统向用户提供搜索引擎门户，充分利用缓存资源，引导用户进一步消费缓存内容，通过差异化的网络体验，提升运营商的品牌价值。

速网增值业务系统将缓存中的内容通过搜索方式提供给用户，依据用户热点对缓存进行进一步优化，保证用户整体体验。并通过各种热门搜索排行，辅助以精准的内容描述，收敛用户访问内容，增加热点命中率，满足用户无目的带宽消费需求。还可以结合富媒体技术，整合影视、游戏、城市咨询、社区交互以及快捷查询、缴费等多种贴合用户日常生活的功能，为宽带用户日常生活提供便利，让宽带用户的消费和社区捆绑，引导用户形成消费习惯，形成圈子文化，进一步活跃用户，提升自有品牌价值。

2.2.6速网平台智能分发

在线视频的发展必然带来大量的用户下载数据请求，对运营商的后台支撑系统提出更高的要求。而且CDN系统部署在省中心，无法更好的拉近用户与资源的距离。速网平台能够与CDN系统做结合，将CDN部分热门内容由中心资源服务器下发到速网平台地市边缘缓存服务器，一方面使用户能够更好的获取到资源，提高用户的体验。另一方面能够节省中心CDN 资源服务器的负载，以及城域网内网链路负载。因此速网平台能够为CDN做有力补充，不仅可以减少其后台支撑系统服务器的投入，同时能够提供更高的服务体验保证。

速网平台智能分发系统结构示意如图：

Client

Client

速网平台智能分发系统

3XXXX需求分析及方案设计

3.1需求分析

3.1.1三网融合对运营商的影响

所谓“三网融合”，就是指电信网、广播电视网和计算机通信网的相互渗透、相互兼容、

并逐步整合成为全世界统一的信息通信网络。“三网融合”是为了实现网络资源的共享、避免低水平重复建设而形成的，是适应性广、容易维护、费用低的、高速带宽的多媒体基础平台。

从政策来看，目前三网融合对电信运营商来说，利好消息并不充分。由于广电行业广泛实行制播分离，内容制作并不是电信运营商核心关注点，而内容播出权仍将掌握在广电行业手中，可以说，三网融合下，电信运营商进入广电领域仅仅限于拥有广播电视的传输权，通俗的说，电信行业仅能通过和拥有播出权的广电运营商进行合作，提供内容播出管道，人家播什么，你就传输什么，仍没有脱离管道提供商的角色。

三网融合将使内容服务市场从买方市场转变为卖方市场，内容服务商将成为市场主导。这一转变将对电广传媒、中视传媒等公司形成实质性的利好。可以说，三网融合的背景下，拥有内容，即拥有市场，所谓内容为王。而电信运营商普遍缺乏内容，将在市场竞争中处于不利地位。

3.1.2“全业务”经营和竞争

当今主流电信运营商迎来了“全业务”经营和竞争的时代，由于更多的业务在互联网应用越来越丰富，导致运营商的成本和投诉不断提高，但同时收入和利润却不断降低，若干问题仍困扰着电信运营商，主要表现如下：

在持续大规模扩容出口的同时，仍有很大比例宽带用户投诉“上网速度慢”。

由网络质量（速度慢）造成的用户投诉占51%（中国联通）

近年来互联网宽带用户量年增长率为35%左右，而北方省出口流量增长

率却往往高达100%。4年间联通山东、河南、河北三省宽带用户增加3.5－4.4倍，省出口带宽增加20～30倍，但一些省公司仍然普遍抱怨无法满足用户需求！

●高ARUP值产品对新增用户发展吸引力不足

●由于高ARUP值的新产品集中应用在宽带接入产品（例如3M/4M

ADSL接入）和视频增值服务上。面对普通的互联网应用，1M/2M

ADSL接入与3M/4M ADSL接入，用户体验相差不大，用户缺少升

级接入带宽的动力；针对视频增值业务，由于内容陈旧和内容

质量较低，用户也缺少消费的动力。

●竞争激烈，老用户的维护成本不断提高，但是ARUP值不断降低

●各大运营商开展“全业务”经营与竞争，用户选择增多，转网成

本降低。为了留住老用户在网，运营商推出多种优惠政策（例

如送话费，减免宽带接入费用等），导致用户ARUP不断降低。

●视频增值业务内容陈旧、体验性差，同时内容成本也居高不下，

大大限制了视频增值服务发展

●电信运营商自有的视频增值业务的内容陈旧，视频内容质量不

高，用户没有消费的欲望；同时这些内容均为运营商购买的正

版内容或合作运营的内容，使内容成本升高。

●网络维护成本高，网络速度慢，增加运营商CAPEX/OPEX投入

●网络出口被各类下载、HTTP在线视频、HTTP视频点播应用淹没。

运营商在付出了大量带宽的情况下，并没有带来任何的价值。

同时用户不断反映网速慢，下载/点播应用不畅，为了解决用户

的投诉，运营商需要不断进行网络的改造，加大网络运维的力

度，导致CAPEX/OPEX的投入居高不下。

●互联网内容良莠不齐，运营商承担着监管监控的职责

●从2009年底国家开始下大力气净化互联网内容，规范网民的上

网行为。要求运营商必须承担运营和管理的职责，但是目前运

营商所部署的设备主要为以DPI技术为主的流量结构分析、控

制设备，无法实现基于内容的监管监控要求。随着国家对非法

内容的打击力度加重，运营商对于内容监管的需求也日益凸显；

另外，通过对内容的监管监控，运营商还可以更直观的了解用

户的真实想法和需求，对运营商发展业务提供重要的参考依据。

因此在电信行业中对于电信运营商、设备提供商以及业务提供商来说需要快速地建立一种应对机制来满足用户的需求，避免同质化发展，提供差异化服务，用以增加更多用户，凸显互联网业务的品牌优势。

3.1.3用户应用的变化

新的业务需求促进新的网络设施建设，新的网络建设在满足新的业务需求的同时，触发更新、更多的业务需求。近十几年来各电信运营商发展无不体现这一规律。随着互联网技术的发展和全业务运营以及三网融合时代的来临，以及用户认知的提高和内容的丰富，很大程度改变了互联网用户的应用方式。用户的互联网应用逐步由娱乐化向信息化、生活化转变。原来应用主要集中于网页的使用和即时通讯的文本传输，现在则集中于在线视频、高速下载、边下边播、游戏、视频点播等，以及移动数据网络的使用，包括AppStore、安卓市场等应用的下载，对资源的需求也由原来的有无追求，转变为丰富、高质量资源的追求。

所以，为了满足用户的应用需求，运营商不仅能提供网络和内容，还需拉近用户与资源的距离，主动为用户推送高清、热门资源，提高用户使用的便捷性和体验性，进而提升市场价值和品牌价值。

3.2XXXX网络现状

随着智能手机的火热发展，iphone越来越多的被人使用，因此针对各种手机终端的应用和网站也越来越多，尤其是Appstore是目前最主流的应用，主要可以通过PC终端和手机终端的方式进行应用访问和下载。如苹果AppStore的下载量，其全球的下载量很快突破100亿次，苹果AppStore是目前最为庞大和最为成功的应用商城，其应用数量已经达到了30万个。目前Apple类高端用户逐步增多，对于App Store的访问量越来越大。而一般App Store 资源服务器在国外，这导致高端用户访问App Store部分内容访问迟缓，用户下载体验不佳。针对这个问题，需要将网外内容缓存到本地以提高用户感知。拉近用户与资源的距离，使用户在本地内网就可以进行软件的下载。

XXXX目前互联网出口共有1条10GE链路，内网DNS服务器有2台，并在一个机房。内网用户大约为5万左右，峰值下行流量预计约为5Gbps左右。

目前网络拓扑示意图：

图1：网络拓扑示意图

1.核心路由器与出口路由器之间共有1条10GE链路；

2.本地出口实际流量负载约为5G左右,目前覆盖用户约为5万人左右；

3.本期针对用户敏感度高的AppStore下载进行有效缓存，拉近用户与资源距离，提

高用户体验；

4.提高并改善用户体验、提高用户满意度，降低用户投诉率；

5.对用户行为进行数据统计、归类；

3.3解决方案概述

PPCache系统实现AppStore流量的有效缓存，降低用户AppStore应用流量在城域网外联链路上的带宽占用，从而节约外联出口带宽，降低运营成本，并提高用户访问AppStore 的使用体验。根据XXXX实际网络情况，计划部署2台BWPPS设备（1台BWPPS8000，1台BWPPS4000）监控1条10GE链路上行流量及2条GE链路, 引导用户连接到城域网内部署的BWPPC4000缓存服务器上；在城域网内部署缓存系统进行流量缓存，为用户提供缓存应用服务。

根据PPCache系统快速部署、不影响运营商现有网络运行的原则，PPCache系统部署如下图：

图2：PPCache系统部署

1.PPS模块：2台（1台BWPPS8000，1台BWPPS4000）负责1条10GE链路级2条

GE链路，监听用户的请求，引导用户在内网缓存池进行AppStore数据的获取；

2.LBE：1台，负责各台PPC任务分配；负责调度内网用户之间数据交换；

3.PPC（BWPPC4000）：2台，负责缓存PC终端的AppStore访问下载，移动终端的

AppStore的访问下载；

4.PPM（P2P Manager）：1台，用于统计汇总PPCache系统数据，监控各设备状态等；

3.4各模块具体的部署方案

PPS部署

根据XXXX互联网出口情况及出口分布情况，建议PPS可以采用以下方案部署：

互联网出口都通过分光器旁路部署PPS，用于监听出口链路的上行流量，提供重定向出口链路上用户下载请求的功能；DNS服务器采用分光或者镜像方式使PPS可获得用户的DNS 解析报文。具体的部署方案如图3：

图3：PPS部署方案

根据XXXX的网络出口情况及其中流量负载情况，并结合PPS的性能指标，单台PPS8000最大监控10GE流量，PPS4000最大监控4GE流量。因此共部署2台（1台BWPPS8000、1台BWPPS4000）PPS设备即可满足现网需求，负责1条10GE链路及2条GE的DNS链路。负责引导用户到AppStore的资源下载请求。

后期随着用户规模的不断扩大以及出口流量负载的不断增加，PPS模块可以随时扩展，以满足其出口链路流量的需求。

PPC部署

考虑到系统的扩展性和XXXX网络结构的特性，在部署PPC服务器时，可以采用集中式部署或分布式部署方式。根据目前XXXX的网络现状，一共部署4台BWPPC4000即可满足全网的需要。建议PPC与骨干核心路由器进行互联。

具体部署方案可以参考图示4：

图4：PPC部署方案

详细部署列表如下：

P-AppStore_PPC（PC终端访问支持）：2台，采用BWPPC4000-HWS-SATA-7T，单台设备额定吞吐流量为300Mb/s

M-AppStore_PPC（移动终端访问支持）：2台，采用BWPPC4000-HWS-EHC-7，单台设备额定吞吐流量为300Mb/s

由于BWPPC4000额定吞吐流量均超过100Mb/s，所以建议PPC采用1000M以太端口接入。

后期随着用户规模的不断扩大以及出口流量负载的不断增加，BWPPC4000模块可以随时扩展，以满足其出口链路流量的需求。

PPM/LBE部署

PPM（P2P Manager）1台，LBE（Load Balance Engine）1台，PPM用于统计汇总PPCache 系统数据，监控各设备状态等；LBE统一调度PPC资源，把用户请求均衡地分配到PPC，管理全网P2P资源，优先引导内网用户之间P2P数据交互。

PPM/LBE采用100M以太接口接入到核心网络层即可。

PPM部署在网管中心，可以监控管理PPCache系统中的设备；通过PPCache上报的数据，为运营商提供业务数据统计分析，为运营商提供决策依据。建议全网部署1台PPM。部署方式参考图4。

3.5设备明细配置

根据XXXX的网络结构、网络应用情况及PPCache系统其它局的运行经验，建议部署设备情况如下：

PPCache系统软件支持标准如下：

ISO 9001:2000；

GB/T 19001-2000；

取得软件产品登记证书；

取得软件著作权登记证书；

3.6系统部署后预期效果

根据PPCache系统的服务能力，PPCache系统部署后，效果预期如下：

1.PPCache系统工作正常；

2.对所监控出口的P2P流量实现缓存管理；

3.用户体验：可以提高用户P2P下载体验以及HTTP视频观看体验；

4需要局方提供的资源

根据设备情况，对于安装环境的总体需求为：

1.BWPPC4000对机柜的需求：以一个19英寸标准机柜供电4400W计算，每个机柜可以部

署BWPPC4000 8台,如下：

PPS8000（2U设备）共1台，PPS4000（2U设备）共1台，LBE（2U设备）共1台，PPM（2U设备）共1，PPC4000(2U设备)共4台，总共需要提供1个机柜放置；

2.主机房缓存系统共6台，核心设备需提供6个千兆RJ45端口。

3.BWPPS8000/BWPPC4000/BWLBE/BWPPM与千兆交换机之间通过1000M RJ45网线连接。统计列表如下：

5主要硬件设备规格

PPCache系统主要硬件设备硬件规格如下：

BWPPS8000/4000（2U）

机房荷重标准：地板承重800kg/平方米