海量服务技术
腾讯信鸽海量移动推送服务构建
甘恒通腾讯TEG数据平台部高级工程师甘恒通。
•推送系统建设•终端•后台•云化治理移动推送服务概览实时效果跟踪、多维运营分析终端灰度可运营共享Service推送SaaS 检索推送路由基础设施全球网络自建DNS统一接入增值服务用户分群精准推送场景推送泛推送再营销NSPBSC PCUPS 域核心网SGSNGGSN推送服务SaaS厂商通道正效果负效果打开应用关闭通知应用卸载展示点击App 粒度云端调度配置下发控制指令热更新通道切换基础服务质量监控SDK 质量网络服务质量功能模块基础组件云控模块质量监控安全审计网络存储设备识别效果统计消息管理通道集成App1SDKApp2SDK通知栏1通知栏2Shared Service运营平台复现告警监控告警报告订阅符号表管理云控系统Access 统一接入层细分领域JSCocos2dX Unity LURAndroidNative JavaiOSObject-c Swift实时处理ElasticSearch全文检索聚合统计实时计算堆栈还原iOS 系统符号表ESPESAESC数据网关数据服务crash 质量分析报告质量波动预警在线修复监控告警报表呈现实时检索堆栈还原Crash 上报数据挖掘智能专家crash 聚类质量预警众包生态批量处理TDBank 消息中间件MR(离线备用方案)Spark Streaming HDFSRedisPGX云控路由规则App设备ID云端指令配置下发热更新Filter 组件SDK智能终端共享通道协议加密智能选路灰度调度柔性策略一键诊断AccessLayer （实时通道）Docker 云化、GAIA 资源调度TDW 分布式存储Storm & Hermes 分布式计算、实时检索PushLogic离线消息Service设备识别会话路由通道维持云控数据加密防刷控制消息过滤消息网关应用后台微信后台消息中间件T A 数据分析平台自助接入灰度拨测配置管理指标监控运营分析分群画像业务自有运营平台消息排期任务调度消息审计消息推送状态维护账号设备TAG 检索账号映射会路由话效果跟踪检索位图版本兼容私有协议实时消息PUSH配置、指令下发离线拉取消息推送数据订阅全推标签用户分群token 单推token列表推账号单推账号列表推任务调度人群筛选通道路由推送代理实时统计云化治理监控告警小米华为魅族FCM APNs otherRCA缓存异步处理就近接入读写分离...DevOps配置中心日志中心...Bits1TaskSchedulerBits01BitsNAppID:212234Region: TJRegion: SZBits01BitsNBits00BitsN通道: 小米Bits00BitsN 通道: 华为Bits00BitsN小米通道华为通道天津(TJ)Region深圳(SZ)Region小米手机华为手机TJ device SZ device SZ deviceAccessAccessSetLogic SetLogic 通道隔离调度分级Gender :Male Bits00BitsN110101101001111101011RuleAngine查询排期调度路由查询需推送设备任务、数据分割准备申请资源、调度执行选择通道推送推送消费队列、触达用户Message Queue logic offlinelogic realtimeaccesslogic pushcache managercacheCKVtag bitmapupdate cacheupdate cachereadreadL5 consistent hash basesd GUID sliceL5 consistent hashbasesd GUID slicedevicepush messageregister informationGUID -> device info:{ip:port ...}batch pushTGWHttp DNSTDBankSpoutBolt1Bolt2BoltNRule CenterCKVMater SlaveSlave320 bit 1 bit 空间分区管理[ 0, N )[0, 64K)BASE ：1 * 64K[0, 64K)B ：（N –1）* 64K[0, 64K)…Bits0Bits1BitsNBits0Bits1BitsNBits0Bits1BitsNSET 0SET 1SET N容灾扩容高效Query语义解析AST Response索引节点增量索引/数据切片Map Reduce检索节点HBase用户画像设备画像曝光点击HDFS正、倒排索引索引切片索引切片SparkStreamingStormSpoutBoltBoltRule CentralMR Task Map ReduceAggrateNodePullNode ClusterAggrateNode Bitmap OP Bitmap RuleAND, OR, NOTSET：∩、U、∉transfer toKnowlage Grid………离线数据离线数据数据在线数据ExecuteEngine用户、设备画像数据存储、计算资源任务调度多维实时分析提取指标报表呈现分级数据接入公共集群OMG 独立集群手空独立集群IEG 独立集群运营平台原生AppH5智能硬件小程序GW ServiceAccessLayerDomainLogic 自定义计算事件上卷下钻协议适配数据对账事件驱动计算订阅发布通用算子层(count 、sum)SQL 化操作实时计算离线计算HDFS HBase TDW Hermes业务指标自定义计算监控告警消息订阅资源管理数据对账ANTLR MR Plan ExecuteGAIA 资源调度& Lhotse 任务调度资源调度虚拟云化共享隔离成本核算工作流ESA ESPStormTRCSparkHadoop关键指标画像分析TDBank消息中间件GAIA STACK配置中心服务发现负载均衡DevOpsdocker imagerepository配置管理任务管理Service AgentMaster共享内存•增值服务•精准推送•数据•支撑平台•可视化操作标签推送A/B 推送用户分群推送智能精准推送规则引擎协同过滤预估模型深度学习在线学习迁移学习MLRRFCFGDBTFTLR数据P u x i w i算法选择•目标•场景模型训练•样本•特征•FTRL模型评估•AUC•准确率•召回率预测•单模型•混合模型•迁移学习效果统计•CTR•A/B TestTDBankDATA API界面化、可视化算法应用平台CKV 系统实时计算离线计算资源、任务调度CPU 集群GPU 集群Storage业务在线系统任务调度/工作流IDE黄金眼Tesla图像处理多维实时检索Hermes TDEDMPLookAlikeAI &BI NLP OCRMR 精准推荐FTRL LR TRC机器学习Angel (参数服务)MarianaGaiaStack 、LhostHDFS CEPH自建通道场景营销厂商通道APNS FCM 小米通道华为通道魅族通道Android iOS 智能硬件物联网公共组件基础平台工具通道隔离A/B Test 推送标签定向推送推送效果再营销MTA 用户分群、事件数据互通泛推送公众号短信行为场景推送分级推送调度平台共赢地理围栏推送分布式检索推送Gateway 数据开放平台对接运营平台立体化监控数据透视画像分析抵达时效精准实时效果跟踪智能选路预推送行业热词模版配置管理Angel 云控系统GaiaTDW/Storm 位图标签系统全局ID 分配多维实时检索限频安全旁路C K V知识发现用户聚类社群挖掘模型算法流失预测FTRL用户流失归因分析官方打击外挂被人PVP 骚扰和帮会成员缺乏交流沟通太和平没有冲突、挑战错误的加点方式PVP 活动被大帮派垄断，没有对抗的资本PVP 打不过对手，有挫败感升级时获得收益不足暂离后和他人差距大，发生挫败客观原因无法登陆游戏和付费玩家差距过大，失去动力玩法需要时间太多，持续在线PVP成长障碍游戏负担用户分群消息精准推送我有残局，你敢来挑战吗？缺少挑战PVP失利生日独享大礼包用户属性效率成本增值易用KP （开放生态、平台合作）Customer SegmentsKR Key ActivitiesCrash 监控用户分群精准推送可视化埋点渠道跟踪反作弊移动开发者移动运营者Nielsen媒体大数据从业者微信开放平台腾讯云腾讯开放平台应用宝APICloud易起秀用户、设备画像大数据解决方案流量资本协同营销ValuePropositionSaaS AI BI。
海量分布式存储的概念与技术
大规模数据存储
适用于需要存储和处理大 规模数据的场景，如云计 算、大数据分析、内容分 发等。
高可用性要求
适用于对系统可用性和数 据可靠性要求较高的场景， 如金融、医疗、科研等领 域。
动态扩展需求
适用于随着业务增长需要 不断扩展存储容量和性能 的场景。
优势与挑战
高可用性和容错性
数据分散存储在多个节点上，提高了系统的可靠性和容错性 。
物联网IoT存储
物联网数据特点
物联网设备产生大量实时数据，具有高 并发、低延迟的特点，需要高效的存储
解决方案。
数据处理与分析
物联网存储系统能够实现高效的数据 处理和分析，支持实时分析和历史数
据分析的需求。
数据采集与传输
物联网存储系统负责采集、传输和处 理来自物联网设备的数据，支持多种 数据采集方式和传输协议。
数据共享与协同
云计算存储支持多用户同时访 问和修改数据，促进数据共享 和协同工作，提高工作效率。
灵活配置与按需付费
用户可以根据需求灵活配置存 储资源，并按照使用情况付费 ，降低成本和资源浪费。
数据安全与隐私保护
云计算存储提供数据加密、访 问控制和审计等安全措施，确
保用户数据的安全和隐私。
内容分发网络CDN
负载均衡
如何将数据均匀地分布在 各个节点上，以实现负载 均衡和提高性能，是一个 需要解决的问题。
节点故障处理
如何及时检测和处理节点 故障，以保证系统的可用 性和可靠性，也是一个重 要的挑战。
02 海量分布式存储的关键技 术
数据分片
数据分片
01
将一个大文件或数据集分割成多个小片，并存储在多个节点上，
数据安全与隐私保护
数据加密
云计算的五大核心技术
云计算的五大核心技术云计算是指利用互联网技术和分布式计算技术，将资源和服务通过网络交付给用户的一种计算模式。
它具有高可用性、高可扩展性、高灵活性和高效性等特点，为用户提供了能够随时随地使用、按需付费的计算资源和服务。
1.虚拟化技术：虚拟化技术就是通过软件将物理资源（如服务器、存储、网络等）进行抽象，从而将其切分成多个逻辑上的资源。
在云计算中，虚拟化技术使得硬件资源可以被切分并共享给多个用户，从而实现了对资源的高效利用。
虚拟化技术还能够提供面向用户的虚拟化环境，使用户能够使用虚拟机来运行各种应用程序，实现了资源的隔离和安全性。
2.容器技术：容器技术是一种轻量级的虚拟化技术，它利用操作系统级别的虚拟化来实现资源的隔离和共享。
与虚拟机不同，容器技术不需要额外的操作系统，可以更加高效地利用硬件资源。
容器技术在云计算中扮演了重要角色，能够提供更快速、更轻量级的部署方式，提高应用的可伸缩性和可移植性。
3.分布式存储技术：分布式存储技术是指将数据进行分散存储在多个节点上，通过网络连接将数据进行备份、同步和访问的技术。
在云计算中，由于数据量庞大、访问频繁，传统的集中式存储模式已经无法满足需求。
而分布式存储技术能够实现数据的弹性扩展、高可靠性和高性能访问，确保数据安全和高效性。
4.大数据技术：云计算环境中产生了大量的数据，如何高效地存储、管理和处理这些数据成为了一个重要的挑战。
大数据技术包括分布式文件系统、数据仓库、数据挖掘和机器学习等技术，能够帮助用户从海量数据中挖掘出有价值的信息，并支持数据的实时处理和分析。
5.自动化管理技术：在云计算环境中，有大量的计算资源和服务需要进行管理和维护，手动管理将变得非常繁琐和低效。
因此，自动化管理技术成为了必不可少的核心技术。
自动化管理技术可以实现对计算资源的自动分配、调度和优化，提高资源的利用率和响应速度。
同时，自动化管理技术还可以实现对系统的监控、故障检测和自动修复，提高系统的可靠性和可用性。
新技术应用服务措施
新技术应用服务措施引言随着科技的不断进步和创新，新技术在各个行业都得到了广泛的应用。
对于企业来说，如何利用新技术来改善服务质量、提高运营效率，成为了一个重要的课题。
本文将探讨一些新技术应用服务措施，帮助企业实现更好的客户服务和业务运营。
1. 人工智能技术人工智能技术是目前最受关注和研究的新技术之一。
其具有高效、准确、自动化的特点，可以在客户服务和业务运营中发挥重要作用。
1.1 聊天机器人聊天机器人是一种利用自然语言处理和机器学习技术实现自动交互的系统。
企业可以将聊天机器人引入到客户服务中，为客户提供快速、方便的解答和帮助。
聊天机器人可以实时回答常见问题，将客户问题转发给相关部门，并记录客户反馈，为企业提供数据分析和改进的参考。
1.2 数据分析与预测人工智能技术可以对大数据进行深度分析，并预测客户需求和市场趋势。
通过分析客户行为和偏好，企业可以制定有针对性的营销策略，提高销售转化率。
同时，企业还可以利用数据分析来提前预测产品需求，优化产品研发、供应链管理等业务流程。
2. 云计算与大数据云计算和大数据技术的兴起，为企业提供了存储和处理大量数据的手段，进而改善服务质量和提高运营效率。
2.1 数据存储与备份云计算技术使得企业可以将数据存储在远程服务器上，减少了对本地硬件设备的依赖。
同时，云计算还提供了数据备份和恢复的功能，保障了数据安全和可靠性。
2.2 数据分析与挖掘大数据技术使得企业可以从海量数据中挖掘有价值的信息。
通过对数据进行分析和挖掘，企业可以了解客户行为和需求，从而制定更有效的营销策略。
大数据技术还可以帮助企业发现业务中的潜在问题，并进行优化和改进。
3. 物联网技术物联网技术将各种设备、传感器和网络连接在一起，实现了物与物的互联互通。
该技术可以提供更智能、便捷的服务体验。
3.1 智能家居物联网技术可以将家庭中的设备与手机或其他智能终端相连接，实现家居的自动化控制。
通过智能家居系统，用户可以随时随地远程控制家中的灯光、电器等设备，提高家居安全性和生活质量。
大数据技术服务
大数据技术服务在当今信息化社会中，大数据技术成为了企业之间竞争的重要手段，其应用已经渗透到诸多领域。
大数据技术服务作为对企业数据进行处理、分析和管理的专业服务，为企业提供了更加精准、高效的决策支持和战略规划。
本文将探讨大数据技术服务的定义、应用领域和其对企业发展的重要意义。
一、大数据技术服务的定义大数据技术服务是指通过利用先进的技术手段和工具对海量和复杂的数据进行处理、挖掘和分析，为企业提供数据管理、数据分析、数据可视化等专业服务的过程。
这些数据可以来自于企业内部的各个系统，也可以是来自外部的市场、客户和竞争对手等多个维度的数据。
通过运用大数据技术，企业可以有效获取和利用这些数据，为企业的发展战略和运营决策提供科学的依据和指导。
二、大数据技术服务的应用领域1. 销售与营销领域：大数据技术服务在销售与营销领域可以帮助企业进行用户画像分析，通过分析用户的消费行为、需求偏好等信息，精准营销，提高销售额和客户满意度。
同时，大数据技术服务还可以通过对市场趋势、竞争对手分析等，提供营销决策的参考。
2. 生产与供应链管理领域：大数据技术服务可以通过对供应链、生产过程中的数据进行分析，实现生产计划的优化和供应链管理的精细化。
通过大数据技术服务，企业可以实时了解库存情况、供应链的风险等，提高生产效率和降低成本。
3. 金融与风险管理领域：大数据技术服务在金融行业的应用广泛，可以通过对大量的金融数据分析，实现风险的预测和控制，提供个性化的金融服务和产品。
大数据技术服务也可以帮助银行等金融机构进行反欺诈、反洗钱等工作，提高金融机构的风险管理能力。
4. 健康与医疗领域：大数据技术服务在健康与医疗领域的应用可以帮助医疗机构进行疾病风险预测、个性化治疗方案设计等工作。
通过对患者的健康数据进行分析，可以提供更加精准的诊断和治疗服务，提高医疗质量和效率。
三、大数据技术服务对企业发展的重要意义1. 提高决策的科学性：通过大数据技术服务，企业可以收集和分析海量的数据，从而更全面、准确地了解市场动态和用户需求，为企业战略和决策提供科学的依据。
面向海量数据网络服务的设计原则和策略
应 用 ， 中最重 要 的一 点就 是保 持 系统 的柔 性 。 其 （） １ 不可 靠 的环 境 。我 们 可 能 已经 见 惯 一 个 远 程 服 务 不能 提供 服 务 了 ， 行 一 段时 间 后 ＷｅＳｒ ｒ 然不 响 运 ｂｅ ｅ 突 ｖ 应 了 ， 据库 随 着 负 载 的 不 断 增 加 再 放 上 一 条 Ｓ Ｌ语 句 数 Ｑ
以更好 地保证 系统 的分 区容 忍性 和 可用 性 。
海 量服 务相应 也 意 味 着 海 量 的用 户 和海 量 的用 户 数 据， 大家 都 知 道 ， 即使 是 再 强 大 的 数 据 库 、 强 大 的服 务 再 器 ， 单表 上亿 规模 的 数 据 足 够 让 一 条 简 单 的 Ｓ Ｌ语 句 在 Ｑ
柔 性可用 。面 向海 量级 的分 布式 服 务设 计 ， 我们 要 意
慢如蜗牛（ 甚至于在百万 、 千万级别上， 如果没有采取合适 的策略 ， 都无法满足服务要求 ）一般处理这种千万上亿级 ，
数据 的大 家基 本上 都 会 想 到 的就 是 数 据 ｓａ ｉ ， 数据 ｈｒ ｎ 将 ｄｇ
都需要反映最新更新后 的数据 。 可用性 ： 高可用性意味着每一次请求都可以成功完成
并 收到响应 数据 。 分 区宽 容度 ： 个是 容错 机 制 的要求 。一个 服务 需 要 这
在局部 出错 的情况 下 ， 有 出错 的那 部分 被 复制 的数 据 分 没
的事情会变成常态。一切都是不可靠的， 唯一可靠 的就是 不可靠本身。
区仍然 可 以支 持部 分服 务 的操作 ， 以简 单地 理 解 为可 以 可 很 容易 地在线 增减 机器 以达 到更 高 的扩 展 性 ， 即所谓 的横
向扩展 能力 。
面向海量级 的分布式 服务设计 ， 基本 上分 区容 忍性
解决海量数据管理与服务难题
由于 一 系 列 原 因 ．国 家教 科 网络 扩 大 但是 ，一般情况下 ，健 康医疗不是通过 国 位共 享 先进 网络技 术 与 服务 的 经验 和 知识 。 联 网学 校 范 嗣 ， 括 小 学 和 中学 ， 为他 们 家教科网络来提供网络 服务 ，而是有专 门 包 并 的 机 构 ，Ｔ 验 比较 少 ， 要 更 多更 详 细 的 Ｉ经 需 无 论 本 地 的 、国 家级 的还 是 国 际 的教
解决海 量数据管理与服务难 题
１ 数 网 和网 存 会 据 格 络 储分
能克服现有副本定位服务缺乏主动更新检 测和平衡定位信息开销大的不 足。
清 华 大学 的柳 佳 提 出 了一 种 网格 环 境
随着各种大型科学研究 、 信息服务和 高速 数据传输 、资源调度和安全技术 等。 数字图书馆 、电子商务 、多媒体传输 、高
人们对高性能 、 大容量分布存储 和分布处 （ｉ ｔｆ—ｉ ｔｌ ｋ）策 略动 态 调 整 。 ｆｓ ｉ ｆｓ ｉ ｒ— ｔ ｒ— ｎ
理 能 力 的要 求 ， 实 现 对 海 量 数 据 的 高 效 、 中 国海 洋 大 学 的郭 忠 文 向大 家展 示 了
免冗余传输 。 清华大学 的姜建锦主要对数据 网格 中 的影响进行 了分析。他用受控理论分析方
透 明访 问 和分 析 ，已经 成 为 当前 网格 研 究 用于海量环境信息存储与交换的数据 网格 数据使用模式和数据 分布格局对系统性能
的热门课题 。
－
Ｏ ｅｎ ｒ 的体系结构和可扩展 的数据格 ｃａＧ ｉ ｄ
数 据 网格 在 网 格基 本 功 能 的 基础 上 扩 式 转 换 网格 服 务 。该 系 统 的 一个 典 型应 用 法 ，分 析 了从 单 个 文 件 到 多个 文 件 的 存 储 充 数据 管 理 功 能 ，提 供 与 信 息有 关 的各 种 是 水 团划 分 应 用 。 服 务 ， 究 的 关 键 技 术 主要 包 括 元 数 据 管 研 方 式 对 系 统 性 能 的影 响 ，指 出集 群 模 式 在 重 庆 大 学 的吴 长 泽 提 出 了数 据 网格 中 广域环境内 ，会因数据请求频率的不同而
海量地理信息分布式管理和服务
为基 础的 ，由于 Ｉｖ 存在 的地址不足 、移 Ｐ４ 动性 支持不够 、路 由表 的膨胀 、安全 、性 能问题等缺 陷 ，地理信息 的应用前景存在 重大 的技术难题 ，具体表现是 ：
其特点是数据量大 、类 型多 ，而且一般都
分布式地理空间数据管理与应用
基 于 Ｃ Ｇ 的传输高效 性克服 了现在 ＮＩ
Ｃ Ｉ ＮＧ 的技术 特性 能够有效 解决 限制 分布式 系统所 带来的更新操作效果 差等弱
升 级换 代提供 了可能 。研 究人员根据新一 技术更容易保持节点 数据的一致性 ，简化 下 图表现 了在距 离超过数百公里不 同
基 于 Ｃ Ｇ 的分 布式管理 与其 他分布 置实时感知和 多用 户实 时消息传 输 （ ＮＩ 支持 宽窄 ， 网速低 ， 安全性不够等缺 陷严重限制 点对点 、 点对群等多种消息传输方式 ） 了网络视频技术的进一步发展 ；而在 Ｃ Ｇ 。目 Ｎ Ｉ
（ ）不 同站点之间的通信速度大大提 前 ，这一 系统 实现了 ２ ０多个用 户同时在 上 ，让每个 网络摄像 机都分配有全球惟 一 １ ０
程视频监控 的地点在 地理信息系统的终端
分布展现和管理 ，不需经过服务器可直接 向多用户提供终 端移 动查询以及永远在线 不 问断服务 ， 实时提供视频 图像和音频。 在
（ 利用点对 点通讯技术 ， 证服务 利用 Ｉｖ 网络层安全协议增强空间数据 ３） 保 Ｐ６ 质 量 ，通 过分 布式 系 统可 实 现设 备 的共 的安全性
电力 、地籍 、公安 、急救 、市政管理 、城 了海量 空间数据分布式存储 、地理信息协 市规划 、经济咨询 、灾害损失预测 、投资
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
TX分享日-海量服务之道小记
2014/4/12、13日两天TX在深圳大学召集了一个两天的分享活动。
我过去选择听了四个系列讲座：
●亿级腾讯新闻客户端的海量运营
●一秒钟法则——移动互联网服务优化
●移动游戏后台的存储和服务器性能
●微信海外性能优化
整个系列的名称是《海量服务之道2.0》，讲述TX在开发千万至上亿用户量的服务时，方法上的一些总结。
由于视频和PPT还未上网，先简单根据笔记梳理、总结下。
海量服务的核心观点：动态运营、有损服务。
具体到后台:
动态运营要具有的意识：先抗住，再优化；大系统，小做；边重构边生活
方法论有：立体监控; SET模型; 自动部署; 全网调度
有损服务方法论有：灰度升级; 过载保护; 柔性可用
1.亿级腾讯新闻客户端的海量运营
相关资料已经上网：
/cn/news/2014/04/tencent-news-app?utm_campaign=infoq_content&ut m_source=infoq&utm_medium=feed&utm_term=news
新闻客户端特点
●月活跃度高，千万级别，每天利用微信、手Q插件，每个用户各推送四次。
●属于基础需求，应用频率：次高频
●覆盖面：普适，非垂直
●突发性强，强调时效性
从产品、开发、运营三方面：
1.1.产品
●聚焦核心需求，少即是多。
关注最基础的需求
例子：新闻四个Tab页：分别有文字、图片、视频，其实大部分用户只用文字页。
●不要过度设计，考虑普适性
反面例子：朋友圈新闻分享，看朋友都看过、评论过哪些新闻，看上去很拉风，但实际价值不大。
●宁要90不要80
上线质量要高，质量未达标不要上线
1.2.开发
●快速迭代，小步快跑
●快、稳定超过精巧性
●快、允许出错超过慢、不出错
●边重构边生活
●客户端预埋开关
某些功能有问题时，在服务器端可控制旁路（bypass）掉
1.3.运营
●快速灰度策略
海量运营灰度要有一定的量，快速：以天、小时为单位(开发周期：4-6个周) ●有损服务
不是所有服务都能有损，分清楚哪些服务能有损。
分析哪些必须提供无损服务●先抗住再优化
立体监控。
对于关键指标，能达到5s钟基本的监控和告警
例子：
重大新闻PUSH：
1突发性
2 同时到达用户量大（X千万）
3 时间短（2分钟内到达峰值，峰值是平时峰值的3倍）
马航事故发布会：2分钟，25%用户到达
●服务分级
80%的机器服务20%的重要服务
●技术优化
Cache迁移，从MC移到反向代理（5s cache失效）
●TCP参数优化
TCP拥塞窗口调整
●容量模型
挑战
1、视频时代到来，取代图片
2、直播、互动化的技术复杂度远远大于广播
2.一秒钟法则：移动互联网服务优化MIG，专门同360竞争的部门, 纯技术讲座。
2.1.无线链路特点
●无线资源是共享，抢占式的
TCP连接建立完成后，无线资源(物理层)可能会被释放。
例如：GSM一秒钟无数据，就释放物理连接。
3G也只有几秒
●高延迟、高丢包
相比有线网络，无线网络误码率高100倍。
无线连接，跟信号质量相关，可能有秒级别的延迟
有线延迟只跟距离相关（深圳到北京，肯定比到旧金山延迟低）
●运营商间网络特性差别大
2.2.1秒钟法则
●2G：DNS解析，TCP建立连接，在1S内要完成
●3G：首字到达时间，在1S内完成
●WIFI：首屏展现时间，在1S内完成
2.3.措施
2.3.1.DNS
现状
●移动互联网，部分DNS承载了大量用户（占全网的40%）●不能依据Local DNS做负载调度
●DNS配置错误（山寨机，刷ROM机）
●DNS劫持
方法
●DNS缓存
●多域名，多点分布
●终端配置Server List（配合列表更新机制）
2.3.2.主动调度
1）多端口、多协议组合
2）终端测速（采样，部分用户，在WIFI下上传）
3）建立网络Profile，终端学习（WIFI MAC地址-最近CS的关联关系）
5）不要把调度逻辑写死在客户端
（反面教材：心跳时间写死，重试时间、退火策略写死，这些都要能在服务端对单个用户加以控制）
6）粒度：细到网元（运营商、在哪个城市城域网）移动互联网（省、接入网、WAP网关）
7) SET模型
8)负载模型
2.3.3.协议参数优化
1 ) Google建议
2) 中国实际：RTO init时间
2.3.4.关注WAP
5%-20%的用户还在使用CNWAP接入
2.4.度量
百分之多少的用户，在何种网络场景，能达到1s钟接入
3.移动游戏后台存储模型
主要讲从游戏后台存储如何从MySQL开始迁移到NoSQL
3.1.游戏开发特点
●与竞争对手抢速度
●增长速度快
天天快跑PCU 400万，每天900亿次DB请求，1.1M/s平均请求，峰值请求是平时的4倍
主要性能耗费：
关系链排行榜（微信、QQ游戏好友，好友PK，游戏产生的数据）。
平均20个好友增加到30-60个好友，关系链相关的请求占到70%
●存储模型
传统游戏：分区分服存储模型
SNS游戏：全区全服
3.2.策略
●冷热分离：热点数据cache
●有损服务：客户端cache结果，降低实时性
●增量更新：
●TGW：连接保持
3.3.存储模型
1 、cache中间层(分片) + MySQL（并没有严格按照范式定义）
2 、NoSQL存储集群
正在使用Traplus
Traplus：文档数据库，自定义Schema（兼容C数据结构）
国外主流的游戏开发商也在采用NoSQL（Oracle的NoSQL产品）
图表 1 来自NoSQL Data Modeling Techniques
3.4.NoSQL缺陷
●统计分析支持偏弱
Spark还在预研
●配置、运维工具少
4.微信海外网络性能优化
海外网络发送IM消息非常慢，有明显延迟。
2012末启动攻关。
性能优化三部曲：
●监控
●优化
●分析
监控<---- 优化<--- 分析
| |
|------------>------------------|
4.1.监控
●一定要取到定量的数据
●使用Android终端后台上报常用网络操作的延时（WIFI场景）
4.2.分析
通信过程分析
查询了3GPP文档，RRC部分，研究怎么无线连接保活
粗暴方式：不停的发心跳，运营商信令风暴投诉
分析后，总结出信令、数据、无线网络三方面可开展优化
4.3.优化
4.3.1.信令
●部署调整，增加IDC
美国通往所有国家的网络都比较快，IDC从东南亚迁移到美国后，加拿大的接入延迟改善较多，美国的延迟改善不大
●动态加速点
部署IDC成本较高。
可用加速点改善接入性能。
在印度采用了此方面，明显降低接入延迟。
4.3.2.数据
●图片上传CDN
●下载CDN
上传CDN主动推送图片到下载CDN（CDN内部的优化）
●降低时效性
上传图片成功到朋友看到，不是实时的。
本地界面显示上传成功，其实才开始上传。
4.3.3.无线网络
●通过typing消息(“正在输入”)做保活
●协议压缩
●优化是个长期的过程，微信也才刚刚开始
实时监控
1分钟发现、定位网上故障。