腾讯信鸽海量移动推送服务构建

甘恒通腾讯TEG数据平台部高级工程师甘恒通。

•推送系统建设•终端•后台•云化治理移动推送服务概览实时效果跟踪、多维运营分析终端灰度可运营共享Service推送SaaS 检索推送路由基础设施全球网络自建DNS统一接入增值服务用户分群精准推送场景推送泛推送再营销NSPBSC PCUPS 域核心网SGSNGGSN推送服务SaaS厂商通道正效果负效果打开应用关闭通知应用卸载展示点击App 粒度云端调度配置下发控制指令热更新通道切换基础服务质量监控SDK 质量网络服务质量功能模块基础组件云控模块质量监控安全审计网络存储设备识别效果统计消息管理通道集成App1SDKApp2SDK通知栏1通知栏2Shared Service运营平台复现告警监控告警报告订阅符号表管理云控系统Access 统一接入层细分领域JSCocos2dX Unity LURAndroidNative JavaiOSObject-c Swift实时处理ElasticSearch全文检索聚合统计实时计算堆栈还原iOS 系统符号表ESPESAESC数据网关数据服务crash 质量分析报告质量波动预警在线修复监控告警报表呈现实时检索堆栈还原Crash 上报数据挖掘智能专家crash 聚类质量预警众包生态批量处理TDBank 消息中间件MR(离线备用方案)Spark Streaming HDFSRedisPGX云控路由规则App设备ID云端指令配置下发热更新Filter 组件SDK智能终端共享通道协议加密智能选路灰度调度柔性策略一键诊断AccessLayer （实时通道）Docker 云化、GAIA 资源调度TDW 分布式存储Storm & Hermes 分布式计算、实时检索PushLogic离线消息Service设备识别会话路由通道维持云控数据加密防刷控制消息过滤消息网关应用后台微信后台消息中间件T A 数据分析平台自助接入灰度拨测配置管理指标监控运营分析分群画像业务自有运营平台消息排期任务调度消息审计消息推送状态维护账号设备TAG 检索账号映射会路由话效果跟踪检索位图版本兼容私有协议实时消息PUSH配置、指令下发离线拉取消息推送数据订阅全推标签用户分群token 单推token列表推账号单推账号列表推任务调度人群筛选通道路由推送代理实时统计云化治理监控告警小米华为魅族FCM APNs otherRCA缓存异步处理就近接入读写分离...DevOps配置中心日志中心...Bits1TaskSchedulerBits01BitsNAppID:212234Region: TJRegion: SZBits01BitsNBits00BitsN通道: 小米Bits00BitsN 通道: 华为Bits00BitsN小米通道华为通道天津(TJ)Region深圳(SZ)Region小米手机华为手机TJ device SZ device SZ deviceAccessAccessSetLogic SetLogic 通道隔离调度分级Gender :Male Bits00BitsN110101101001111101011RuleAngine查询排期调度路由查询需推送设备任务、数据分割准备申请资源、调度执行选择通道推送推送消费队列、触达用户Message Queue logic offlinelogic realtimeaccesslogic pushcache managercacheCKVtag bitmapupdate cacheupdate cachereadreadL5 consistent hash basesd GUID sliceL5 consistent hashbasesd GUID slicedevicepush messageregister informationGUID -> device info:{ip:port ...}batch pushTGWHttp DNSTDBankSpoutBolt1Bolt2BoltNRule CenterCKVMater SlaveSlave320 bit 1 bit 空间分区管理[ 0, N )[0, 64K)BASE ：1 * 64K[0, 64K)B ：（N –1）* 64K[0, 64K)…Bits0Bits1BitsNBits0Bits1BitsNBits0Bits1BitsNSET 0SET 1SET N容灾扩容高效Query语义解析AST Response索引节点增量索引/数据切片Map Reduce检索节点HBase用户画像设备画像曝光点击HDFS正、倒排索引索引切片索引切片SparkStreamingStormSpoutBoltBoltRule CentralMR Task Map ReduceAggrateNodePullNode ClusterAggrateNode Bitmap OP Bitmap RuleAND, OR, NOTSET：∩、U、∉transfer toKnowlage Grid………离线数据离线数据数据在线数据ExecuteEngine用户、设备画像数据存储、计算资源任务调度多维实时分析提取指标报表呈现分级数据接入公共集群OMG 独立集群手空独立集群IEG 独立集群运营平台原生AppH5智能硬件小程序GW ServiceAccessLayerDomainLogic 自定义计算事件上卷下钻协议适配数据对账事件驱动计算订阅发布通用算子层(count 、sum)SQL 化操作实时计算离线计算HDFS HBase TDW Hermes业务指标自定义计算监控告警消息订阅资源管理数据对账ANTLR MR Plan ExecuteGAIA 资源调度& Lhotse 任务调度资源调度虚拟云化共享隔离成本核算工作流ESA ESPStormTRCSparkHadoop关键指标画像分析TDBank消息中间件GAIA STACK配置中心服务发现负载均衡DevOpsdocker imagerepository配置管理任务管理Service AgentMaster共享内存•增值服务•精准推送•数据•支撑平台•可视化操作标签推送A/B 推送用户分群推送智能精准推送规则引擎协同过滤预估模型深度学习在线学习迁移学习MLRRFCFGDBTFTLR数据P u x i w i算法选择•目标•场景模型训练•样本•特征•FTRL模型评估•AUC•准确率•召回率预测•单模型•混合模型•迁移学习效果统计•CTR•A/B TestTDBankDATA API界面化、可视化算法应用平台CKV 系统实时计算离线计算资源、任务调度CPU 集群GPU 集群Storage业务在线系统任务调度/工作流IDE黄金眼Tesla图像处理多维实时检索Hermes TDEDMPLookAlikeAI &BI NLP OCRMR 精准推荐FTRL LR TRC机器学习Angel (参数服务)MarianaGaiaStack 、LhostHDFS CEPH自建通道场景营销厂商通道APNS FCM 小米通道华为通道魅族通道Android iOS 智能硬件物联网公共组件基础平台工具通道隔离A/B Test 推送标签定向推送推送效果再营销MTA 用户分群、事件数据互通泛推送公众号短信行为场景推送分级推送调度平台共赢地理围栏推送分布式检索推送Gateway 数据开放平台对接运营平台立体化监控数据透视画像分析抵达时效精准实时效果跟踪智能选路预推送行业热词模版配置管理Angel 云控系统GaiaTDW/Storm 位图标签系统全局ID 分配多维实时检索限频安全旁路C K V知识发现用户聚类社群挖掘模型算法流失预测FTRL用户流失归因分析官方打击外挂被人PVP 骚扰和帮会成员缺乏交流沟通太和平没有冲突、挑战错误的加点方式PVP 活动被大帮派垄断，没有对抗的资本PVP 打不过对手，有挫败感升级时获得收益不足暂离后和他人差距大，发生挫败客观原因无法登陆游戏和付费玩家差距过大，失去动力玩法需要时间太多，持续在线PVP成长障碍游戏负担用户分群消息精准推送我有残局，你敢来挑战吗？缺少挑战PVP失利生日独享大礼包用户属性效率成本增值易用KP （开放生态、平台合作）Customer SegmentsKR Key ActivitiesCrash 监控用户分群精准推送可视化埋点渠道跟踪反作弊移动开发者移动运营者Nielsen媒体大数据从业者微信开放平台腾讯云腾讯开放平台应用宝APICloud易起秀用户、设备画像大数据解决方案流量资本协同营销ValuePropositionSaaS AI BI。