新浪微博架构与平台安全演讲稿

合集下载

关于“微博的力量”演讲稿

关于“微博的力量”演讲稿

微博的力量尊敬的老师,同学们,早上好!今天,我演讲的主题是:微博的力量。

我相信在座的应该都很熟悉微博了。

微博,也就是微型博客的简称,是一个集用户分享、传播以及获取信息的平台。

美国的Twitter 是最早也是最著名的微博,而我国最大的门户网站—新浪网,在2009年8月推出“新浪微博”内测版,自此,新浪网成为门户网站中第一家提供微博服务的网站,而微博也正式进入中文网主流人群的视野。

既然今天的话题是微博的力量,那我们就先从微博下手,先来看看微博的有哪些特性和特点。

大家都知道,微博是一种互动及传播性极快的工具,传播速度甚至比媒体还要快。

或许是“语录体”的表达更适合当今快节奏的时代,每一个访问者在这样一个公开的平台上可以快速地对当时发生的事情进行了解追踪,短、平、快的打法不止适用于乒乓球,更适合现代社会的互动沟通。

这就造就了微博简捷迅速的特点。

早在中国微博产生的初期,互联网数据中心就预言2010年底中国互联网微博累计活跃注册账户数将突破6500万个,而事实的确如此。

据另一数据显示,作为中国微博龙头老大的新浪微博,至2012年底,其注册用户达5.03亿,这巨大的用户量是决定微博一切的一个基础。

在这庞大的用户群体中,各个阶层的人都有,名人明星、各路媒体、政府企业,当然最多还是我们这些普通老百姓。

如果说博客是名人秀,那么微博则将名人秀场变成了门槛更低的大众游乐场,微博更具具草根性。

在微博上,你可以振臂一呼八方响应,也可以歇斯底里做人格分裂状。

你的言论会通过影响粉丝之后再影响粉丝的粉丝,如果恰巧你是意见领袖,那么你的影响力将成倍增长,而这种裂变式的传播恰恰是微博在诞生之前就做好的定位。

“与其在别处仰望,不如在这里并肩”,这是腾讯微博的广告语。

从这里我们可以知道,“微”是一种平等的力量。

不同于传统媒体环境中“传”者与“受”者的显著分野,微博是一种平等的交流方式。

传统互联网时代,有这样一句名言:“在网上,没有人知道你是一条狗”,这说的是互联网的匿名性。

新浪微博发言

新浪微博发言

新浪微博发言腾讯微博,新浪微博的头号竞争对手其用户基数巨大,用户质量高且腾讯团队的研发能力也可说是国内一流是优先需要分析的竞品虽然目前市场上的其他微博类产品也有很多,但是大多数的用户量都还不上规模而且功能上,业务模式上也都没有什么突出的特色所以在此主要以腾讯微博作为竞品讨论Opportunity(机会)1.移动端发展如新浪微博2012Q4的报告,日均4620万用户中75%是移动端用户用户大量从PC端向移动端迁移已经是既定事实并且仍在继续而由于新浪微博的用户基数大且在移动端的跟进迅速所以在移动端的微博市场上新浪微博依然处于领先地位 2.巩固用户群,提供更多社会服务据新浪数据中心的某调查报告显示新浪微博的用户群体中80后和90后的用户群站到总数的8成;同时新浪微博的用户中80%的用户是受过高等教育的人群从以上两点分析看来,新浪微博的主要用户群体是大都是80,90的年轻人,这些人大都是正在校园中读书或刚刚脱离大学校园他们大都是社会群体中的受过高等教育的中坚力量所以个人以为要巩固这些用户有以下几条思路:1)周期性的校园活动学生是微博的主力,也是新用户的主要来源我们需要做的是不断地在校园中吸纳新的用户推广或组织学生们热衷的线下活动(如,校园服务,组织电竞比赛,线上公开课等)让新浪微博伴随每一届新生入学2)对于已经离校步入社会的人群由于工作生活等各方面压力,其微博的活跃度较学生较低此类用户更关注的是事业的提升和生活中更切实的问题对此类用户我们可以给与的服务比如,分门别类的讨论圈让同一行业,有共同话题的人们聚在一起分享和讨论问题针对这种讨论组的模式我们可以将发言内容的监管权力交由讨论组的成员来管理类似于贴吧中的管理模式如此可以降低内容监管的成本以上两条仅是针对新浪微博的主要用户群体我们可以用来巩固用户,增加用户粘性的方法总结一句话就是:新浪微博已经拥有了大量用户,我们能提供给用户的服务越多,越深入生活的细节就能更好地增加用户粘性3.变现模式-广告、购物,消费其实消费也同属上一条社会服务中的一种之所以单拿出来讲是因为购物和消费可以更直观地说明产品变现互联网行业中最主要的变现方式有两种:一是直接支付购买实体或虚拟产品再者就是广告费而新浪微博目前还没有直接的实体产品交易所以主要的收入应是以广告费和运营渠道方面的费用为主类似新浪微博跟各个电商网站(如京东等)合作的方式可以算作是其变现的主要方式之一未来,新浪微博自主提供的消费也可以作为用户变现的渠道比如,明星线下活动微博明星账号众多,明星的粉丝们对其微博的关注度也高所以变现能力巨大再比如新浪微博自己创建电商平台,做横向发展1、关键词审核与删帖这没有什么好说的,中国任何社交网站都有这种措施,不同的是有些网站的敏感词列表较长,有些是超长在被新浪微博禁言之前,我被删过很多微博,但新浪几乎没有给我任何通知这方面新浪要跟网易学一学,以下是我的网易微博被删帖的记录截图,一共7页,每页20条一个共产党员和一个普通百姓犯罪后的结果有什么不同?共产党员可能会被去除党席,而普通百姓可能就要坐牢了在新浪微博的“V”世界,如果一个“+V”的人要被审查,他可能会得到“微博小秘书”的提醒,告知这个“+V”的用户不要发什么,再发会如何如何而普通的人,可能就会被禁言或删除帐号新疆财经大学本科毕业论文目录新媒体—新浪微博发展评析新浪微博是如何改变我们的生活和工作的演讲稿尊敬的老师,亲爱的各位同学们:大家好!首先感谢老师给我提供这样一个良好的机会,让我有幸参加今天的演讲在座的每一个都是忠诚的微博用户,我们都清晰的知道微博在今天的中国已经成为最热门的新媒体,有几个很特殊的现象,比如可以在微博上面观看名人的一些彼此的交流,像王菲和郭德纲,还又可以看到一些最热门的媒体事件在上面碰撞出火花,往往是微博发出来的,而每一个人,今天很多人想要看最热门的信息,他们不见得是打开门户,而很可能是打开微博来观看最新、最实时的信息为什么微博有这么大的效力,在短短几年时间内,改变了人们的生活和工作,甚至可以说是改造了中国媒体的发展在这里我仔细的想了以下几个理由第一个理由,在微博造成了内容生产的成本极大的降低有几个理由:生产的工具非常非常简单,我们140个字打进去按一个钮就转发了,这跟写一篇博客的难度是不可相比的过去写一篇博客,可能你还会觉得这有点像是一个正式的文章,还要在乎里面文字是否优美、是否被人批评这140个字大家都知道是我们实时发出来的当时的想法所以,大家不会那么挑剔,大家原谅的程度会更高,而且100多个字,10秒或者30秒就可以发出另外,微博是非常自然的实时的恐惧,可以让我们经过手机的传播,能够随身携带,能够实时发布,而不是等到我们要上电脑才能发布所以,它带来了一个人人创造的平台,让每个人都可以成为一个信息发布者,每一个人都可以做一个微博的小记者,这样的一个时代而且非常容易、非常方便实时、随时可做,无论何时何地,这是为什么社会化的媒体、微博的媒体是一个非常巨大的革命第二个理由,除了内容的生产之外,还有更重要的是内容的传播这是一种病毒式的传播,但是它不是一个病毒无限的传播,是一个基于信任链的传播这个非常重要,因为当每一个人都生产信息的时候,信息的爆发会造成非常垃圾的信息、没有意义的信息、不值得转播的信息,甚至具有伤害性、广告性信息的传播如果真的全世界每个人都到处发微博而没有任何信息链,这个信息99%都是没有价值,没有意义,不值得跟随或者是垃圾,最后人们将会摒弃这个媒体第三个理由,其实是基于人性,我们可能看过基础人的需求,知道有5个层次,生理和安全要靠这个社会、国家,但是除了最基层的两种之外,我们还有什么需求呢?1,我们有社交的需求很多人在微博上会说“我们彼此关注好吗?我关注你,你怎么不关注我?或者我来留言,希望你回复他的留言”.甚至我知道有人在经过微博认识,然后相交,然后求婚,然后结婚,整个过程都是经过微博社交的需求,满足了我们利用微博来认识很多人的需求2,再高一个层次,尊重的需求希望更多人来做我的粉丝,来关注我,我现在粉丝比较多,有些人会形成友善的竞争,有些人会说有没有名人会做我的粉丝,或者有没有名人转发我的信息甚至他可以让每个人有做小记者或者狗仔队的感觉,第一个发现大S订婚计划的人,我想他一定带来很大的自我尊重的感觉3.最高的一个层次是自我实现,我希望把有价值的信息分享给别人无论是社交、尊重和自我实现,微博其实是满足了每一个人非常原始的一种欲望,所以它也是导致为什么今天微博非常成功所以,更简单的说,我们绝对不可以把微博看成仅仅是一个简单的网站关于新浪微博发展现状的调查一、关于微博上图表可以看出,使用新浪微博用户中%的用户是用来记录自己的心情的,说明新浪微博多是人们记录以及分享情绪的平台随着社会的变革,社会竞争日趋激烈,人们在生活工作中需要有一个平台来发泄自己的情绪和分享他人的心情,恰恰新浪提供了这样一个平台、2、新浪微博与腾讯微博、网易微博、搜狐微博用户关注对象差异上表格可以看出,使用新浪微博的用户有%的用户关注社会名人新浪微博凭借其巨大的影响力吸引了众多社会名人的加入,实名认证让用户可以近距离的聆听社会名人的声音,与自己喜欢的明星零距离接触,随时关注他们的动态。

新浪微博框架

新浪微博框架

大家下午好,在座的大部分都是技术开发者,技术开发者往往对微博这个产品非常关心。

最晚的一次,是12点多收到一个邮件说想了解一下微博底层是怎么构架的。

很多技术人员对微博的构架非常感兴趣,就是一个明星他有300万粉丝,这个技术怎么来实现?今天在这里跟大家分享一下微博的底层机构,让大家对微博的底层技术有更好的了解。

另外不管是做客户端、1.0、2.0、论坛、博客都要考虑架构的问题,架构实际上是有一些共性的。

今天我通过讲解微博里面的一些架构,分析一下架构里面哪些共性大家可以参考。

首先给大家介绍一下微博架构发展的历程。

新浪微博在短短一年时间内从零发展到五千万用户,我们的基层架构也发展了几个版本。

第一版就是是非常快的,我们可以非常快的实现我们的模块。

我们看一下技术特点,微博这个产品从架构上来分析,它需要解决的是发表和订阅的问题。

我们第一版采用的是推的消息模式,假如说我们一个明星用户他有10万个粉丝,那就是说用户发表一条微博的时候,我们把这个微博消息攒成10万份,这样就是很简单了,第一版的架构实际上就是这两行字。

第一颁的技术细节,典型的LAMP架构,是使用Myisam搜索引擎,它的优点就是速度非常快。

另外一个是MPSS,就是多个端口可以布置在服务器上。

为什么使用MPSS?假如说我们做一个互联网应用,这个应用里面有三个单元,我们可以由三种部署方式。

我们可以把三个单元部署在三台服务器上,另外一种部署模式就是这三个单元部署在每个服务器上都有。

这个解决了两个问题,一个是负载均衡,因为每一个单元都有多个结点处理,另外一个是可以防止单点故障。

如果我们按照模式一来做的话,任何一个结点有故障就会影响我们系统服务,如果模式二的话,任何一个结点发生故障我们的整体都不会受到影响的。

我们微博第一版上线之后,用户非常喜欢这个产品,用户数增长非常迅速。

我们技术上碰到几个问题。

第一个问题是发表会出现延迟现象,尤其是明星用户他的粉丝多。

另外系统处理明星用户发表时候的延迟,可能会影响到其他的用户,因为其他的用户同一时间发表的话,也会受到这个系统的影响。

网络安全的发言稿范文5篇

网络安全的发言稿范文5篇

网络安全的发言稿范文5篇网络安全的发言稿范文篇1各位老师,同学们:大家早上好。

今天我演讲的题目是《正确看待网络世界》。

时代的迁移,科技的发展,人类社会正在迈入信息网络化时代。

网络给人们开启了一个全新的、缤纷的世界,特别是青少年更难以抵挡。

据有些专家调查表明,青少年上网时间偏长。

30.1%的调查对象有经常上网的习惯,82.5%的调查对象拥有自己可以上网的电脑。

调查中,当问到最长的一次上网时间时,回答9小时的竟占31.8%,5—8小时的占25.9%。

调查还发现,男生比的上网时间多。

学生上网究竟在做什么?调查表明:用于聊天、玩游戏、娱乐内容的比例高达55.7%。

不容置疑,网络是功能应用最广的媒体,它为青少年搭建了自主学习的宽广平台,它使学生获取更多的信息知识,“足不出户”,“尽览天下风云”;它为学生提供参与社交活动的广阔空间,“海内存知己,天涯若比邻”;它丰富了学生的生活,摆脱了“两点一线”读书生活的单调。

网络世界好精彩!但更不能忽视,网络这把双刃剑,刺伤了多少缺乏自护意识的青少年。

网络的开放性与隐蔽性使多少精神垃圾灌输到一个个单纯的心灵。

有的轻信网站教唆,酿成人间悲剧;有的轻率会网友,无辜遭伤害;有的沉迷黑网吧,弃学难自拔;还有的热衷于网络游戏,被其中的弱肉强食、尔虞我诈搞的道德观念模糊,甚至心智混乱;有的被赌博、等网上黄毒感染,最终误入歧途。

他们陶醉于虚拟的空间,开始逃避现实,荒废学业,搞的自己形容枯槁,神思恍惚。

让家长叹气,老师摇头。

青少年,处于人生的黄金时代,美丽的大自然向我们招手,科学的高峰需要我们去攀登,含辛茹苦的父母期望我们健康成长,祖国的未来需要我们去铸造辉煌……我们该做的实在太多了!一方小小屏幕,岂能涵盖我们生活的全部?“水,能载舟,亦能覆舟。

”而如今,青少年的网络安全问题,已成为影响国家兴盛、社会安定、学校教育、家庭和谐的隐患,真希望我们所有的青少年朋友,能对网络有清醒的认识,在头脑中建起一道安全的“防火墙”!网络安全的发言稿范文篇2亲爱的老师、同学们:大家好!我今天演讲的题目是“网络安全,重于泰山”。

社会热点演讲稿

社会热点演讲稿

社会热点演讲稿2012即将来临,网络安全何处寻?玛雅预言我们耳熟能详,在他们的预言里,2012将是我们生命家园的末日。

然而,尽管玛雅有关地球毁灭的预言有可能是天方夜谭,但是,12月21日发生在网上的安全泄密事故,却实实在在的让互联网业遭到了电影《2012》般的重大打击:包括CSDN、天涯社区在内,大量网站的用户数据库被黑客攻陷。

据不完全统计,大概有5000万用户的数据遭到曝光,一时间,网民人人自危,网站如临大敌。

对于CSDN这个网站,可能我们这些普通学生并不熟悉。

不过在IT业界,它大名鼎鼎。

它是中国最大的程序员社区,囊括了90%以上的优秀程序员。

也许,听到这个消息,在座的同学们可能会想,这与我并没有关系。

但是,接下来,天涯社区、新浪微博、人人网等这些我们常用来交流和发泄的网址,用户信息都遭黑客曝光,累计数量超过5000万。

一波未平,一波又起,CSDN这次大规模的用户信息泄露,可能会给包括支付宝在内的网上支付平台造成困扰。

如果网上支付不能确保安全,我们又怎么能尽情享受淘宝购物的快乐呢?以后我再也不能轻轻的点击鼠标,放心的将钱从支付宝中划出去了。

我会担心,我这轻轻的一点,也许我将成为一个穷光蛋,有人会曝光我的用户名、密码,并轻轻松松的刷掉我剩下的全部余额。

更让人感到害怕的是,如果别有用心的人去登陆网易、新浪、搜狐等邮箱以及支付宝的话,由于邮箱绑定了更为大量的个人信息尤其是银行账号,因此会造成更1为巨大的损失。

听到这个消息,我们除了担心个人隐私惨遭泄露,在怀疑这个地球越来越不安全的同时,不禁要问,为什么有人要做这种损人不利己的事情?金山网络这样的安全软件公司,为什么在得知网站用户数据泄漏后,非但没有提醒用户不要下载,反而对泄密资料进行传播?这种违背安全公司起码准则的行为为什么没有人去监管?我们希望涉及个人信息的网站能改善密码保护的方式。

在这600万用户信息未被泄露之前,人们根本不清楚,拥有雄厚技术背景的CSDN竟然采用明文方式保存用户密码,也就是说,黑客一旦进入数据库,不需解密就可以直接看到用户密码等全部信息。

新浪微博稳定性经验谈

新浪微博稳定性经验谈

o 快速解决:容灾预案
o 清楚系统健康状况趋势
新浪微博稳定性经验谈
• 容灾预案
o IDC容灾(切换到其它IDC) o 限流(拒绝超出或异常的请求)
o 降级(降级有问题资源、保核心功能)
o 紧急快速扩容 o ……
新浪微博稳定性经验谈
• 所做这些都是有效的吗?是否有遗漏?
在测试环境下已经做了充分测试! o 线上呢?等待异常出现时来验证系统是否经得起考验?
• 保证系统一直处于稳定状态
o 新系统上线和重大改造前先进行稳定性测试
o 周期性的演练测试
新浪微博稳定性经验谈
• 在线演练一些注意事项
o 避免copy上行接口流量导致写请求被多次处理
o 避免写花缓存数据
o 避免对后端造成很大压力 o 尽量选择在低峰和有工程师在场的时间段进行演练
o 完善的监控报警机制
o …….
新浪微博稳定性经验谈
存在不可避免的影响稳定性的因素, 但是又需要保证系统的稳定性,怎么做到?
新浪微博稳定性经验谈
• 构建稳定的系统?
o 少出问题:Design For Failure
o 快速解决
o 清楚系统健康状况趋势
新浪微博稳定性经验谈
• Design For Failure
o 分层隔离(分离核心和非核心接口、服务化等) o SLA保证(资源、服务等各层面保证)
o 流量限制:保正常请求
新浪微博稳定性经验谈
• SLA保证
o 超时控制
o 谨慎重试
o 容量规划 o Failover策略
新浪微博稳定性经验谈
不能保证系统方方面面都能自动Failover, 但是又需要保证系统的稳定性,怎么做到?

新浪微博服务治理框架


SID
PSID Annotation
span ID,调用链中的一个节点,从请求开始到请求结束,生成方式同ReqID。
Caller spanID 该调用节点的类别,有API client/API server/RPC Client/RPC Server/其他中间件定 义 接口名称 开始时间和请求时间
Service Name Start/Process Time
服务化框架
监控平台
监控指标UI呈现 报警子系统 流量切换 服务治理平台 服务扩容 服务发布
RPC 数据聚合平台 Motan Registry 上报 资源日志 Push Motan Client
Cache Service … Config Server
上报
接口日志
上报 RPC日志
Push
Client
调用链标准化日志
ReqID SID PSID Annotation Service Name InterfaceNa me Start Time Process time Node IP 16位UUID RPC Node IP
Field ReqID
Description 请求序列号,在调用链入口生成,考虑使用节点IP地址+IDC机房编码+序列号生 成
10.5.2.1 IDC1: Motan Registry IDC2: 10.6.2.1 10.6.2.2 10.6.2.1 10.5.2.1 10.5.2.2 Push Motan Client 切换后数据流 10.5.2.1
10.6.2.1
问题:基于IDC的流量切换策略是否够用?是否需要增加按20/80比例的流量分发策略?
微博平台服务化框架
卫向军

TUP第二期新浪杨卫华:谈微博Cache设计


杨为华:我们就是时间排序,最简单的方法,我们没有找到更好的算法之前。
提问:不是根据一些热点?
杨为华:我们也考虑过那个方向,但是我们认为挑战性非常大,你认为好的方法用户不一定认可,这个挑战很大。你用算法做一些东西,但是用户认为不重要的东西,如果用户没有展示,用户可能也会有其他看法。为什么用复合模式,我们也不知道为什么叫复合模式,我们根据实时运行情况,发现哪里有瓶颈我们会想到更好的方法解决。这个瓶颈,能不能给在线用户加一个什么东西,减少系统压力,不影响原来的价值,主要处于每个性能模块的角度考虑的。
最早我们新浪曾经有一个DB产品,刚开始做通过我们社区介绍,慢慢让大家知道DB在一些方面用起来更适合大家的地方,后来比如说我们去年发展一种分布式的,现在随着社区大家互相介绍,如果有人单独讲一个DB会觉得很不好意思。微博最早我们只能看国外的,慢慢有不少公司做这个,刚开始我们介绍一些基本技术,比如说微博的东西可以用推和拉做,等到以后经过我们把这个话题讲到以后,有人再讲微博技术光讲推和拉觉得不好意思,要进行一些更深入的话题,慢慢我们就在这个过程当中。今天讲一下cache的设计,我讲过一次微薄扩展设计,那是一个基本话题,刚才也讲了一个架构讲得比上次更深刻,光讲一个推是不够的,我今天演讲主要从是cache进一步补充一下,一部分是Feed架构简介,第二是cache的设计。
cache规划方面一些问题,将不同业务,不同长度KEY存储到不同的MEMcache,不同的业务有不同的更高效的内存利用。
mutex,什么情况会出现这个问题,比如说一个很热的内容,cache里面没有了,因为memcache不是很可靠的东西,你放在里面可能会消失,经常出现这样的情况:一个很热的cache没有了,因为我们系统有很多并发很热数据没有了,非常多的并发如果我们没有一个很好的策略,比如说几十个,几百个加一个内容这会是一个悲剧。我们给每个KEY加载MUTEX,这个并发连接取数据库,然后把mutex删除成规,这个时候我只需要一个连接,数据库加载到BD里面有可以了。

微博系统架构的可信性研究

2 1年 第 O 期 01 8
■ d i1 .9 9 . s 6 1 12 0 10 0 o : 03 6  ̄i n1 7 . 1 22 1 80 7 s
的可信性研究
庆 轩
( 清华大学 ,北 京 1 0 8 0 0 4)
摘 要 :文章 对微博 系统 架构进行 了介绍 ,提 出了新 产生的 问题 及改善 方案。 关 键 词 :微 博 系统;改善 方案 ;可信性
第一版微博服务一经推出,受到了中国广大网民的充分 认可,最早 的人人 网、开心网、博客和播客等各种社会 网络与交互方
式都没有受 到国内大众 的广泛参与,而微博这个 新事物 ,以它小巧灵便 、快捷 时尚的身姿挤入了继 Q Q、飞信后,国人参与人数
最多的网络服务。随着用户迅速攀升,原先 的 L MP架构已经不堪重负,最初的微 博发放 的推拉模式也受到了挑 战。 A
‘ \ \
旺三圊 E三 五 回 臣三
据 ,更 新的策略是 L U( 近最少使用 ) R 最 ,以及每 个 K V对的 有效时限。K V对存储有效 时限是在 me 由 A p 置并作为 端 p设
参数传给 ms 的。同时 m 采用是 偷懒替代法,HS s I 不会 开额外 的进程 来实时监测过时的 K V对并删除 ,而是 当且仅 当,新来

图1 me a h 的 应 用 mc c e
需要注 意的是,Me a h d使用内存管理数 据,所 以它 mc c e
是易失 的,当服务 器重 启,或者 Me a h d进程 中止 时,数 mc c e 据便会 丢失,所以 Me a h d不能用来保存持久数据。有很 mc c e 多人都 有错 误理解 ,认为 Me a h d的性 能非常好 ,相 对于 mc c e

新浪网站分析

新浪网改版了,在愚人节这天,很有意思。

一眼看上去,疏朗了不少。

留白变大了,字体换成黑色,头顶一个搜索框,首页顶上的导航栏精简了些,边上的新浪LOGO去掉了。

嗯,对用户视觉更讨好了些。

再细看看,整个首页显示12页(按pagedown键计),比原先多了1.5页。

导航栏下最左边的广告位上移了些,也变得更醒目了。

顶上的导航栏虽然保持原有7*3的21个,但从排版上设计感更强,有种小清新的感觉。

在头条区域下方,新浪自家的几款主力产品新浪微博、新浪XX、等也则被列在一个新辟的推荐区中。

这是新CEO杜红上任管领新浪网后的第一把火。

关于这次改版,新浪内部提出来的口号是“社交化、移动化、个性化和本地化”。

新浪此前一直以“媒体属性”著称,也一直被认为囿于“媒体属性”。

在互联网资讯的稀缺时代,门户有集合流量的超强能力,但随着互联网信息几何数级爆发和变现渠道的扩展深掘,门户的纯内容价值却在不断触及天花板的同时,面临着持续稀释的风险。

仅仅依赖优质内容资源的聚合,在眼下的时代中已经不合时宜。

单纯的资讯内容依然在廉价曲线中徘徊。

新浪不会嗅不到危机的气味。

最近数季财报,腾讯网的收入已显著赶超,搜狐的广告业务也已追了上来。

回顾自身也会发现,新浪网的广告增速也已平缓,去年四季度广告营收1.107亿美元,较上年同期增长7%。

同时,在过去增长进去平缓的平台期后,短期内新浪网的流量激增也恐非易事。

那么,新浪的难题怎么破?看来,他们选择的答案是提升效率和开辟新疆土。

简化页面、风格更疏朗等改版动作,一方面是提升用户体验,迎合使用者;另一方面也是试图提升流量效率。

横幅广告变通栏、增加大块展示广告位的视觉效果、增强体育、汽车内容的位置权重等,都是顺着这种思维做出来的。

如体育频道是新浪网传统最为强势的频道之一,新浪体育在整个门户界的流量占比超过了50%,将汽车频道与体育频道并列放置在首页的黄金区域,也是基于更为抓紧足够消费力的男性用户群体的想法。

主动定制与个性化在此基础上,数据挖掘和主动定制也能提供更强的价值挖掘通路。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
数据
• 重新思考 Rest API
• 大部分调用都是空返回 • 大部分时间在处理不必要的询问 • 无法实时投递 • 存在请求数限制( limit) (rate
如何解决
• 新一代推送接口(Stream API) (Stream • 采用推送的方式
• 有新数据服务器立即推送给调用方 • 无数据则不消耗流量 • 客户端实现更简单

数据压力及峰值
• •
将数据、功能、部署尽可能拆分 部署尽可能拆分 提前容量规划
平台化需求
• Web 系统
• 有用户行为才有请求
• API 系统
• 轮询请求 • 峰值不明显 • 用户行为很难预测
• 系统规模持续增大 • 平台化需求 • 新的架构如何设计 新的架构如何设计?
• “Break large complex systems
• 类似 mysql seconds behind master
• “Many services are written to alert
operations on failure and to depend upon human intervention for recovery, about 20% of the time they will make mistakes.
• 2. YMB is designed for wide wide-area
replication. This isolates individual PNUTS clusters from dealing with update between regions”
新推送架构
现状
• API 大部分请求都是为了获取最新
微博方案
• 通过消息广播方式将数据多地分

• 类似
Yahoo! Message Broker
• “We use YMB for replication for 2
reasons.
• 1. YMB ensure msgs are not lost
before they are applied to the db.
• •
100 万用户,10 台服务器 1000 万用户,100 台服务器
• 减少模块耦合
实时性
高性能系统具备低延迟、高实时性 高性能系统具备低延迟 实时性核心是让数据离 CPU 最近,避 免磁盘 IO
“CPU 访问 L1 就像从书桌拿一本书 L2 是 就像从书桌拿一本书, 从书架拿一本书,L3 是从客厅桌子上拿一本
memcache
• 在高并发下稳定性极大提高
高速发展
• 系统问题
• 单点故障、“雪崩 雪崩” • 访问速度,国内复杂网络环境 国内复杂网络环境
• 数据压力及峰值
• MySQL 复制延迟 复制延迟、慢查询 • 热门事件微博发表量 热门事件微博发表量,明星评论及粉丝
如何改进

系统方面
• •
允许任意模块失败 静态内容 CDN 加速
down into many services... search touches 100s of services (ads, web search, books, news, spelling correction...)”
• - Jeff Dean, Google Fellow
微博架构与平台安全
演讲者 @TimYang
微博架构发展
• 新浪微博从 0 ~ 50,000,000 用户 • 技术架构经历了 3 个阶段
第1版
技术特点
• 微博本质是解决发表 微博本质是解决发表/订阅问题 • 第 1 版采用推消息模式 版采用推消息模式,将发表/订
阅简化成 insert / select 问题

• •
解决高访问量、海量数据规模下 海量数据规模下
易于扩展、低延迟 高可用
异地分布能力
• 每天数十亿次Web Web及接口请求 • 请求内容随时变化 请求内容随时变化,结果无法
cache
• 如何扩展?
思路
• 去状态,可请求服务单元中任意节点 可请求服务单元中任意节点 • 去中心化,避免单点及瓶颈 避免单点及瓶颈 • 可线性扩展,如
房检修维护会导致服务中断
• 用户就近访问可提高速度
• 静态内容分布采用 CDN 技术,成

• 动态内容分布是业界难点 • 核心是数据的分布式存储
• 理想的分布式存储产品
• 支持海量规模、可扩展 可扩展、高性能、低
延迟、高可用性
• 多机房分布,异地容灾 异地容灾 • 调用简单,具备丰富数据库特性 具备丰富数据库特性
技术细节
• 典型 LAMP 架构 • MySQL:单库单表 MyISAM 单库单表,
• MPSS (Multi-Port Single Server) Port
快速成长
• 用户快速增长 • 出现发表延迟现象 出现发表延迟现象,尤其是明星用

架构演变
• 分发推送是造成发表延迟首因
• 模式改进
• 数据规模增大也带来一定延迟
• 规模增大:数据拆分 数据拆分 • 锁表问题:更改引擎 更改引擎 • 发表过慢:异步方式 异步方式
第2版
投递模式优化
• 推模式改进,不需要推送到所有用 不需要推送到所有用

• 存储及发表峰值压力减轻 • 投递延迟减小
数据拆分
• 优先按时间维度拆分 • 内容和索引分开存放 • 内容使用 key-value 方式存储 value
技术特点
• 低延迟,从发表到客户端接收 从发表到客户端接收1秒内完成 • 高并发长连接服务
推送架构
• 为什么先持久化
• KISS,Keep It Simple and Stupid Keep • 测试表明持久几乎不增加延迟开销 • batch insert • cursor read
内部细节
服务化
• 服务→接口 接口→应用
第3版
平台服务
• 平台服务和应用服务分开 平台服务和应用服务分开,模块隔离 • 新微博引擎,实现 feed cache 分层 实现 • 关系多维度索引结构 关系多维度索引结构,性能极大提高 • 计数服务改成基于偏移 计数服务改成基于偏移,更高的一致
性、低延迟
基础服务

接口安全
• Auth层
• 访问需要 AppKey • 需要 OAuth 授权
• 权限层
• 流量控制、权限
• 架构就是将复杂问题抽象简单并
解决
• 下一代微博架构, ,期待您的参与 • Join us! @TimYang
书,访问主存就像骑车去社区图书馆拿一本 访问主存就像骑车去社区图书馆拿一本 书。”
- 余锋 @ ecug 2010 淘宝网核心系统专家,Erlang技术专家 技术专家
微博 cache 设计
高可用
• 好的架构具有高可用性 • 业界
• Amazon S3: 99.9% • Amazon EC2: 99.95% • Facebook: n/a
• DB 冷热分离等多维度拆分 • 图片等存储去中心化 • 动态内容支持多 IDC 同时更新
高性能架构
• • •
50,000,000 用户使用新浪微博 最高发表 3,000 条微博 / 秒 姚晨发表一条微博,会被 3,689,713 姚晨发表一条微博 粉丝读到(11 月 10 日 数据)
问题本质
• 微博平台 ~ 99.95% (5 小时 / 年)
如何达到
• 容量规划
• 图表
• 监控及 admission control...
• 接口及资源监控,, 7x24 • 业务回环测试, 监测业务逻辑有效性 • 集成测试
图表
通过图表
了解系统容量
接口监控
• curl / 各地请求情况及响应时间 • 流量异常 / access log • non-200 结果 / 失败率 / exceptions • 将监控指标量化
(NoSQL)
• 索引由于分页访问 索引由于分页访问,拆分有挑战
异步处理
• 发表异步化 • 发表速度及可靠性得到提高 • 使用 MemcacheQ
• 增加 stats queue queue,适合大规模运维
技术细节
• InnoDB 引进,避免锁表烦恼 避免锁表烦恼 • PHP 中 libmemcached 代替
usually have 1 week of "on call" duty, and the other 5 weeks are spent making improvements to make the on call portion more optimized, automated, and trouble troublefree”
• •
- Tom Limoncelli @ Everything Sysadmin Lumeta Corporation Corporation总监,贝尔实验室专家
微博系统运转依赖大量自动化工具 工具在持续改进并增加中
• 高可用性还有异地分布的需求 • 在国内网络环境下 在国内网络环境下,IDC 灾难、机
分布式存储 需要解决多对多的数据复制同步 及数据一致性
复制策略
• Master / Slave • 实现简单,master 有单点风险 master • Multi-Master • 合并多处写,异步 异步,最终一致性 • 需要应用避免冲突 • Paxos:强一致性 强一致性,延迟大
• Multi-Master • Web 应用多地区同 Buffer • 保存用户最近数据 • 保存客户端断线重连之间下行数据
平台安全
• 由于接口开放,需要防范各种恶意 需要防范各种恶意
相关文档
最新文档