视频网站优酷的技术架构揭秘
视频网站案例分析:优酷网

视频网站案例分析:优酷网视频网站案例分析:优酷网【摘要】视频网站崛起于互联网时代,它的诞生为互联网带来了一次革命,同时它自身的发展也带着互联网深深的烙印。
本文以优酷网为例,分析其盈利模式及其存在的不足之处,并对其将来的发展提出一定的建议。
【关键词】视频网站,优酷,盈利模式目录1视频网概况 (4)2 优酷网分析 (4)2.1 优酷网简介 (4)2.2优酷网盈利模式 (5)2.3优酷网发展问题 (8)2.4优酷土豆合并带来的转机 (8)2.5未来的发展方向 (9)参考文献 (11)1国内视频网站概况网络视频是一种以网络为载体,通过视频形式来进行个人、公共或商业行为的信息交流方式。
我国的在线视频网站大致可以分为三大类:一是视频搜索类,如百度视频搜索、新浪视频搜索等。
这类网站可将发布的视频内容制作成网页供搜索引擎索引擎;二是视频点播类,如PPlive、PPstream等,由网站提供视频内容,用户可根据网站提供的列表点播自己想看的内容;三是视频分享类,如土豆网、优酷网等,这些网站的视频内容主要由网友上传到网站服务器与他人共享。
2 优酷网分析2.1 优酷网简介在线视频网站优酷网由古永锵于2006年6月创立,优酷网定位为用户视频分享服务平台,以视频分享为基础,开拓三网合一的成功应用模式,为用户浏览、搜索、创造和分享视频提供最高品质的服务。
2010年12月8日,优酷网于在美国纽约证券交易所挂牌上市。
2012年3月12日,优酷股份有限公司和土豆股份有限公司共同宣布双方于3月11日签订最终协议,优酷和土豆将以100%换股的方式合并。
2012年8月20日,双方在香港召开股东大会通过了该次合并方案,战略合并后,仍保留优酷网、土豆网两个品牌。
经过多年的发展,优酷的内容策略目前由三大模块组成:1)UGC内容,即用户自主上传的内容,包括拍客、用户拍摄视频等;2)版权内容,包括电视剧、电影、新闻资讯、综艺节目、音乐、体育等;3)优酷自制内容,包括网剧、访谈、直播、真人秀、综艺节目、优酷事件等。
优酷网的优势与劣势

优酷网的优势与劣势优酷网优势分析:1、从网站自身利益的角度考虑:a.优酷的知名度在国内同样的视频网站中是排名第一,体现在:中国网络视频行业各家企业占有份额中优酷网占52.3%,酷6网占10.7%,土豆网占9.7%和其他网站的27.3%。
b.网站的盈利方式多样化。
网站主要通过提供广告平台盈利,收取各种类别的较高的广告费用。
并且通过服务功能、搜索功能、增值业务、付费游戏等进行收费。
实现盈利渠道多样化。
2、从网站技术分析a、完善的技术保障下实现流畅观看,产品建设中重视用户感受,优酷网突出简单易用的显著特色,确保用户享受到:b、最快速的视频播放:优酷网首创多运营商多节点网络布局,在50G带宽储备保障上,发挥视频短片快速播放的特点;c、最快速的视频发布:24小时全天候服务保障热点资讯、网友作品发布,随时随地走在视频文化前沿阵地;d、最快速的视频搜索:在自主研发的定向搜索技术和海量数据精准处理模式支持下,达到便捷的专辑分类交叉搜索。
3、从网民的角度分析a.优酷网站的视频内容丰富,视频内容涵盖电影,电视剧,综艺,音乐等,满足网民们各个方面的需求。
b.在线观看方便,有辅助工具IKU,可支持网络视频缓冲加速,可支持视频下载。
只需免费注册账号即可。
c.视频内容具有时效性。
特别是新闻视频。
优酷能够以最快速度更新新闻栏目,而其他的电影和电视剧视频也能够及时的更新。
d.新闻视频能够很好地把握住热点、焦点新闻,第一时间向网民们传递信息。
e.网站对于视频的管理比较严格。
能够定期进行审核,对一些不健康的视频进行删除,确保了网络文化的安全。
f.在视频分享方面做得很到位。
优酷视频可以转帖到QQ空间,新浪微博,猫扑等著名网站上面,操作简单方便,可供网友自行选择。
g.注重顾客体验,设有观看记录,以及视频联想搜索,能够记录网民上次观看的视频时间和进度,以及根据网民观看的视频搜索出可能喜欢观看的视频。
优酷网站的劣势:a.从网民角度来说,广告管理不太到位。
优酷网商业模式分析ppt课件

6
四 . 核 心 能
力
优酷网有着不同寻找视频的 有效方法,有着最全、最快、最 好的视频数据库,有强大的资金 和技术优势做基础,充分满足了 用户日益增长的多元化互支需求。 优酷正是具备这些核心能力,才 使它成为国内视频网站中的领军
势力。
7
目前优酷网的盈利模式采用
五
视频贴片广告方式。优酷现有的
. 盈 利 模
式
广告类型有视频内广告、页面广 告、搜索广告等等。据优酷透露, 目前网站共有350名品牌广告主。
基金、风险投资也是优酷的 盈利模式。
8
六 . 管 理 模
式
出色的管理团队、专业的技 术研发人员和经验丰富的市场开 拓人员,使优酷网成为视频领域 高起点的明星型公司。
充满激情和创造力、富有 经验和高度执行力的团队凝聚在
一起,形成了十分具有战斗力的
企业。
9
当前,某些像优酷这样的在线视 频网站已经开始组建自己的视频制作 团队,开始更专业化内容建设。我认 为未来的在线视频网站大概有两个发 展方向,第一个是简单的以视频来取 代文字而重新呈现的视频门户网站;
总 第二种,则是联合其它媒体进化而成 结 的“几屏合一”的网站,用户只要登
陆网站,电视、电影、新闻、生活等 资讯就能够随心所欲地收看自己感兴 趣的东西。或许以上两个方向可能只 是发展程度的不同而呈现的不同形态, 不过可以肯定的是,信息在今天显得 越来越重要,与信息有关的产业也越 来越火爆。
10
Thank you
11
成为国内视频网站中的领军势力。
3
4
优酷网的最上层是分类区和搜索区,
分类区包括首页、电视剧、电影、综
二
艺、视频、资讯、娱乐、生活、看吧、
从技术层面分析优酷

从技术的角度看优酷人力0901班第3小组小组成员:王涵李文军李楠李昕昕王倩李毅婷王丽娟石振宇崔元庆(一)公司简介优酷网是中国领先的视频分享网站,是国内网络视频行业的第一品牌。
优酷网以“快者为王”为产品理念,注重用户体验,不断完善服务策略,其卓尔不群的“快速播放,快速发布,快速搜索”的产品特性,充分满足用户日益增长的多元化互动需求,使之成为国内视频网站中的领军势力。
2007年,优酷网首次提出“拍客无处不在”,倡导“谁都可以做拍客”,引发全民狂拍的拍客文化风潮,反响强烈,经过多次拍客视频主题接力、拍客训练营,优酷网现已成为互联网拍客聚集的阵营。
众所周知,优酷的口号是“快者为王”,即:快速播放、快速发布、快速搜索。
很多网民选择优酷正是看中它的“快”。
对于网速慢的网站,用户往往会认为是服务器负载过大、带宽不够,而要保证做到“快”,就要求有坚实的技术基础了。
很多视频网站都是在P2P传输技术的基础之上,再结合IDC运营商提供的CDN服务以保障视频的流畅传输。
然而,优酷则是拥有完全自主管理和控制的遍布全国的视频CDN网络,且很多技术都是业界独有的。
在这些自主研发技术的支持下,优酷网才能确保每一个用户都享受到最快速的视频观赏体验。
据优酷网相关技术人员介绍,“我们的视频CDN网络主要有以下特点:优酷拥有自主研发的带宽调度软件,相比一般CDN厂商广泛采用的智能DNS技术,我们的调度准确度更高,收敛速度更快,而连接错误却最少。
同时,自主研发的高性能流媒体服务器软件能保障服务器有很好的吞吐能力,与竞争对手相比,即使是同样的服务器硬件配置,吞吐量也远远领先。
此外,在独有的分布式的存储架构下,传输性能能有效的提升。
”(二)企业自身分析一、优酷网站排名以及流量情况二、技术优势在完善的技术平台支持下,优酷网已成为国内在线观看流畅率最高的视频分享网站。
由电信行业资深专业人士规划设计,针对中国复杂电信环境,精确到二级城市的流量监控和调配系统,自建与合作相结合,打造业内最便捷、最精确、最流畅的内容分发系统,保障优酷网成为国内在线观看流畅率最高的视频分享网站。
视频网站优酷(Youku)的商业模式分析

在线视频网站优酷的商业模式分析摘要:在线视频网站优酷网由古永锵于2006年6月创立,优酷网定位为用户视频分享服务平台。
2010年12月8日,优酷网于在美国纽约证券交易所挂牌上市。
古永锵用一年的时间就打造出了优酷的主梁,经过四年半以来的六轮融资,优酷从一个启动资金只有300万启动资金的网站发展成今天市值约30亿美元的公司,一个崭新的在线视频门户网站正日益壮大,这其中的商业模式和发展模式非常值得我们探讨和研究。
一、优酷的创始人优酷的创始人古永锵毕业于美国斯坦福大学。
1999年3月他加盟搜狐公司,成功地在04年担任搜狐总裁兼营运执行官。
04年末,古永锵提出离职。
他自己说了三个理由,一是陪太太到美国读书;二是长期工作之后身体需要休息;三是想换工作环境。
而幕后的主因,也许跟他和他带领下的搜狐的状况有关。
04年中后段,搜狐受到了新浪、网易等门户网站的冲击,搜狐的位置相对被动,而且古永锵身处的管理层当时被普通员工说只拍马屁等事。
这些事或许是使古永锵产生了休息和换环境的想法的深层原因,无论如何他选择了离开搜狐。
之后他开始了一段“硅谷式闭关”的旅行,三个月内走过了南美洲、大洋洲和非洲的国家。
途中的他想到,照片只能够与别人分享一瞬间的回忆与感受,无法记录下一整段回忆的美妙。
自此,“记录”成为了他重新启航的方向。
二、战略分析“用户体验”是优酷网的核心,优酷的“用户体验”建立在“内容”和“速度”上。
他们希望透过全方位的资讯吸引尽可能多的用户。
优酷采用的是Youtube+Hulu的模式,众所周知Youtube的内容提供者就是用户自己,用户自己拍摄视频记录自己的真实经历、想法、趣事等,然后上传到网站与全世界一齐分享。
而Hulu则是美国一个对用户免费的正版电视剧和电影的网站,在美国的受欢迎程度不亚于Youtube。
虽然两个公司在市场份额上竞争激烈,但他们的发展方向截然不同,Youtube的内容来自用户而Hulu的内容来自第三方制片商。
优酷网媒体结构分析

优酷网媒体结构分析作业:优酷网的媒体结构分析一、媒体性质:优酷(NYSE:YOKU),中国第一视频网站,2006年12月21日正式推出。
优酷以\快者为王\为产品理念,凭借\快速播放,快速发布,快速搜索\的产品特性,充分满足用户日益增长的互动需求及多元化视频体验,现已成为中国互联网领域最具影响力、最受用户喜爱的视频媒体。
2022年起,优酷带动行业开启视频行业营销元年,并充分发挥视频特性,通过特有的创意呈现形式,巩固了营销传播影响力,强化了产品销售力,优酷作为中国互联网营销领域最具传播价值的代表,成为视频营销第一选择。
2022年12月8日,优酷在美国纽约证券交易所上市,成为中国第一家在海外规模上市的视频网站;也是全球首家独立上市的视频网站。
二、媒体特性:1.从所有制方面看,优酷属于与私营。
2.从与政府或执政党关系来看,优酷属于独立的新闻媒介,政治上标榜客观中立。
3.从阶级性来看,其属于无产阶级的新闻媒介。
三、媒体个性:优酷坚持依循高端、大气的品牌路线,以\合计划\为导向,联手众多合作伙伴展开资源整合和内容拓展,充分借鉴跨平台媒体运作经验,利用视频媒体独特的属性开创\网台互动\传播模式,不断响应行业及网民诉求,推动网络视频行业主流化进程。
此外,优酷还是惟一一家获得广电双证的商业网站,成为正版影视节目发行、传播和营销的合法平台。
四、受众定位:由于优酷网是一个视频网站,因为它的受众可以是很广泛的群体。
就目前看来,它的受众群体的年龄层集中在10-65岁,并随着科技的进步和人们知识面和技能的提升,它的受众群也在逐渐扩大。
五、经营方式:优酷不断实践\三网合一\的使命,现已覆盖互联网、电视、移动三大终端,兼具影视、综艺、资讯三大内容形态,贯通视频内容制作、播出、发行三大环节,成为真正意义的互联网电视媒体,影响视频行业格局及全媒时代的大格局。
优酷专注发展主流大气的内容平台定位和专业化的频道运营战略,海量视频库实现垂直定向分类检索,引领互联网视频时代资讯、影视、娱乐综艺潮流。
优酷网的分析-很详细到位-好资料免费分享
优酷网优酷网是如何做网站推广的?谈谈我最喜欢的视频分享网站“优酷”,也是各方面做得最面面俱到的一个视频分享网站。
一:对优酷的最初印象记得在06年的时候,那时候无意中点进优酷网,当时还不太懂什么是视频分享网站。
只是觉得优酷这网站有来头,一个新网站,上面有不少原创的明星采访视频。
后来的张钰事件,让我进一步了解到了优酷网。
当时以这个事件为题材,我还写了篇“从张钰事件谈谈如何抓住热点视频做流量”的文章,抓住了当前的这个事件热点,这篇文章在网上传播也很广。
06年时候优酷,给我的感觉还是很中庸的,有优点有缺点。
其中最大的一个缺点是,当时优酷的视频分享代码地址非常的长,当时我的动漫论坛(用的动网程序)都无法转载。
对早期优酷的视频在论坛的传播有一定的影响,但是这个问题没多久他们就解决了。
记得那时候我问了几个做视频分享网站的朋友,问他们比较欣赏业内的哪个竞争对手。
其中有两个朋友回答的都是优酷,说优酷的团队够职业,让我印象深刻。
二:优酷网的使用体验其实我一直觉得做视频类网站,要留住用户,主要是要把握两个关键,1是视频速度要快(不要看一个小时的电影,就要缓冲1个小时)。
2是视频内容要全(什么热门的电视剧电影都能找到)。
我觉得只要这两点做到了,其它再好的产品功能也就是锦上添花。
才开始接触视频分享网站的时候,我也没固定去哪个视频分享网站观看,只是不停的寻找不怎么需要缓冲的视频分享网站。
当时我在北京用的是“电力宽带”,总之就是不怎么稳定速度也不怎么快的网络。
有时候为了看一个视频,要去多个视频网站测试,看在哪里不用缓冲。
后来发现大部分时间在优酷网观看都不需要缓冲,而且视频内容也非常全,慢慢的我就成为了优酷网的忠实用户。
后来不管我在老家用电信或者在北京换成了网通和长城宽带,如果只有一个视频分享网站不会缓冲,那总是优酷网。
这也是自己为什么喜欢优酷的主要原因。
说说优酷的内容,记得在前公司做视频搜索的时候,领导给了我一个任务,就是每天打开几个主流播客网站的首页,看他们头条的视频是什么,首页内容更新频率是多久,分析下哪家的视频头条更抓住了当前的热点,抓住了用户的眼球。
分析优酷网
• • • • • •
• •
优酷的危害
• 优酷网以 “快者为王”为产品理念, 其卓尔不群的“快速播放,快速发布,快 速搜索”一直占据中国第一视频门户宝座, 但其所有视频分辨率极低,用户体验极差, 对用户视力危害极大! 所采用技术即使上 传高清视频,到了优酷立马变成速度第一 的普通查报用户喜爱,在品牌认知度方面领先于同行业其他网站;同年8月29日, 优酷网入选 “2007年度Red Herring最具潜力科技创投公司亚洲百强”称号,成为唯一 获此殊荣的视频网站。 截至2007年11月,优酷网成功完成共计4000万美元的世界级风 险融资,其中包括国际性投资机构贝恩资本集团旗下的Brookside Capital LLC、硅谷 历史最悠久的风险投资公司、世界上最大的投资基金之一的Farallon Capital和中国本 土唯一的常青基金等四家投资机构。在亿元资金的雄厚支撑下,优酷网将迎来更具规 模的行业发展,呈现更完善的视频时代的互联网应用。[1]优酷网以视频分享为基础, 开拓三网合一的成功应用模式,为用户浏览、搜索、创造和分享视频提供最高品质的 服务。 优酷网是对古永锵诠释的“微视频”概念的全面演绎。关于“优酷”这个网名的 由来,古永锵谈到:“优,代表服务品质,优酷倡导一种精品视频文化,让精品内容 浮出水面,让用户价值充分展现;酷,代表用户体验,第一时间品味独特的视频自助 餐,满足人人参与的热情与个性化生活方式的表达。”在优酷你可以最快、最方便地 浏览、上传、搜索、分享丰富多彩的微视频内容。与播客有所不同,优酷不一定只有 原创才能登台表演,无论业余或专业,无论个人或机构,优酷欢迎一切以微视频形式 出现的视频收藏、自创与分享。据优酷网产品负责人介绍,优酷是国内首家为微视频 免费提供无限量上传与存储空间并具备个人发起视频擂台及评分系统的网站;区别于 某些网站的视频堆积,优酷注重利用多纬度的TOP排名、频道分类索引、标签、个人 发起擂台、视频俱乐部等有效手段,兼顾技术搜索功能与人气推荐手段,最大化发挥 C2C内容聚合与推荐的力量,帮助用户迅速找到喜好的视频和感兴趣的社区,让用户 “看得爽、找得快、传得广、比得酷”。优与酷的融合,势必会吸引大批崇尚自由创 意、喜欢收藏或欣赏微视频的网民。优酷的目标人群归属和分众聚合力将为优酷未来 的商业价值创造无限可能,也为传统媒体的发行和推广提供新的平台。在未来的发展 中,优酷平台产生的合作方式将会是多种多样的。“‘世界都在看’是优酷积极提倡 的全新网络生活方式”,古永锵兴奋地谈到,“我们要为网民打造的是一个微视频博 览会、微视频精品库,也是一个视频体验的世界,创作、交流、推荐、分享,在优酷, 以视频语言表达自我、分享世界。”
视频网站优酷的技术架构揭秘
视频网站优酷的技术架构揭秘八月 11, 2011 by Eugene·Leave a Comment概述优酷作为一家大型视频网站,拥有海量播放流畅的视频。
我们秉承注重用户体验这一产品技术理念,将绝大部分存储用在视频资源上。
通过建设专用的视频CDN,建立了可自由扩展、性能优异的架构,在提供更好用户体验的同时优化了存储资源。
在除视频资源外的其他方面,我们也累积了海量数据:仅运营数据,每天收集到的网站各类访问日志总量已经达到TB级,经分析及压缩处理后留存下来的历史运营数据已达数百TB,很快将会达到 PB级,5年后数据量将会达到几十PB级。
如何更好地处理和分析这些海量数据,以挖掘出其中的价值?挖掘数据中的价值对企业来说,尤其是对于为用户提供服务的行业,仅提供基础服务已经越来越难应付日趋细化的商业模式。
如何为用户提供差异化的优质服务成为这类企业必须解决的问题。
而数据好比灯塔,能为企业指引前进的方向。
互联网、电信、金融等行业都在加大数据的探索及应用力度,这为企业创造了可观的经济效益。
对优酷而言,通过用户的每次播放流程,我们都对页面浏览、评论收藏、视频播放以及播放时的各种操作进行了记录。
经处理后的分析结果会反馈给不同的业务模块,对包括产品、内容运营、用户的个性化推荐及广告投放等方面的提升,都起到了关键作用。
网站页面、客户端的UI/UE的设计及效果,都需要数据进行支持。
通过A/B测试系统,我们收集到用户对不同UI下的操作反馈,进而评估UI的改变对用户的影响。
内容方面,通过对用户网络情况的统计:每次播放是否发生了缓冲,平均下载速度是多少等,进行实时的统计和计算,获取每个地区每个运营商下用户的加载表现,以此来决定CDN节点的分布和分配策略,为不同地区、不同运营商的用户提供清晰流畅的视频服务。
在推荐方面,通过对大量视频播放行为的分析,归纳不同时长、不同类型、不同内容的视频之间的相互关联,挖掘不同人群用户的同质化观看习惯,对每次用户的观看进行有针对性的后续推荐,并借助后续数据的分析,迭代地改善现有服务,为用户提供量身定制的推送服务。
优酷网案例分析
优酷的首页
关于“优酷”这个网名的 由来
• 优,代表服务品质,优酷倡导一种精品 视频文化,让精品内容浮出水面,让用 户价值充分展现 。
• 酷,代表用户体验,第一时间品味独特 的视频自助餐,满足人人参与的热情与 个性化生活方式的表达。
优酷网的基本信息
• 优酷网是中国领先的视频分享网站,是中国 网络视频行业的第一品牌。优酷网以 “快者 为王”为产品理念,注重用户体验,不断完 善服务策略,其卓尔不群的“快速播放,快 速发布,快速搜索”的产品特性,充分满足 用户日益增长的多元化互动需求,使之成为 中国视频网站中的领军势力。
资金优势
团队优势 技术优势
核心优势
合作优势
产品优势
用户优势
品牌优势
1、资金优势
• 优酷网拥有世界级的风险投资支持,是国内视 频领域屈指可数的获得1亿元人民币以上投资 的网站之一。投资方包括硅谷历史最悠久的风 险投资公司Sutter Hill Ventures,世界上最 大投资基金之一、目前全球管理资金超过160 亿美元的Farallon Capital,还有中国本土唯 一的常青基金Chengwei Ventures。这些投资 机构实力强劲,其共同特点是资金雄厚,具有 远见卓识,为优酷网稳健、有序的长远发展战 略提供了充足的弹药。
优酷网的主要内容来源
• 第一,注册用户上传的内容。作为视频分享网 站,优酷网视频内容的重要来源就是网民原创。 注册用户将拍摄的视频文件上传供大家分享, 上传的视频内容丰富,原创作品层出不穷。通 过原创剧的形式,不仅可以满足网民的观看习 惯,也使得各种视频营销手段都能通过视频传 播得到有效实现。但是由于用户知识层次和需 求不同,一些用户制作的内容过于低俗和粗劣, 缺乏一定的社会价值,上传的内容影响网站整 体质量。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
视频网站优酷的技术架构揭秘
八月 11, 2011 by Eugene·Leave a Comment
概述
优酷作为一家大型视频网站,拥有海量播放流畅的视频。
我们秉承注重用户体验这一产品技术理念,将绝大部分存储用在视频资源上。
通过建设专用的视频CDN,建立了可自由扩展、性能优异的架构,在提供更好用户体验的同时优化了存储资源。
在除视频资源外的其他方面,我们也累积了海量数据:仅运营数据,每天收集到的网站各类访问日志总量已经达到TB级,经分析及压缩处理后留存下来的历史运营数据已达数百TB,很快将会达到 PB级,5年后数据量将会达到几十PB级。
如何更好地处理和分析这些海量数据,以挖掘出其中的价值?
挖掘数据中的价值
对企业来说,尤其是对于为用户提供服务的行业,仅提供基础服务已经越来越难应付日趋细化的商业模式。
如何为用户提供差异化的优质服务成为这类企业必
须解决的问题。
而数据好比灯塔,能为企业指引前进的方向。
互联网、电信、金融等行业都在加大数据的探索及应用力度,这为企业创造了可观的经济效益。
对优酷而言,通过用户的每次播放流程,我们都对页面浏览、评论收藏、视频播放以及播放时的各种操作进行了记录。
经处理后的分析结果会反馈给不同的业务模块,对包括产品、内容运营、用户的个性化推荐及广告投放等方面的提升,都起到了关键作用。
网站页面、客户端的UI/UE的设计及效果,都需要数据进行支持。
通过A/B测试系统,我们收集到用户对不同UI下的操作反馈,进而评估UI的改变对用户的影响。
内容方面,通过对用户网络情况的统计:每次播放是否发生了缓冲,平均下载速度是多少等,进行实时的统计和计算,获取每个地区每个运营商下用户的加载表现,以此来决定CDN节点的分布和分配策略,为不同地区、不同运营商的用户提供清晰流畅的视频服务。
在推荐方面,通过对大量视频播放行为的分析,归纳不同时长、不同类型、不同内容的视频之间的相互关联,挖掘不同人群用户的同质化观看习惯,对每次用户的观看进行有针对性的后续推荐,并借助后续数据的分析,迭代地改善现有服务,为用户提供量身定制的推送服务。
数据对于优酷的广告精准投放也起到了重要作用。
优酷的广告系统支持对不同地域、频道、标签及人群等条件的定向投放。
在投放策略上,我们本着尽可能不影
响用户体验的原则,对于广告长度及投放频次都进行了限制。
虽然这给投放造成了较大难度,但通过对各种细粒度的定向条件组合历史数据进行的分析,我们在广告投放方面已经相当准确。
在投放阶段,我们实时分析用户属性、访问情况及当前广告投放量,对每次投放动态调整。
图1 运营数据处理技术架构
技术架构
下面以优酷的运营数据为例介绍我们的海量数据解决之道。
我们的运营数据包括播放、用户交互、搜索、广告等,目前总计达数百TB,它们存储在数百台服务器上。
我们主要使用的是内部专门开发的轻量级的分布式存储及数据分析框架,应用于一百台左右的服务器集群,目前仍在使用。
另外我们搭建了一个1000个Slot的Hadoop集群,并还在继续扩展。
考虑到维护成本及扩展性,未来我们会将全部业务迁移到Hadoop平台上,以降低维护成本。
另外基于 Hadoop及其上层的HBase、Hive等数据存储产品,我们会开发出一套数据处理框架,应用于整个数据处理系统。
如图1所示,根据业务类型的不同,我们收集到日志之后,按照不同时间策略先对数据进行清洗。
不失真的原始日志,按规定的格式直接以文件的形式存储在Hadoop上,数据清洗转换后的中间结果,会存储在Hive数据仓库上;而一些粗粒度的汇总数据,则写到MySQL、HBase等数据库中。
每天优酷的日常数据处理任务多达数百个,对时效性要求不同,任务的执行策略也不同。
需要准实时查询的,我们可以提供延迟10分钟的数据;其他任务也根据优先级及紧急程度安排调度,而执行中的资源的分配由系统动态调整。
NoSQL探索之路
层出不穷的NoSQL技术,无疑是现在极其热门的领域,依托高可用性、高水平扩展性、高效存取及支持MapReduce等特性使其在应对Web2.0网站时比关系型数据库更加得心应手。
目前优酷大量数据依然存储在MySQL等平台上,这是考虑到关系型数据库大都经历了长时间的实践检验,比较成熟,遵循相同标准,能获得较好的支持。
而且,主流关系型数据库也都积极尝试从海量数据等方面改进产品。
此外,NoSQL分Key-Value、document、column、图等多种类型,特性各不相同,这种总称屏蔽了彼此之间的差异;而且各NoSQL产品还在不断变化,甚至API也有所更改,这在技术掌握上及维护上成本较高,毕竟找一个懂 MySQL及SQL的开发工程师比找一个MongoDB专家要容易得多。
尽管如此,仍阻挡不住我们对NoSQL产品进行尝试的热情:一方面对不同业务应用适合的产品,另一方面对同类产品也在做评估对比。
目前优酷的在线评论业务已部分迁移到MongoDB,运营数据分析及挖掘处理我们在使用Hadoop/HBase;在Key-Value产品方面,我们也在寻找更优的 Memcache替代品,如Redis,相对于Memcache,除了对Value的存储支持三种不同的数据结构外,同一个Key 的Value进行部分更新也会更适合一些对Value频繁修改的在线业务;同时我们在搜索产品中应用了Tokyo Tyrant;对于Cassandra等产品我们也进行过研究。
可以说,我们会一直持续关注NoSQL技术,未来可能会根据需要选择合适的产品应用到实际业务中。
目前NoSQL技术依然处于发展阶段,只有少数蕴涵优秀的技术,并最终幸免淘汰,与其他数据解决方案一起生存下来,未来也许会有新的NoSQL产品出现。
开发人员,尤其是各大公司的技术团队在使用NoSQL项目的同时,根据使用经验,会对一些针对特定使用场景的特性及服务加以抽象并实现,形成类似于基于Hadoop平台的Pig这类衍生项目。
在这方面未来的发展潜力是巨大的,比如在BI领域,目前的NoSQL产品与现有BI产品几乎没有交集。
将来一些NoSQL产品应该能够通过现有主流BI产品直接访问,或者提供自己的BI模块。
类似的功能也许会形成新的标准,颠覆现有开发模式。
机遇大于挑战
海量数据时代对企业的影响,并非直接来自数据,而在于社会的飞速进步及不断涌现的商业模式。
2007年,微软CEO鲍尔默说,Google公司现在几乎是每年翻一番。
优酷从起步,到刷新5年多来美国IPO最大涨幅纪录,只用了短短4年时间。
而随着变革速度不断加快,各企业掉队落伍的可能性已明显增大。
从海量数据中挖掘潜在价值,分析行业趋势,在短时间内更新业务模式,优化产品和服务,提升核心竞争力,将是企业需要持续解决的课题。
随着数据量越来越大,并行计算得到了越来越普遍的应用,新技术的产生使得技术选择多元化,学习成本有所提高;同时,在学习之后的应用阶段,开发、测试及维护成本都大大降低,数据分析、挖掘及BI领域依旧会得到成型软件的支持。
因此,海量数据时代的技术人员,机遇反而大于挑战:一方面需要从关注开发细
节,转而关注各种新技术的特性;另一方面应该具备更深的业务抽象能力。
只有具备这样的综合能力,才能让技术发挥更大的价值。
展望
目前,企业所掌握的数据,还远没有达到最细的粒度,随着技术的发展和设备的廉价化,未来企业能够收集到的数据还将呈非线性增长。
能够为运营提供支持的新维度、新指标也会被继续发掘出来。
分析的难度随着维度和指标的增多不断加大,传统的数据挖掘及BI产品将越来越难满足需求。
在应对海量数据的计算模型方面,目前MapReduce成为主流,大多数平台和产品都在应用MapReduce。
而未来,也许会有更好的或者针对特定领域更好的计算模型出现。
目前Google在图处理方面,已在使用Pregel模型;Yahoo!也在开发新一代的MapReduce模型,以期从可靠性、可用性、可扩展性、向后兼容、延迟及集群利用等方面,对现有模型进行改进。
这类改进会进一步提高海量数据的计算效率。
并行计算及分布式系统未来的产品线应会不断丰富。
风靡一时的Hadoop并非完美,高吞吐量造成的高延迟、处理时的资源浪费等,也都会是使用者需要考虑的问题。
会不会有替代品出现,让我们拭目以待。
对于具体企业,不同企业可能选用不同的解决方案。
一些中小企业,通过购买SaaS服务,将数据提供给第三方服务商处理。
服务商通过对多家同行企业的数据分析,寻找共性,再反馈给企业为其创造更大价值,实现了平台提供者和使用者的双赢。
另外一些企业会通过租用PaaS及IaaS服务的方式,将相对不敏感的数据放到公有云上处理,以节约设备采购及维护成本。
对于企业的敏感数据,会通过建立私有数据中心,搭建私有云来处理,而同时也会考虑用公有云平台进行互补。
最终结果,数据会向一些大的节点集中,而大的节点也更有能力从掌握的海量数据中挖掘有用信息。
这些信息通用性强的部分会被共享出来,服务于社会。
对于优酷来说,仍处于飞速发展阶段,已经在考虑未来自建数据中心,提高数据处理能力,从网站的运营中发掘出更多信息,为用户提供更好的视频服务。