7-SDCC2015-爱奇艺-王敏-爱奇艺推荐系统架构与实践
短视频推荐算法的运行逻辑与伦理隐忧——基于行动者网络理论视角
短视频推荐算法的运行逻辑与伦理隐忧——基于行动者网络理论视角短视频推荐算法的运行逻辑与伦理隐忧——基于行动者网络理论视角引言随着互联网技术的不断发展和智能手机的普及，短视频平台成为了人们获取信息、娱乐和社交的重要途径。
面对如此庞大的用户群体和海量的视频内容，短视频平台如何在众多视频中选择合适的内容推荐给用户成为了重要的问题。
为了解决这一问题，短视频平台普遍采用了推荐算法。
然而，推荐算法的运行逻辑和伦理隐忧已引起了广泛的关注。
本文从行动者网络理论视角出发，探讨短视频推荐算法的运行逻辑和其可能引发的伦理隐忧。
一、短视频推荐算法的运行逻辑短视频推荐算法的目标是根据用户的兴趣和偏好，从海量的视频中选择出用户可能感兴趣的内容进行推荐。
在运行过程中，短视频推荐算法首先依靠用户的点击行为、观看历史和点赞等反馈数据进行用户建模，通过分析用户的行为模式和偏好，为用户生成个性化的推荐列表。
其次，短视频推荐算法根据用户生成的推荐列表，从海量的视频中筛选出一些“候选集”，再根据一定的排序策略从候选集中选择出最终的推荐内容。
二、短视频推荐算法的伦理隐忧尽管短视频推荐算法在提供个性化服务和提升用户体验方面有着显著的优势，但其运行逻辑也存在一些伦理隐忧。
1. 信息过滤的风险短视频推荐算法根据用户的行为和偏好过滤信息、选择推荐内容，这可能导致用户陷入信息过滤的“过滤气泡”中。
即，用户只会接触到符合自己已有观点和兴趣的信息，进一步加深了用户的既有偏见，形成信息闭环。
这种信息过滤的风险对于用户的信息获取和思想意识形态的多样性具有一定的制约作用。
2. 人工智能带来的价值观偏差短视频推荐算法是由人工智能驱动的，但人工智能在决策和推荐过程中通常是基于已有数据进行学习的。
如果数据存在性别、种族、偏好等方面的偏差，算法可能会自动强化这些偏差，从而造成内容推荐的不公平性。
例如，算法可能会偏向推荐某一特定群体的内容，而忽视其他群体。
3. 隐私和数据滥用短视频推荐算法依赖于大量的用户数据，如个人信息、观看历史和社交行为等。
爱奇艺广告平台的架构设计分析
爱奇艺广告平台的架构设计分析近年来爱奇艺快速发展，优质内容层出不穷，爱奇艺广告也随之发展和壮大，广告在线服务同时服务于品牌、中小、DSP 等不同客户，形成了可以满足不同需求类型的较为完善的商业广告变现布局，广告库存涵盖视频、信息流、泡泡社交（爱奇艺的社交平台）和开机屏等多种场景。
爱奇艺效果广告是2015 年开始全新搭建的一个广告投放平台，随着信息流业务的增长，整个投放平台也经历了一次大的架构调整和多次重要的升级优化。
爱奇艺广告投放平台的概要架构如下图所示。
本文主要介绍在线服务相关的内容，在线投放服务即图中虚线所框出的部分，主要包括在线的投放和计费服务。
架构背后的业务需求架构肯定是为业务需求而生的，先来看看我们面对的业务需求及其特点。
爱奇艺效果广告投放平台目前采用代理商模式，平台主要满足两大类业务需求：面向代理商（广告主）的和面向产品及运营团队的需求。
具体来看看。
1、面向代理商的需求：本质上是要帮助代理商降低转化成本∙支持多种广告位：贴片、暂停、浮层、信息流、视频关联位和推荐位等∙支持多种结算类型：支持CPC、CPM 和CPV 等广告结算类型，oCPC 结算方式在规划中∙丰富的定向功能：常用定向维度（平台、地域等）及人群精准定向（地域定向- 支持区县级别、人群属性定向和DMP 人群定向），关键词定向∙灵活的排期及预算设置：支持分钟粒度的排期设置，支持日预算的任意增减∙特殊的业务功能：广告去重功能、动态创意、创意优选和平滑消耗等，都是为了提升广告的转化效果∙频次控制：避免对相同用户短时间的大量曝光2、面向产品及运营团队：主要是提升产品控制能力，促进整体系统的良好运转∙流量控制：通过黑白名单控制某些流量上不可以/ 可以投放哪些广告∙AB 测试功能：影响较大的功能全量发布之前需要进行AB 测试以确认效果符合预期∙计费相关：延迟曝光不计费，曝光、点击异常检测及过滤∙负反馈：根据用户反馈自动调整广告投放策略优化用户体验，同时也是对广告主的一种制约从上面描述的业务需求可以看出，业务的特点有：1.业务逻辑复杂：流程包括很多环节（场景信息获取，广告召回，预算控制，频次控制，点击率预估，创意优选，平滑消耗，广告去重，结果排序，结果筛选，概率投放，AB 测试）；下图中绿框的部分仅展示投放服务的主要流程：2.业务变更非常快：平均每周5 次的系统功能变更；3.广告主数量多，订单量大，订单平均预算较小，并且订单设置会频繁变化。
爱奇艺分布式服务框架-Solar
负载均衡
• 静态负载均衡 VS 动态负载均衡
• 针对不同的连接共享策略
• 启发式负载均衡 – 不考虑服务端状态
• 随机 • 轮询 • 最近最少访问 • 根据业务进行定制
• 考虑服务端真实负载的策略
• Solar借鉴了Finagle的使用接口和实现
异步
• Solar异步接口
异步
• 调用DAG编排：parallel, sequence, etc.
Parallel
Future Future Future
Future
Result
Sequence
Future
Future
Future
R务，并入爱 奇艺
9月2日 爱奇艺移动端流量首次超过 PC端，成为中国视频发展的 标志性事件
11月19日 小米科技以3亿美金入股爱 奇艺，成为爱奇艺第二大 股东
爱奇艺五年闪耀， 持续领跑视频行业体验革命， 力求超越突破、赢在创新！
爱奇艺 – 用户数据
• 服务端
• 总体QPS、及各服务QPS监控 • 慢调用数目 • 各服务调用错误数
• 客户端
• 响应时间分布 • 连接失效次数
总结 & 未来工作
• 总结
• 可扩展的RPC服务框架、异步、多协议 • 多种负载均衡、服务规避策略 • 统一的服务管控平台 • 实现了基于Docker的弹性伸缩方案
QAE
Guardro
Autocaling
QAE API
QAE Web
Docker
Docker
Docker
Docker
爱奇艺媒介分析
营销策略分析
3.网台联动
以“网台联动”跨媒介的创新营销模式，取得了网台共赢的佳绩。 （例：是2012年奇艺与浙江卫视强强联手推出的《中国好声 音》），迅速掀起一股热潮，得到观众和网民的良好反响，《中 国好声音》不但“唱响”了浙江卫视，也让爱奇艺用户量夺得同 行业第一。
营销策略分析
4.搜索精准营销
定位选择
与PPS合并前： 定位于以影视内容为主的长视频平台； 与PPS合并后： 定位于综合性的新主流视频媒体 。
竞争对手优势：
•优酷、土豆等模式：正版/UGC/自制，广告为收入模式， 流量极大 •搜狐高清手握大量现金流 •迅雷看看客户端捆绑迅雷，安装量极高 •乐视网A股上市，业务以版权分销为主，版权分销占垄 断优势
营销策略分析
1.大剧营销
爱奇艺虽然资金压力小，但却始终坚持采购最核心的版 权内容、生产最有影响力的自制节目，循序渐进地进行 内容的布局。 如今，爱奇艺的专业频道，已覆盖网民的喜爱的内容。 在内容架构上，爱奇艺根据目标市场的兴趣习惯精准投 放，90％以上是影视剧长视频，10％的短视频也是与长 视频有关的娱乐新闻、明星报道等。
机遇
•根据“数字100”市 场研究公司关于用户 对视频网站品牌感知 的调查，爱奇艺在用 户的心中已经形成了 相对独特的、差异化 的形象。
•爱奇艺在创新、年轻、 追求品质、页面干净、 适合白领癿、有个性 等方面形象表现突出。
机遇
• 发展到2010年，中国的网络视频市场已经具备了正版高清模式 快速发展的土壤，用户规模和盈利模式都在成熟。未来几年将继 续保持快速增长，至2014年6年，网络视频用户规模已达到4.39 亿。并且这个数字还会继续增长。 • 此时，用户上网看视频的习惯已经培养完成。据资料显示，预计 在未来几年中，我国视频行业还将继续保持年增长60%以上的速 度，广告收入也将非常可观。 • 至此，制约网络视频行业扩张的三大瓶颈，即用户规模、广告成 长和正版环境均告突破。奇艺选择了正确的进入时间和正确的进 入方式。
基于人工智能的电影推荐系统
基于人工智能的电影推荐系统人工智能技术不断发展，已经广泛应用于各行各业。
其中，电影推荐系统是人工智能技术在娱乐领域的一种重要应用。
随着影片内容不断增加，人们往往会感到困惑，不知道该选择哪一部电影来观看。
而基于人工智能的电影推荐系统能够根据用户的兴趣、历史观影记录等因素，为用户提供个性化的电影推荐。
本文将介绍基于人工智能的电影推荐系统的原理和应用。
一、原理基于人工智能的电影推荐系统利用了自然语言处理、机器学习、数据挖掘等多种技术，通过分析用户的兴趣，挖掘用户的行为和社交数据，建立用户画像，构建模型，最终给出个性化推荐。
具有以下几个环节：1.用户画像建立通过收集用户的性别、年龄、职业、地理位置等信息，以及用户的历史观影记录、用户评分、用户浏览记录等，建立用户画像，提取用户的关键信息。
2. 基本特征提取对用户画像中的数据进行处理，提取用户的基本特征，包括属性、行为、评分等。
3. 个性化特征提取在基本特征分析的基础上，进一步挖掘用户的更加个性化的特征，例如用户已经看过的电影类型、语言、导演等因素，从而更能反映用户的兴趣。
4. 基于算法的推荐传统推荐系统算法通常包括协同过滤算法、内容过滤算法和混合过滤算法。
基于人工智能的电影推荐系统还引入了深度学习算法、自然语言处理算法等技术，以提升推荐效果。
5. 结果展示将用户订单和历史数据存储在一起，并显示相应的推荐结果，为用户提供个性化的推荐服务。
二、应用基于人工智能的电影推荐系统的应用十分广泛，不仅可以用于在线影院，也可以用于各大O2O平台的电影推荐服务。
1. 在线影院基于人工智能的电影推荐系统可以为在线影院提供优质的影片推荐服务。
通过对用户的历史观影记录、评分记录、用户画像等数据进行分析，推荐符合用户兴趣爱好的电影，提升用户观影体验。
2. O2O平台随着互联网技术的日益普及，各大O2O平台也开始提供电影推荐服务。
基于人工智能的电影推荐系统可以为这些平台提供更加精准的推荐服务，为用户提供娱乐休闲方面的服务。
爱优腾竞品分析：三大视频平台如何布局？
爱优腾竞品分析：三大视频平台如何布局？当前的网络视频市场，从内容基础、变现渠道、用户资产、技术支撑和生态布局上看，爱奇艺、腾讯视频和优酷三家鼎立，各有特色，布局上也各有不同。
一、市场分析1.1 泛娱乐行业分析随着我国居民收入水平提升，国民在文化娱乐方面的消费能力不断提升。
同时，智能技术和通信基础设施也助力文娱产业数字化的发展。
用户的内容消费习惯逐步养成，泛娱乐内容的消费潜力正逐步释放。
根据易观千帆报告显示，我国预计在2020年的泛娱乐核心产业规模达到9276.38亿人民币，增长速度保持在12%上。
但由于当前泛娱乐产业的生产与创新能力的发展速度不匹配，观众容易审美疲劳，增速逐年放缓。
而在泛娱乐细分市场上，游戏、影视和动漫行业占据主要市场，且增长速度较快。
其中，影视行业拼接扎实的市场基础，成为泛娱乐产业的第二大细分市场，未来规模增速较快。
在用户规模上，由于视频和音乐的内容获取门槛低，更加大众化，用户规模较大。
游戏行业虽然发展得较晚，但用户规模已经趋于稳定。
文字和漫画作为IP产业链的源头，扮演者重要的角色。
作为强流量入口，目前以爱优腾为代表的头部综合视频平台已经构建了以影视内容为核心、衍生内容为辅助的生态布局。
在泛娱乐产业链上，一方面，视频平台通过挖掘阅读/动漫平台所培育的IP进行运营，放大内容的影响力；另一方面，通过游戏、衍生品、电商等进行IP的变现，成为生态型厂商。
在生态布局上，视频平台已经串联了涵盖视频、直播、短视频、线下的家庭娱乐硬件市场等多个泛娱乐领域，通过生态化战略布局构建市场竞争壁垒。
未来网络视频市场的竞争，将是以内容为基础的生态之间的竞争，以优质内容为底层根基，围绕用户生活场景，满足用户娱乐多样化需求。
1.2 网络视频市场分析2017年以来，为消除视频市场竞争带来的负外部性，政府主管部门从视频内容价值导向、从业人员等方面对视频内容的监管频频出手。
更强的监管机制，促进了市场运作机制的健全和顺畅发展。
爱奇艺产品介绍
组图
Feed流区
产品位置说明
首位（固定位）大图广告位 推荐页第四屏、电影第六屏、电视剧第二屏
真信息流：热点、资讯、娱乐、搞笑、母婴、片 花、原创、生活、音乐、时尚、汽车、旅游、科技、 财经、军事、健康，游戏，共计17个频道中，原来 每刷新正4位展示真信息流广告，位置调整为每刷 新正3位展示
JPG或PNG，80K以内， 图片大小300*170 出现位置：“热门视频”上方或“订 阅了***还订阅了”上方
产品样式-3：视频关联位信息流
通栏模板
图文模板
产品特点
海量曝光、源自每一次播放 半屏试看、强效曝光 内容定向、提升转化
产品要素
竞价模式：CPM/CPC 素材格式：JPG/PNG格式 通栏模板： 640*120 20K以内 图文模板： 200*120触达，定向精准， 效果显著的广告投放。
目录
1
爱奇艺简介
2
爱奇艺产品矩阵
3
爱奇艺推广案例简析
4
投放规则简介
品效合一的产品矩阵
关联 信息流
资讯 信息流
频道 信息流
效果转化
搜索 信息流
原生 信息流
视频5S 前贴
视频 浮层
品牌曝光
……
暂停图
产品要素
₯ 竞价模式：CPM、CPC ₯ 素材格式：三方图固定模板 ₯ 格式要求：JPG或PNG，80K以内 ₯ 尺寸：300*300 ₯ 文案：20字以内
8、资讯信息流：爱奇艺头条APP
爱奇艺头条APP各频道页feed流中
产品特点
1、首支广告展示位置为第4条，每隔7 条普通内容插入一条广告 2、当前版本仅支持图片广告 3、推广目标=网站或APP
爱奇艺SWOT分析
运用SWOT分析法，对爱奇艺视频网站进行市场环境分析，并提出相应的对策。
爱奇艺背景介绍：爱奇艺，原名奇艺。
2010年4月22日，奇艺正式上线，2011年11月26日，奇艺正式宣布品牌升级，启动“爱奇艺”品牌并推出全新标志。
爱奇艺创始人龚宇博士担任CEO。
自成立伊始，爱奇艺坚持“悦享品质”的公司理念，以“用户体验”为生命，通过持续不断的技术投入、产品创新，为用户提供清晰、流畅、界面友好的观映体验。
2013年5月7日百度收购PPS视频业务，并与爱奇艺进行合并。
市场环境分析：S （strengths）优势：一、定位优势：爱奇艺品质、青春、时尚的品牌调性深入人心，网罗了中国最广大的年轻用户群体。
爱奇艺打造涵盖电影、电视剧、综艺、动漫在内的十余种类型的中国最大正版视频内容库，并通过“爱奇艺出品”战略的持续推动，让“纯网内容”进入真正意义上的全类别、高品质时代。
同时，作为中国付费用户规模最大的视频网站，爱奇艺倡导“轻奢新主义”的VIP会员理念，主张人们对高品质生活细节的追求，坚持为广大VIP会员提供专属的海量精品内容，极致的视听体验，以及独有的线下会员服务。
二、流量优势：并且相比于其他网站来说，爱奇艺有着自己先天的优势，背靠百度这棵大树，着实给爱奇艺的成长带来了不少便利。
据了解，爱奇艺有超过六成的流量来源贡献自百度。
这一点其实体现的非常明显，无论在百度搜索任何电视剧电影，排在搜索结果第一位的永远是爱奇艺，加上百度自身基数庞大的流量实力，用户转移的成本可以说非常低。
三、产品自身优势：拥有自己独特的技术，例如视链技术，对影视剧中人物进行注释，幵链接至有关的信息介绍页面；片段分享，最高可戋取10分钟视频，分享到SNS及各大论坛；视链标注，精彩镜头一目了然；以及智能跳过片头片尾、关灯、记忆播放等。
W （weaknesses）劣势：一、版权压力问题：中国影视内容制作方和版权拥有方极其分散，且制作能力与国外相比较弱。
与拥有70％内容源支撑的Hulu相比，国内没有一家视频网站能够达到这样的高度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实现分布式的实时数据计算 • 视频内容相关性计算 • Online Learning
技术架构 - Offline
数据建模 •用户兴趣建模 •视频建模 •用户/视频聚类 •内容去重 推荐算法 •Item CF •矩阵分解 •基于内容的推荐 •热门视频 机器学习 •排序模型 •CTR预估
技术架构 - 上线与迭代
分布式模型特征持久化
线下推荐候选集合计算
个性化视频推送 - 在线学习
概念 • 实时采集每个样本进行训练并更新模型 优化目标： • 推送点击率 模型： • Logistic Regression 算法： • 在线梯度下降(OGD) / 随机梯度下降(SGD) • Follow-The-Regularized-Leader (FTRL), Google 2011
算法优化：
理论支持 线下测试 在线A/B测试 全量上线
测试失败
Agenda
• 推荐系统@爱奇艺 • 推荐系统与大数据 • 技术架构 • 实例介绍
实例介绍 – 私人影院
私人影院
2014年12月上线，与旧版电影首页相比
人均电影 播放量提 高60%
人均电影 播放时长 提高65%
视频点击 率提高 200%
爱奇艺推荐系统架构与实践
王敏 2015-11-21
关于爱奇艺
• 1.5亿独立用户 • 1.8亿独立设备 • 1.9亿小时视频观看时长 • 11亿次视频观看次数
Agenda
• 推荐系统@爱奇艺 • 推荐系统与大数据 • 技术架构 • 实例介绍
推荐系统@爱奇艺
• 全端智能化推荐战略
• 个性化推荐 • 相关推荐
技术架构 - Nearline
用户行为收集
• 从日志服务器收集用户行为 • 基于Apache Flume进行读取分发
用户行为分发
• 近在线部分将事件发送给Kafka • 离线部分将数据存储到HDFS
技术架构 - Nearline
基于Kafka + Storm
• 高稳定性 • 高实时性 • 高并发度
私人影院
基于用户 深度挖掘 的个性化 推荐 高互动性 和高定制 化
智能生成 的口语化 电影主题
家庭成员 Profile化 浏览
私人影院
用户
主题Байду номын сангаас
智能电影主 题生成算法
精准用户和 会员模型
算法
机器学习和 数据挖掘
电影个 性化推 荐
私人影院 – 主题
电影标 签分类
句法分 析
二战时期的 关于军事的 悲剧电影
• 基于HDFS的数据仓库 • 类SQL查询语言
推荐系统与大数据 – 数据流
Flume
• 高可用的，高可靠的， 分布式的海量日志采 集、聚合和传输
Kafka
• 分布式消息队列 • Push & Pull
Storm
• 实时计算框架
Agenda
• 推荐系统@爱奇艺 • 推荐系统与大数据 • 技术架构 • 实例介绍
技术架构
• 一个好的推荐系统
快速处理新 增数据和实 时交互
分析处理海 量数据
灵活加入和 迭代各种推 荐算法
低延迟响应 高QPS的推 荐请求
技术架构
技术架构- Online
服务引擎 • 高并发、低延迟、高稳定 • Load Balance / Scalability 在线计算 • 数据缓存 – Couchbase / Redis • 数据加载和更新 • 运算和预测
• 2014年6月 • 业界第一个个性化的H5网页端
推荐系统@爱奇艺
• 2014年12月 • 业界第一个“私人影院”
推荐系统@爱奇艺
• 2015年7月 • 业界第一个个性化的移动APP客户端
Agenda
• 推荐系统@爱奇艺 • 推荐系统与大数据 • 技术架构 • 实例介绍
推荐系统与大数据
• 基于爱奇艺云平台
推荐系统与大数据
整个推荐系统的底层运转和计算大量依赖于 Hadoop生态系统
计算 • 超过20000个 MapReduce 任 务 • 超过100个 Spark任务 存储 • 超过200TB HDFS存储 • 超过20TB Hbase使用 • 每天新生成数 据超过1TB 数据流 • 处理超过 500GB的数据 流 • 处理超过10亿 条消息
个性化视频推送
主要产品： • 手机端消息推送服务
难度和挑战：
• Context-aware • 个性化 • 实时计算
个性化视频推送
效果对比：
• 日活跃用户同比增加 46% • 日客户端开启次数增加50%
个性化视频推送
在线
实时用户行为和上下文收集
计算最佳推送时间和推送结果
近在线
推荐模型的实时学习和更新 离线
• 覆盖所有终端的数十种产品形态
• 日均贡献3.5亿vv
• 占爱奇艺全站流量30%
推荐系统@爱奇艺
• 个性化推荐
• 首页推荐/主题推荐/个性化push
推荐系统@爱奇艺
• 相关推荐
• 联播推荐/相关推荐/协同推荐
推荐系统@爱奇艺
• 2013年7月
• 业界第一个个性化的视频客户端
推荐系统@爱奇艺
推荐系统与大数据 - 计算
Map Reduce
Spark与推荐算法
• 基于内存的数据缓存和计算
• 基于RDD的数据集逻辑结构 • Scala简洁的基于函数式的编程体验
Spark
推荐系统与大数据 - 存储
HDFS
• 分布式文件系统
HBase
• 分布式Key-Value • Schema Free
Hive
私人影院 – 算法
基于Spark的模型训练和计算 • 协同过滤 • ALS • Item neighborhood based • 内容相似度和个性化计算 • 主题、视频聚类 • Learning to Rank • Logistic Regression • RankSVM
实例介绍 – 个性化视频推送
关于社会问 题的伦理电 影
30万 主题
关联规 则
维多利亚时 代的震撼人 心的电影
适合18岁以 上观看的暴 力惊悚电影
尼古拉斯· 凯 关于父亲的 奇主演的动 温暖家庭电 作大片 影
DAG语 法图
私人影院 – 用户
我们了解每一个用户 • • • • • • 口味 观影偏好 性别 年龄 好友关系 观影时间、地点