推荐系统最基础的简介

基于内容的推荐系统
• 核心思想:
分别对用户和产品建立配置文件，通过分析 已经购买（或浏览）过的内容，建立或更新用户 的配置文件。系统可以比较用户与产品配置文件 的相似度，并直接向用户推荐与其配置文件最相 似的产品。基于内容的推荐算法的根本在于信息 获取和信息过滤。（用户的配置文件构建与更新 是最为核心的部分之一）
C D Tau (C D TR )(C D TP )
C为系统预测正确的喜好偏序数，D为预测错误的 喜好偏序数，TR为用户打分相同的产品数，TP为具 有相同预测值的产品数
距离标准化指标
• 距离标准化指标，简称为NDPM，在推荐系统中， NDPM的核心思想为：对比系统预测打分排名与用 户实际排名的偏好关系，对基于偏好关系的度量 进行标准化，具体定义如下： 2c c u NDPM 2c i • 其中
NMAE MAE /(r
• 其中 r min 和r 和最大值
max
max
r
min
)
分别为用户打分区间的最小值
分类准确度
• 分类准确度定义为推荐算法对一个产品用户是否 喜欢判定正确的比例 • 广泛使用的分类准确度指标：准确率，召回率以 及相关的指标
N • 其中 Ns Nrs Nis ，rs 和N is 分别为被推荐产品 中用户喜欢和不喜欢的产品数
第二种：加权平均 （用户之间越相似，则用于预测的权重 越大）
基于记忆的算法
第三种：考虑用户评判的尺度不同
r c (1 / | sc |) rc, s, 其中Sc {s S | rc, s 0}.
表示该用户打过的所有分的平均值。
sSc
ˆ k=1/ | sim(c, c) | ,sim(i,j)表示用户之间的相似度。 ˆ ˆ cC 用户c的平均打分r c 定义为
4.用户满意度
用户对推荐系统的满意度不仅仅取决于系统的准确度,而 是更多地取决于系统在多大程度上可以帮助用户完成任务
2.覆盖率
覆盖率定义为可以预测打分的产品占所有产品的比例。
3.新鲜性和意外性
在这里新鲜性和意外性具有本质的不同。例如,考虑一 个电影推荐系统,这个系统只考虑用户喜欢的导演信息。 如果系统给用户推荐了他喜欢的导演执导的一个自己并不 熟悉的电影,这个电影就是新鲜的,但是并不是意外的。如 果系统推荐了一个新导演的电影,那么系统提供了一个意 外的推荐。
| via ria | c a
1
1
c
预测准确度
• 与平均绝对误差相关的其他指标有平均平方误差 （MSE）和标准平均绝对误差（NMAE）。 • 其中 MSE 1 | via ria |2 nt (i ,a )
• nt 为系统中用户-产品对（i，a）的个数 • 标准平均绝对误差定义为
分类准确度
• 另一个度量系统分类准确度的重要指标就是ROC曲 线 • 1) 确定用户对每个产品感兴趣与否。2) 根据预 测结果为用户提供一个推荐列表,从图的原点开始 ,如果预测的产品符合用户喜好,画一个竖线;如果 预测的产品不符合实际,画一个横线;如果预测产 品还没有被打分,那么抛弃这个产品,并不影响曲 线。一个最好的预测系统产生一个竖的ROC线,随 机预测产生从原点到右上角的直线。
• 根据推荐算法的不同，推荐系统可以分为 以下几类： · 协同过滤（collaborative filtering）系统； · 基于内容(content-based)的推荐系统； · 基于网络结构（network-based）的推荐系 统； · 混合（hybrid）推荐系统；
协同过滤系统
·核心思想：
准确度评价指标
• • • • • • 预测准确度 分类准确度 排序准确度 预测打分关联 距离标准化指标 半衰期效用指标
预测准确度
• 预测准确度的一个经典度量方法就是度量 系统的预测打分和用户的实际打分的平均 绝对误差MAE
MAE
r 其中c为系统中用户i打分产品的个数， ia 为 v 用户实际打分， ia 为系统的预测打分
排序准确度
• 排序准确度用于度量推荐算法产生的列表符合用 户对产品排序的程度。 • 可以用平均排序分度量推荐系统的排序准确度， 定义如下：
ri

Li N
• 其中N为训练集中用户为选择的产品个数，Li预测 集中待预测产品i在推荐列表中的位置
预测打分关联
• 预测打分关联不考虑预测打分与用户打分各单项 的偏差，而是考虑两者之间整体的相关程度，推 荐系统中，3个常用的相关性描述有Pearson关联 ，Speaman关联和Kendall’s Tau。 • Tau越大表示系统预测结果越好
基于内容的算法
• 信息获取（TF-IDF）：
设有N个文本文件，关键词 i在ni个文件中出现， k 设fij为关键词ki在文件dj中出现的次数，那么 i在dj中的词频 k TFij定义为
TFij 与这个关键词在文件中出现数的逆IDF i 定义为
设Content(s)为产品s的配置文件，UserProfile（c ）为用户c的配置文件， UserProfile（c）可以 用向量 ( wc1, wc 2,...,wck ) 表示，其中每个分量 wci 表示关键词 k i对用户c的重要性 r 在基于内容的系统中， c, s 被定义为：
• 最终的资源分配矢量
'
f Wf
f 为一 个n维的0/1矢量，给定的目标用户选择过 的产品上的初始资源设为1，其他设为0； W为n*n阶的矩阵。 ' f 按照中对应元素的大小进行排序，值越大说明 用户越喜欢该商品。
推荐系统的评价指标
• • • • • 准确度（被绝大多数推荐系统采用） 推荐列表的流行性和多样性 覆盖率 新鲜性和意外性 用户的满意度
优缺点
• 优点: 1.可以处理冷启动问题； 2.不受打分稀疏性问题的约束； 3.能推荐新出现的产品和非流行的产品； ·问题： 1.受到信息获取技术的约束； 2.难以从根本上解决冷启动问题。
基于网络结构的推荐系统
• 核心思想： 不考虑用户和产品的内容特性，而仅仅把他们 看作抽象的节点，所有算法利用的信息都隐藏在 用户和产品的选择关系之中。 • 考虑一个由m个用户和n个产品构成的推荐系统， 其中如果用户i选择过产品j，就在i和j之间连接 ,2,..., 一条边 aji 1(i 1,2,...,m;j 1、 n.),否则aji 0 .由此，这个系统可以用一个具有m+n个节点的二 部分图表示．
c 为系统排序与用户排序相冲突的个数
半衰期效用指标
• 在网络中用户愿意浏览推荐列表的函数呈指数衰 减。用户i的期望用 Ri 定义如下：
Ri
j
max( ri , j d , ) 0 2(j 1)(h 1)
• 其中 ri, j 为用户i对推荐列表中排名第j的产品打分，d为 默认打分，h为半衰期
主要内容
• 什么是推荐系统（背景等）？ • 推荐系统目前主要有哪些方法？ • 推荐系统在进行推荐的时候每一步是怎么 进行的？ • 推荐系统的评价指标有哪些？
推荐系统概要
• 背景： 互联网技术迅猛发展→信息爆炸→信息超载（信息利用 率降低） • 什么是推荐系统？ 通过建立用户与信息产品之间二元关系，利用已有的 选择过程或相似性关系挖掘每个用户潜在感兴趣的对象， 进而进行个性化推荐，其本质就是信息过滤。 • 一个完整的推荐系统由3个部分组成：收集用户信息的行 为记录模块，分析用户喜好的模型分析模块和推荐算法模 块。
分类准确度
N • 相应的， m 和 Nin 分别为未被推荐产品中用户喜欢 和不喜欢的产品数。而 Nn Nm Nin • 为未被推荐的产品数。显然， Ns Nn N • 准确率定义为系统的推荐列表中用户喜欢的产品 和所有被推荐产品的比率： Nrs P Ns
• 召回率定义为推荐列表中用户喜欢的产品与系统 中用户喜欢的所有产品的比率： Nrs R ,Nr Nrs Nm Nr
基于二部分图资源分配的推荐算 法
• 对于任意目标用户i，推荐算法的目的是把所有i 没有选择过的产品按照i喜欢的程度进行排序，并 且把排名靠前的那些产品推荐给i。 • 对于有m个用户和n个产品的一般的推荐系统，如 果用wij表示产品j愿意分配给i的资源配额，可得 到其一般表达式：
其中kj表示产品j的度（被多少用户选择过），kl 表示用户l的度算：
·用户x与y之间的Pearson相关性:
用户x和y共同打过分的产品集合为： xy Sx Sy S ·夹角余弦（用户x与y都用m维向量表示）
优缺点
·优点 1.具有推荐新信息的能力，可以发现用户潜在但 自己尚未察觉的兴趣爱好。 2.能够推荐艺术品、音乐、电影等难以进行内容 分析的产品。 ·问题 1.冷启动问题（新产品、新用户） 2.打分稀疏性问题 3.算法可扩展性
1.利用用户的历史信息计算用户之间的相似性； 2.利用与目标用户相似性较高的邻居对其他产品 的评价来预测目标用户对特定产品的喜好程度。 系统根据这一喜好程度来对目标用户进行推荐
·分类： · 基于记忆（memory-based）的算法
· 基于模型（model-based）的算法
基于记忆的算法
• 计算用户评分： 设C= {c1, c 2,...,cN} 为用户集合，S= {s1, s 2,..., sM } 为所有的产品集合。 设 rc, s 为用户c对产品s的打分（在协同过滤算法中，用户 c对产品s的打分通过其他用户对s的打分计算而得到。） ˆ 设C 为与用户c相似度比高的用户集 第一种：直接计算邻居打分的平均值
准确度之外的评价指标
1.推荐列表的流行性和多样性 • 一个产品的流行性可以用它的平均度来度量，产 品度越大，说明越流行。 • 推荐列表的多样性可以用平均海明距离来度量， 用户i和j推荐列表的海明距离被定义如下：
Hij 1 Qij / L