基于LSH和MapReduce的近邻模型推荐算法_陈佑雄_向_阳_张_骐_等

４８
微电子学与计算机
２０１３ 年
ＣＦ 最 常 见 的 模 型 是 ＫＮＮ［３］模 型．ＫＮＮ 模 型 的核心是 兴 趣 相 似 的 用 户 对 某 一 项 的 评 价 会 差 不 多 ，或 者 比 较 接 近 的 项 得 到 的 评 价 会 差 不 多 ．不 管 是 基于用户还 是 基 于 项 的 ＫＮＮ 模 型 实 现 都 很 简 单， 解释起来很直观．
收 稿 日 期 ：２０１３－０２－２５；修 回 日 期 ：２０１３－０４－２３ 基金项目：国家自然科学基金 （７１１７１１４８）；国 家 科 技 计 划 课 题 （２０１２ＢＡＤ３５Ｂ０１）；上 海 市 科 技 创 新 计 划 （１１ＤＺ１５０１７０３）；陈 家
镇 智 慧 社 区 和 智 能合 ＬＳＨ 和 ＭａｐＲｅｄｕｃｅ的 ＫＮＮ 模型
ＬＳＨ 是一种快速寻找相似数据的办法，这 里 引 入是为了整 合 到 ＫＮＮ 模 型 中，它 将 能 够 将 相 似 的 用户以一定的概率 散 列 到 相 同 的 同 一 个 桶 中，其 基
本的预测公式如下：
∑ ｒｕｓ ＝
ｗ
ｕｉ
（ｕ，ｕｉ）Ｉ珔（ｕｉ，ｓ），
户项目的矩阵．这里 每 个 用 户 点 击 的 项 目 以 及 项 目 的个数都很可能不一样，因此需要利用 ＭｉｎＨａｓｈ的 思想为用户矩阵建 立 一 个 签 名 矩 阵，建 立 签 名 矩 阵 的算法如下：
ＳＩＧ（ｉ，ｃ）表 示 ｓｉｇｎａｔｕｒｅ ｍａｔｒｉｘ 中 的 第ｉ 行ｃ 列的元素值
对ｒ 行 ： １．Ｃｏｍｐｕｔｅ ｈ１（ｒ），ｈ２（ｒ），… ，ｈｎ（ｒ）． ２．Ｆｏｒ ｅａｃｈ ｃｏｌｕｍｎ ｃ ｄｏ ｔｈｅ ｆｏｌｌｏｗｉｎｇ： （ａ）Ｉｆ ｃ ｈａｓ ０ｉｎ ｒｏｗｒ，ｄｏ ｎｏｔｈｉｎｇ． （ｂ）Ｈｏｗｅｖｅｒ，ｉｆ ｃ ｈａｓ １ｉｎ ｒｏｗ ｒ，ｔｈｅｎ ｆｏｒ ｅａｃｈ ｉ＝ １，２，…，ｎｓｅｔ ＳＩＧ（ｉ，ｃ）ｔｏ ｔｈｅ ｓｍａｌｌｅｒ ｏｆ ｔｈｅ ｃｕｒｒｅｎｔ ｖａｌｕｅ ｏｆ ＳＩＧ（ｉ，ｃ）ａｎｄ ｈｉ（ｒ）． 通过 ＭｉｎＨａｓｈ所建 立 的 签 名 矩 阵 保 留 了 原 来 用 户 项 目 矩 阵 的 特 征 ，并 且 将 数 据 变 得 更 规 范 ，对 于 维数高的向量也起到了降维的效果． 下一步利用 ＬＳＨ 算 法 将 签 名 矩 阵 中 的 向 量 哈 希 到 不 同 的 桶 中 ，其 算 法 如 下 ： Ｐｒｅｐｒｏｃｅｓｓｉｎｇ： １．Ｃｈｏｏｓｅ Ｌ ｆｕｎｃｔｉｏｎｓ ｇｊ，ｊ ＝ １，…，Ｌ，ｂｙ ｓｅｔｔｉｎｇ ｇｊ＝ （ｈ１，ｊ，ｈ２，ｊ，…，ｈｋ，ｊ），ｗｈｅｒｅ ｈ１，ｊ， … ，ｈｋ ，ｊ ａｒｅ ｃｈｏｓｅｎ ａｔ ｒａｎｄｏｍ ｆｒｏｍ ｔｈｅ ＬＳＨ ｆａｍｉ－ ｌｙ Ｈ ． ２．Ｃｏｎｓｔｒｕｃｔ Ｌｈａｓｈ ｔａｂｌｅｓ，ｗｈｅｒｅ，ｆｏｒ ｅａｃｈ ｊ ＝ １，…，Ｌ，ｔｈｅ ｊｔｈ ｈａｓｈ ｔａｂｌｅ ｃｏｎｔａｉｎｓ ｔｈｅ ｄａｔａｓｅｔ ｐｏｉｎｔｓ ｈａｓｈｅｄ ｕｓｉｎｇ ｔｈｅ ｆｕｎｃｔｉｏｎ ｇｊ． Ｑｕｅｒｙ ａｌｇｏｒｉｔｈｍ ｆｏｒ ａ ｑｕｅｒｙ ｐｏｉｎｔ ｑ： １．Ｆｏｒ ｅａｃｈ ｊ ＝ １，２，…，Ｌ ｉ）Ｒｅｔｒｉｅｖｅ ｔｈｅ ｐｏｉｎｔｓ ｆｒｏｍ ｔｈｅ ｂｕｃｋｅｔ ｇｊ（ｑ）ｉｎ ｔｈｅ ｊｔｈ ｈａｓｈ ｔａｂｌｅ． ｉｉ）Ｆｏｒ ｅａｃｈ ｏｆ ｔｈｅ ｒｅｔｒｉｅｖｅｄ ｐｏｉｎｔ，ｃｏｍｐｕｔｅ ｔｈｅ ｄｉｓｔａｎｃｅ ｆｒｏｍｑｔｏ ｉｔ， ｉｉｉ）（ｏｐｔｉｏｎａｌ）Ｓｔｏｐ ａｓ ｓｏｏｎ ａｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｒｅｐｏｒｔｅｄ ｐｏｉｎｔｓ ｉｓ ｍｏｒｅ ｔｈａｎ Ｌ． 通过这两个步骤即可以将用户哈希到 Ｌ 个桶 中，寻找某个用户的 邻 居 只 需 要 遍 历 其 所 在 桶 的 用 户 ，并 计 算 相 似 度 即 可 以 获 得 ． 以上是传统的 ＬＳＨ 与 ＭｉｎＨａｓｈ 的 实 现，虽 然 能够在线性的时间 内 完 成 计 算，但 如 果 单 机 运 行 时 间复 杂 度 还 是 比 较 高，于 是 引 入 ＭａｐＲｅｄｕｃｅ，将 ＬＳＨ 与 ＭｉｎＨａｓｈ 的 计 算 放 到 ＭａｐＲｅｄｕｃｅ 的 编 程 框架下实现．另 外，原 算 法 中 每 个 用 户 被 ｈａｓｈ 到 Ｌ 个桶中，当用 户 量 比 较 大 时，遍 历 Ｌ 个 桶 的 时 间 复 杂度依然很 高．于 是 将 Ｌ 个 哈 希 值 进 行 连 接 操 作，
Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｍｏｄｅｌ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ ＬＳＨ ａｎｄ ＭａｐＲｅｄｕｃｅ
ＣＨＥＮ Ｙｏｕ－ｘｉｏｎｇ１，ＸＩＡＮＧ Ｙａｎｇ１，ＺＨＡＮＧ Ｑｉ ２，ＰＡＮ Ｔａｏ２
（１Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｔｏｎｇｊｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２０１８０４，Ｃｈｉｎａ； ２Ｓｈｅｎｇｈｕａ Ｈｏｌｌｙｓｙｓ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｌｉｍｉｔｅｄ Ｃｏｍｐａｎｙ，Ｂｅｉｊｉｎｇ １００００９，Ｃｈｉｎａ）
３０ 卷 第１２期 ２０１３年１２月
微电子学与计算机 ＭＩＣＲＯＥＬＥＣＴＲＯＮＩＣＳ ＆ ＣＯＭＰＵＴＥＲ
Ｖｏｌ．３０ Ｎｏ．１２ Ｄｅｃｅｍｂｅｒ ２０１３
基于 ＬＳＨ 和 ＭａｐＲｅｄｕｃｅ的近邻模型推荐算法
陈 佑 雄１，向 阳１，张 骐２，潘 涛２
（１ 同济大学 计算机科学与技术系，上海 ２０１８０４；２ 神华和利时信息技术有限公司，北京 １００００９）
式中，ｗ（ｕ，ｕｉ）是用户ｕ和ｕｉ 的相似度，Ｉ珔（ｕｉ，ｓ）是指
示向量，当ｕｉ 选择了项目ｓ 时取值为１，否则为０．
结合基准分的预测公式：
∑ ｒｕｓ ＝ｕ＋ｂｕ ＋ｂｉ ＋
ｗ
ｕｉ
（ｕ，ｕｉ）Ｉ珔（ｕｉ，ｓ）
对 于 用 户 和 项 目 很 大 的 系 统 ，如 腾 讯 微 博 用 户 ，
首先寻找出每一个 用 户 所 点 击 的 项 目，构 建 一 个 用
摘 要：传统的近邻模型（ｋ－ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒｈｏｏｄ，ＫＮＮ）是一种使用广 泛 的 协 同 过 滤 模 型，但 是 随 着 用 户 和 项 目 的 增 加 ，需 要 计 算 大 量 用 户 或 项 之 间 的 相 似 度 ，其 时 间 复 杂 度 过 高 ．通 过 结 合 位 置 敏 感 哈 希 （Ｌｏｃａｌｉｔｙ－Ｓｅｎｓｉｔｉｖｅ Ｈａｓ－ ｈｉｎｇ，ＬＳＨ）与 ＭａｐＲｅｄｕｃｅ，提出了一种能够在线性时间复杂度内并行 计 算 用 户 或 项 之 间 相 似 度 的 近 邻 模 型 推 荐 算 法，降低了时间和空间复杂度．在 Ｔｅｎｃｅｎｔ Ｗｅｉｂｏ数据集上进行 了 仿 真 实 验，实 验 表 明 提 出 的 模 型 能 有 效 解 决 传 统 近 邻 模 型 对 于 大 数 据 集 时 间 复 杂 度 过 高 的 问 题 ，显 著 地 提 高 了 传 统 近 邻 模 型 的 精 度 和 降 低 传 统 近 邻 模 型 的 耗 时 ． 关 键 词 ：协 同 过 滤 ；Ｋ－ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ；ＬＳＨ；ＭａｐＲｅｄｕｃｅ 中 图 分 类 号 ：ＴＰ３１ 文 献 标 识 码 ：Ａ 文 章 编 号 ：１０００－７１８０（２０１３）１２－００４７－０３
Ａｂｓｔｒａｃｔ：Ｔｒａｄｉｔｉｏｎａｌ ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｈｏｏｄ （ＫＮＮ）ｍｏｄｅｌ ｈａｓ ｂｅｅｎ ｗｉｄｅｌｙ ｕｓｅｄ ｉｎ ｔｈｅ ｒｅｃｏｍｍｅｎｄｅｒ ｓｙｓｔｅｍｓ． Ｈｏｗｅｖｅｒ，ｗｉｔｈ ｔｈｅ ｉｎｃｒｅａｓｉｎｇ ｏｆ ｕｓｅｒｓ ａｎｄ ｉｔｅｍｓ，ｔｈｅ ｌａｒｇｅ ｓｃａｌｅ ｏｆ ｓｉｍｉｌａｒｉｔｙ ｂｅｔｗｅｅｎ ｕｓｅｒｓ ｏｒ ｉｔｅｍｓ ｎｅｅｄ ｔｏ ｂｅ ｃａｌｃｕｌａｔｅｄ ａｎｄ ｔｈｅ ｔｉｍｅ ｃｏｍｐｌｅｘｉｔｙ ｉｓ ｔｏｏ ｈｉｇｈ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ａ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｍｏｄｅｌ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｃｏｍｂｉｎｅｄ ｗｉｔｈ ａ ｌｏｃａｌｉｔｙ ｓｅｎｓｉｔｉｖｅ ｈａｓｈ （Ｌｏｃａｌｉｔｙ－Ｓｅｎｓｉｔｉｖｅ Ｈａｓｈｉｎｇ，ＬＳＨ）ａｎｄ ＭａｐＲｅｄｕｃｅ ｉｓ ｐｒｏｐｏｓｅｄ ，ｗｈｉｃｈ ｉｓ ａ ｗａｙ ｔｏ ｌｉｎｅａｒ ｔｉｍｅ ｃｏｍｐｌｅｘｉｔｙ ｂｙ ｐａｒａｌｌｅｌ ｃｏｍｐｕｔｉｎｇ ｓｉｍｉｌａｒｉｔｙ ｂｅｔｗｅｅｎ ｕｓｅｒｓ ｏｒ ｉｔｅｍｓ，ｒｅｄｕｃｉｎｇ ｔｈｅ ｔｉｍｅ ａｎｄ ｓｐａｃｅ ｃｏｍｐｌｅｘｉｔｙ．Ｓｉｍｕｌａｔｅ ｅｘｐｅｒｉｍｅｎｔｓ ｉｎ Ｔｅｎｃｅｎｔ Ｗｅｉｂｏ ｄａｔａｓｅｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｏｄｅｌ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｈｉｇｈ ｔｉｍｅ ｃｏｍｐｌｅｘｉｔｙ ｅｘｉｓｔｓ ｉｎ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｍｏｄｅｌ ｆｏｒ ｌａｒｇｅ ｄａｔａ ｓｅｔｓ ａｎｄ ｓｉｇｎｉｆｉｃａｎｔｌｙ ｉｍｐｒｏｖｅ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｍｏｄｅｌ ａｎｄ ｒｅｄｕｃｅ ｔｈｅ ｔｉｍｅ－ｃｏｎｓｕｍｉｎｇ． Ｋｅｙ ｗｏｒｄｓ：ｃｏｌｌａｂｏｒａｔｉｖｅ Ｆｉｌｔｅｒｉｎｇ；Ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｈｏｏｄ；ＬＳＨ；ＭａｐＲｅｄｕｃｅ
２ 相 关 工 作
本文 ｍ 为用户数，ｎ 为项目数，下标ｕ 和ｖ 代表 用户，ｉ和ｊ代表项．打分值ｒｕｉ 代表用户ｕ 对项ｉ的喜 好程度，ｒｕｉ 值越大代表喜好程度越高．抽象来讲，ＣＦ 模型等同于缺失值估 计：给 定 一 个 带 有 许 多 缺 失 值 的用 户 项 矩 阵 Ｒｍ×ｎ，根 据 已 有 的 值 来 填 充 缺 失 值［３］．一般来讲，ＣＦ 模 型 分 为 两 类：邻 居 模 型 和 潜 在因子模型如 ＳＶＤ 模型．后者通过抽取出用户和项 的隐藏特征来描述数据的特性．除 了 ＣＦ 之 外，还 有 一些传统的挖掘算法加以适当的改动也能够完成打 分预测的功能．本文 用 到 的 聚 类 预 测 模 型 是 基 于 传 统 Ｋ－ｍｅａｎｓ 模 型，文 献 ［３－７］对 ＫＮＮ 模 型，Ｍｉｎ Ｈａｓｈ、ＬＳＨ 和 ＭａＰ Ｒｅｄｕｃｅ做了较深入的介绍．