基于文本相似度的微博网络水军发现算法_杨长春_徐小松_叶施仁_等

杨 长 春 ，等 ：基 于 文 本 相 似 度 的 微 博 网 络 水 军 发 现 算 法
８３
本文 在 借 鉴 已 有 的 成 果 的 基 础 上，根 据 水 军 自 身的特点主要从以下三个方面进行研究：
（１）网 络 水 军 的 基 本 特 点 及 描 述 ； （２）求 相 似 评 论 内 容 的 方 法 ； （３）水 军 发 现 ．
水 军 发 的 帖 子 相 似 度 较 高 ，可 能 在 原 帖 上 添 加 、 删除或者修 改 一 两 个 字 、词，例 如：“我 们 都 知 道 这 其 实是一场阴谋”和“你们都知道这其实是一场阴谋”这 两 个 特 征 码 其 实 是 一 样 的 ，但 是 要 按 特 征 码 完 全 相 同 才算是相同的评论内容的话，这两个特征码就是不一 样的，因此我们提出采用最长子序列的比较方法．
得出此ＩＰ 地址是水军的概率．此方法只能从表面确 定 是 否 为 水 军 ，错 误 率 是 其 不 能 解 决 的 一 大 难 题 ．文 献 ［３］中 采 用 情 感 分 析 的 方 法 ，通 过 采 用 机 器 学 习 方 法对正文信息进行 情 感 分 类，首 先 判 断 其 为 正 面 信 息或为负面信息，经 过 统 计 后，在 特 定 时 间 内，当 某 人发表的正面或者负面信息比重超过阈值时则认为 其 为 网 络 推 手 ．此 方 法 得 到 的 水 军 更 为 模 糊 ，情 感 分 析本来就是一个很 难 捉 摸 的 难 题，情 感 分 析 的 有 效 性、正确性 还 有 待 改 进，因 此 该 方 法 的 效 果 并 不 理 想．文献［４－５］主 要 基 于 特 征 码 技 术 找 出 相 同 网 页， 特征码再通过 Ｂ－Ｔｒｅｅ索 引 可 以 高 效 的 找 出 相 同 的 网页．
会 给 存 储 、计 算 带 来 较 大 的 开 销 ，而 如 果 特 征 码 太 短
其区分能力便会 降 低．因 为 评 论 内 容 不 超 过 １４０ 个
字，因 此 本 文 取 评 论 内 容 自 身 作 为 特 征 码，长 度 Ｌ
为１４０，对于评 论 内 容 少 于 １４０ 个 字 的 可 以 以 特 定
２ 网 络 水 军 的 基 本 特 点 及 描 述
网络水军［６］，是指被网络推手召集，以在网 络 上 发 帖 、回 帖 等 方 式 执 行 传 播 命 令 ，并 获 得 相 应 报 酬 的 人员群体．网络和社 会 上 那 些 引 起 轰 动 的 事 件 大 多 数都是由于网络水 军 在 网 络 上 发 帖、回 帖 造 势 所 引 起的．而本文主要从 新 浪 微 博 中 评 论 内 容 这 一 块 寻 找 水 军 ．经 过 大 量 的 观 察 与 研 究 发 现 ，新 浪 微 博 中 水 军在评论内容这一 块 主 要 运 作 流 程 如 下：水 军 用 户 们 得 到 命 令 ，每 个 水 军 都 会 得 到 所 需 发 出 的 评 论 ，这 些评论可以随处 发 送，就 当 作 宣 传．当 然，少 数 水 军 可能会给评论内容 改 一 两 个 字，但 是 不 会 大 幅 度 的 修 改 ，修 改 过 多 会 改 变 原 来 的 意 思 ，达 不 到 雇 主 的 要 求，而且专业的水军 用 户 每 天 都 会 接 到 数 百 例 这 样 的 任 务 ，没 有 时 间 去 作 大 的 修 改 ．本 文 找 相 似 的 评 论 内容要求比较高，相似度一般 达 到 ９５％ 时 才 会 归 类 为 一 条 评 论 ．水 军 的 传 播 信 息 模 式 如 图 １ 所 示 ，存 在 形式如图２所示．
进制数，也就是把一 个 评 论 内 容 映 射 到 一 些 由 二 进
８４
微电子学与计算机
２０１４ 年
制数字构成的大小为（６ ７６３）１４０空 间 里，在 这 么 大 的 空间里，不同评论内 容 是 不 可 能 出 现 相 同 的 特 征 码 的．通过这种映射就 把 一 个 复 杂 的 计 算 评 论 内 容 相 似度来判断评论内容是否相同的问题变为利用二进 制数的比较来判别评论内容是否相同的问题． ３．２ 确 定 评 论 内 容 相 似
Ａ Ｍｅｔｈｏｄ ｔｏ Ｆｉｎｄ Ｗａｔｅｒ Ａｒｍｉｅｓ ｉｎ Ｗｅｉｂｏ Ｂａｓｅｄ ｏｎ Ｔｅｘｔ Ｓｉｍｉｌａｒｉｔｙ
ＹＡＮＧ Ｃｈａｎｇ－ｃｈｕｎ，ＸＵ Ｘｉａｏ－ｓｏｎｇ，ＹＥ Ｓｈｉ－ｒｅｎ，ＺＨＯＵ Ｍｅｎｇ
（Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ＆ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈａｎｇｚｈｏｕ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｚｈｏｕ ２１３１６４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｅ ｃｏｍｍｅｎｔｓ ｉｓｓｕｅｄ ｂｙ ｔｈｅ Ｗａｔｅｒ Ａｒｍｙ ｗｅｒｅ ｒｅｐｅａｔａｂｉｌｉｔｙ ａｎｄ ｓｉｍｉｌａｒｉｔｙ．Ａ ｍｅｔｈｏｄ ｔｏ ｆｉｎｄ Ｗａｔｅｒ ａｒｍｉｅｓ ｉｎ ｗｅｉｂｏ ｂａｓｅｄ ｏｎ Ｔｅｘｔ ｓｉｍｉｌａｒｉｔｙ ｗａｓ ｐｒｏｐｏｓｅｄ．Ｃｏｍｍｅｎｔｓ ａｒｅ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ｓｉｇｎａｔｕｒｅｓ ．Ｂｙ ｉｎｄｅｘｉｎｇ ｔｈｅ ｓｉｇｎａｔｕｒｅｓ ｏｎ ｅｆｆｉｃｉｅｎｔ Ｂ－Ｔｒｅｅ ，ｔｈｅ ｗｈｏｌｅ ｓｙｓｔｅｍ ｈａｄ ｅｘｔｒｅｍｅ ｐｒｏｃｅｓｓｉｎｇ ｅｆｆｉｃｉｅｎｃｙ．Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｒｅｐｅａｔａｂｉｌｉｔｙ ａｎｄ ｓｉｍｉｌａｒｉｔｙ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｔｈｅ ｃｏｍｍｅｎｔｓ ｉｓｓｕｅｄ ｂｙ ｔｈｅ Ｗａｔｅｒ Ａｒｍｉｅｓ，ｔｈｅ ｕｓｅｒｓ ｗｈｉｃｈ ｄｅｆｉｎｅｄ ａｓ Ｗａｔｅｒ Ａｒｍｉｅｓ ｈａｄ ａ ｈｉｇｈ ｎｕｍｂｅｒ ｏｆ ｏｃｃｕｒｒｅｎｃｅｓ ｗｈｅｎ ａｎａｌｙｚｅｄ ｏｎ ｔｈｅ ｓａｍｅ ｏｒ ｓｉｍｉｌａｒ ｃｏｍｍｅｎｔｓ．Ａｎｄ ｔｈｅｎ ａｎａｌｙｚｅｄ ｔｈｅ ｃｏｍｍｅｎｔｓ ｐｕｂｌｉｓｈｅｄ ｂｙ ｔｈｏｓｅ ｕｓｅｒｓ，ｆｏｕｎｄ ｔｈａｔ ｔｈｏｓｅ ｃｏｍｍｅｎｔｓ ｗｅｒｅ ａｌｍｏｓｔ ｓｉｍｉｌａｒ．Ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗｅｄ ｔｈａｔ ｔｈｉｓ ｍｅｔｈｏｄ ｃｏｕｌｄ ｆｉｎｄ ｔｈｅ Ｗａｔｅｒ Ａｒｍｉｅｓ ａｃｃｕｒａｔｅｌｙ ａｎｄ ｅｆｆｅｃｔｉｖｅｌｙ． Ｋｅｙ ｗｏｒｄｓ：ｓｉｇｎａｔｕｒｅ；ｉｎｄｅｘ；ｔｅｘｔ ｓｉｍｉｌａｒｉｔｙ；ｌｏｎｇｅｓｔ ｓｕｂｓｅｑｕｅｎｃｅ
的 字 符 补 位 ，按 照 多 元 文 法 （Ｎ－Ｇｒａｍ）的 定 义 这 个 特 征码相当于一个１４０阶 的 文 法 （１４０－Ｇｒａｍ），如 果 有
６ ７６３个 汉 字 那 么 这 个 特 征 码 的 重 复 概 率 大 概 为
１ （６ ７６３）１
征
码
在
不
同
的
评
论
内
容
中
是
不可能重复的．如果把 长 为 Ｌ 的 特 征 码 看 成 一 个 二
３１ 卷 第 ３ 期 ２０１４年３月
微电子学与计算机 ＭＩＣＲＯＥＬＥＣＴＲＯＮＩＣＳ ＆ ＣＯＭＰＵＴＥＲ
Ｖｏｌ．３１ Ｎｏ．３ Ｍａｒｃｈ ２０１４
基于文本相似度的微博网络水军发现算法
杨 长 春 ，徐 小 松 ，叶 施 仁 ，周 猛
（常州大学 信息科学与工程学院，江苏 常州 ２１３１６４）
收 稿 日 期 ：２０１３－０４－１７；修 回 日 期 ：２０１３－０６－０３ 基 金 项 目 ：国 家 自 然 科 学 基 金 项 目 （６１２７２３６７）；江 苏 省 科 技 厅 项 目 （ＢＺ２０１００２１）；江 苏 省 研 究 生 培 养 创 新 工 程 项 目 （２０１２０５１５）
第３期
图 １ 水 军 传 播 信 息 模 式
图 ２ 水 军 存 在 形 式
图１ 中 数 字 表 示 水 军 们 所 发 的 评 论 内 容，从 以 上两图中我们可以看到水军发表评论是随意地往四
处传播，但是他们有 一 个 特 点 即 他 们 所 发 的 评 论 内 容是具有重复性的，因 此 通 过 找 出 这 些 重 复 或 者 相 似的评论内容，再对 这 些 评 论 内 容 进 行 分 析 便 可 以 很轻松地找出水军用户．
１ 引 言
微 博 具 有 公 开 性 、及 时 性 等 特 征 ，但 其 存 在 一 些 负 面 影 响 ．因 此 ，怎 样 辨 识 这 些 网 络 水 军 是 本 文 所 要 研究的内容．
当 今 ，网 络 水 军 的 水 贴 越 来 越 多 ，对 网 络 环 境 的 真实性产生了严重 的 影 响，然 而 对 这 些 行 为 目 前 还 没 有 一 个 有 效 的 方 法 进 行 辨 识 与 制 止 ．文 献 ［１］中 提 出了对发帖 进 行 分 析、处 理，生 成 Ｈａｓｈ 值，通 过 各 个发帖 Ｈａｓｈ值之间的比较，确定该贴 是 否 为 水 贴． 该方法主要采用矩 阵 形 式，对 大 规 模 数 据 量 的 处 理 则不太现实．文献［２］中通过相同ＩＰ 与ＩＤ 的统计来
把所有的特征码检索起来便可以作为一个完整的检
索 系 统 ．根 据 网 页 去 重 技 术 的 启 发 ，我 们 也 可 以 给 每
条评论内容一个特 征 码，把 所 有 评 论 内 容 的 特 征 码
检索起来也可以建 立 一 个 完 整 的 检 索 系 统．而 在 特
征码的定义与提取中参 数 Ｌ 非 常 重 要，特 征 码 太 长
是重复网页 ． ［７］
网页去重技 术 其 实 也 采 用 了 检 索 系 统 这 ［８－９］ 一
思想，文献［４］中就 引 用 了 特 征 码 这 一 概 念，每 一 个
网页可以找出一个特征可以跟其他不同的网页区分
开，这种特征也即为网 页 的 特 征 码．文 献 ［４］中 提 取
网 页 的 特 征 码 主 要 是 取 了 长 度 为 １０ 的 字 符 串 ．这 样
两个序列Ｘ ＝ ｛ｘ１，ｘ２，…，ｘｎ｝，Ｙ ＝ ｛ｙ１，ｙ２，…， ｙｍ ｝，其中 Ｘ，Ｙ 相当于两个 特 征 码，ｘｎ、ｙｍ 相 当 于 两 个句子中的字，最长 子 序 列 就 是 给 定 的 两 个 序 列 共 有 的 子 序 列 中 最 长 的 一 个 ．最 长 子 序 列 有 一 个 阈 值 ， 一般为 Ｌ－１或 Ｌ－２，当其大于这个阈值时就认为 这两个特征码是相同 的．具 体 阈 值 的 大 小 可 以 根 据 评论内容的字数的多 少 而 定，为 了 能 够 精 确 地 得 到 水军，设立了这样 的 一 个 区 间（ｃｏｕｎｔ为 评 论 内 容 的 字 数 ）：