基于WEB的智能信息采集及处理
词汇 、 法 、 义分 语 语 析等 自然语言处理技 术 ， 文章的文本 内容进 对 行深入分析 ；再根据线性加权 融合两种分析得 到 的结果 ，生成摘要 ； 最后采 用指 代消解技术 （ｎｐｏａＲ ｓ ｕｏ ｅｈｏ ｇ） 行平 滑使 Ａ ａｈｒ ｅｏ ｔｎＴｃｎｌ ｙ 进 ｌｉ ｏ 生成的摘要更连 贯流畅 。在 七 述摘要生成 的算 法 中 ， 分元数 据如对标 题 的分 析 、 部 作者 、 主题 词 的提取 ， 中间结果 也将被输 出和保存 ， 作为 形 成完整 的符合基本文献规范 的元数据体系。 ４结束语 基于 Ｗｅ ｂ的信 息采集 和处 理技术 ， 在互联 网飞速 发展的时代 ，将扮演者越来越重要 的角 色。 本文 十 和实施 的系统 ， 继承和发展了现有 的偏 平化 的信息采集 策略 ， 信息采 集 、 织 以“ 组 处理和发布 ” 三项并 重为理念 ， 使面向Ｗｅ 的信 ｂ 息采集 系统向垂直和智能 的方 向推进 ， 同时 也 预示着该 系统有广泛 的市场 和应用前景 。
二级 目录名 ， 三、 第 四个字 符组 合作为文件名存 放在二级 目录下 ，每个文件 的大小 固定为 ４ ， Ｋ 最后 还剩下 三个字符 一共是 １ｂｔ 共 有 ４ ９ ２ｉ ， ０６ 个二进制数 ，与 ４ Ｋ的文件大小 刚好 一一对应。 这种机制 能够容纳的总页面数 为 ２ ２ ３ ，大约 ４ ３ 亿个 ， 几乎包括 目前互联网 Ｅ 所有 Ｕ Ｌ Ｒ 链接 。 ３ Ｔ ￣ ． Ｈ ＭＬ ２ 为 了提高下载页面 的有效性 ， 需要过 滤掉 些无用 的噪声信息 。 传统 匕 有两种解决方案 ， 是 页面学 习的方式提取熵值最大 的页面分块 ； 二是通过定义访 问路径来提 取需要访 问的感 兴趣 的内容。无论是哪一种方案都 必须有 对页 面的Ｈ Ｍ Ｔ Ｌ的解析能力 ，即构 造合适 的数 据结 构来解析 Ｈ ＭＬ Ｔ 的标 签。解析 的难 点在于 目前 的网络 ｗｅ ｂ页面 的 Ｈ Ｍ 非 常不 规范 、不 严 Ｔ Ｌ 格 ， 之间即使有错误或 者不严格 的匹配 ， 标签 Ｉ Ｅ 也 能完美 的呈现 。 是为了信息 的精确提取 ， 但 必 须要构造严 密的访 问结构 。 ３ 自动摘要与元数据分析 ３ 摘要是指通过对文档 内容处理 ，从中提取 图 ３ 出满 足用户需求 的重要信息 ，经过 重组修 饰后 传 统上 的 Ｗｅ 信 息采集 不具 备对 下载 信 生 成比原文更精炼 的文摘过 程。 目 主要 自动 ｂ 前
一 一
图 １
息 的深层次加 工能力 ，而本系统不仅 实现 机器 文摘技术有三类 ： 基于浅层分 析的方法 、 于实 基 基于 话语结构 白方法 。 ｇ 的自 动分类 、 摘要 和元数 据分析 ， 还提供人 机交 体分 析的方 法、 本 系 统采用 一种 新 的使 用 自然语 言处 理 互 的机制 ， 将处 理的结果以便捷预览 的方 式呈 Ｎ Ｐ－ Ｉ ￣ 动摘要 系统 ， 通过融合基于 内容 现， 用户可 以进行修 改 、 删除以及确认后入 库存 （ Ｌ ） ＊ 的 自 的方法［ａｅ ｎ Ｃ ｎ ｎ 和基 于主题（ａｅ ｎ Ｂ ｓｄｏ ｏ ｔ ｔ ｅ］ Ｂ ｄｏ ｓ 储等操作 ， 发布信息的正确性 和有效性。 确保 Ｔｐ） ｏｉ的方法 ， 主题 与 内容 相结 合 ， 具有 ｃ 将 生成 ２ ． ４信息发布子系统 近年 来信息 的发布形式 越来 越备受关 注 ， 良好连贯性和流 畅性 的摘要。基本思想是首先 作为对外信 息服务的平 台，该子系统 主要 特点 对主题词进行分析， 动态地处理具有抽象标题和
弊端是显而易见 的 ， 中文网页有 ４ 如 亿左右 ， 假 设每一个 Ｕ Ｌ的平均长度 为 ２ 个 字符 ， 么 Ｒ ５ 那 参 考 文献 存储这些网页的 Ｕ Ｌ Ｒ 地址需要 的空间为 ８ 左 Ｇ １ １ 戴新 陈 ｎｅ 上 ｍｅ 动 右， 很显然面对如此 大的文件 ， 这种机制无法快 『尹存 燕． 宇． 家骏Ｊｔ ｔ 文本的 自 程如 图 ２所示。 计算机 工程 － Ｌ２ ０ ｅ ２ ｏ Ｖ ３ Ｎ ３ ｈ ０６ ｏ Ｒ 因此不能保证 陕速 的下载 摘要技 术． 有别于通用 的 Ｗｅ 信息采 集器 ， ｂ 该子系统 速的进行 Ｕ Ｌ查找 ，
信 息 技 术
ＣｎＮｗ ｅ ｎｏｅａ ｏ ｃ ｈａ ｅ Ｔ ｈ ｌｉ ｎＰ ｄ： ｉ ｃ ｏｇｓ ｄ ｒｕｓ ｔ
基于 ＷＥ Ｂ的智能 信 息采 集及处理
吴 艳
（ 阳 电 业局 信 息 中 心 ， 南 益 阳 ４ ３ ０ ） 益 湖 １０ ０
摘 要 ： 文研 究 的基 于 Ｗｅ 智 能信 息采 集及 处理 系统 ， 方 面采 用 高 效的 Ｕ Ｌ去 重 和基 于模 版 的 下栽 机 制 ， 大提 高 了采 集 本 ｂ的 一 Ｒ 极 Ｗｅ ｂ资源 的性 能 ； 一方 面应 用成熟 、 另 先进 的 自然语 言处 理技 术 ， 对采 集信 息做 智 能分 类和 摘要 。 关键词 ： ｂ 集 ， Ｒ Ｗｅ 采 Ｕ Ｌ去 重 ， 能信 息处理 ， 智 个性 化发 布
１引 言
ｗｗｗ 从诞生 以来 至今 ， Ｗｅ 信息 的搜 对 ｂ 索 正在从 “ 平 ” 向“ 直”从 “ 偏 走 垂 ， 通用 ” 发展 到 “ 陛和智能 ” 个 。但是据调查 目 前市 场上绝 大部 分搜索 工具或者产品都存在 “ 重采集 、 忽视信 息 的处理和服务”即对采集 的信息缺乏深层次 的 ， 加工 、 ， 处理 并且提供 主动的信息发布服务 的机 制。 经过十余年 的市场培育 ， ｂ ｗｅ 用户最需要的 是能提供面向一定的领域 ，有较好智 能程 度的 信息采集 、 加工和发布的产品， 本文将 构建 和实 现这样 的系统 。
中国新技术新产品
一４ｌ一
图２
ｚ ｂ ２ｗｅ 信息采集子系统 Ｗｅ 采集器 一般 都是 从称 为种 子 的 Ｕ Ｌ ｂ Ｒ 出发 ，通过协 议 向 Ｗｅ 上其 它所 需 页面作 扩 ｂ 展 。经研究表 明 Ｗｅ 上 ３％的页面是重复 的， ｂ ０ 当面 向特定 的主题 时 ， ％以上 的 Ｕ Ｌ 接是 ８ ０ Ｒ 链 我们不 的 ， 因此在采集 中如何进行 Ｕ Ｌ Ｒ 去 重 和分 析适合 主题特 征 的 Ｕ Ｌ 提高采 集子 Ｒ 是 系统 效率 的重要 因素 。同时 如何 获取 有 效 的 Ｗｅ 页 面信 息 ， 广告 、 ｂ 过滤 导航栏 等噪声 ， 将直 接影 响后续 的智能处 理的性能 。该子系统 的流
有： 多视角 、 多层次发 布采集 信息 ， 即从来 源 、 原 始栏 目、 分类体 系多个视角交叉进行展 示 ， 可以 灵 活的进 行信息集合 的交 、 并运算 ； 个性化 信息 发布， 用户登 录后 利用个 『化信息 定制界面 ， 生 选 择 自己感兴趣 的信息视角 ， 再次登 录后 ， 推送给 用 户的就是完全个性化 的信 息内容 ；强大 的信 息 检索能力 ， 不仅提供针对独立字 段的检索 ， 还 提供 陕速检索 、 高 ３若干关 键技术
和去重 。在本系统 中采 用了文件 目录寻址机制 来 实 现 Ｕ Ｌ的快速 去重 。基本 思想是 首先将 Ｒ Ｕ Ｌ Ｒ 地址做 Ｃ Ｃ ２ Ｒ ３ 转换 ， 生成—个唯一 的 ４ 字 节 ３ 位 的编 码 ， ：８ Ａ Ｂ Ｆ 将 ４ 字节组 ２ 如 ＥＣ Ｏ ３， 个 成两级 目录和一 级文件 ，即第—个字节 的首字 符作为第一级 目录名 ， 二 、 第 三个字符组合作 为
最大 的特点在 于任何用户的主题采集 都是在相 应 的模版 的支撑 下完成 。所谓模版 就是关于要 采集 的 Ｗｅ 对 象的特征描 述 ， ｂ 为了提 高下 载 的 有 效性 和效 率 ，将 某 一个 具体 的网站 所有 的 ｗｅ 页面划分为 Ｈ ｂ页和 Ｔ ｐ 页 ，表示为一 ｂ ｕ ｏｉ ｃ 个三元组＜ ，ｆ ｆ。 中 Ｍ刻画 Ｗｅ 页共性特 ＭＨ，＞ 其 Ｔ ｂ 征， ： 如 网站名称 、 网站 Ｕ Ｌ Ｒ 地址 、 言种类等 ； 语 Ｈ 刻画该 ｗｅ 资源 中的 Ｈ ｂ ｆ ｂ ｕ 页面特 征 ，即此 类 Ｗｅ ｂ中哪些 Ｕ Ｌ Ｒ 地址特 征是下载 时需 要解 析 的；而 Ｔ 则是刻 画某一类具 体的 Ｔｐｃ ｆ ｏｉ页特 征 ，主要 是描述用户最感兴趣 的内容的访 问路 径， ： 如 正文标题 、 者、 源等 。为 了实现对下 作 来 载的 Ｗｅ 资源 的监控 ， 最新 的信 息及时地推 ｂ 将 送 给用户 ，触发器可 以为用户 指定 适合需要 的 采 集策略 ，通过设定一定 的间隔时间来激活 下 载机器人 ， “ 巡视” 是否存在最新的信息。 ２ ３信息智能处理子系统 该 系统预先通过 机器学 习建立用户感兴 趣 的 内容分类器 ， 当用户某一 次下载任务完成后 ， 发送消息激活处理子 系统 ，系统将会 自动地 处 理下载 的内容 ， 主要包括 自动分 类 、 自动摘要 和 元数据 分析 ， 如创 建正文 标题 、 键字 、 关 分析 作 者等。系统流程如图 ３ 所示 。
２系统架构
系统由三个子系统组成 ， Ｗｅ 信 息采集 即 ｂ 子系统 、信息智能处理子系统 和信 息发布子系 统。 三个 子系统 可以单独部署 和运行 ， 以通 也可 过接 口文件实现整个过 程的 自动化采集 、智能 化处理和主动式发布 ， 整体架构如 图 １ 所示。 １系统整体架构 该系统架 构不仅适 合较 大用户的分布式部 署采集 、 加工 的需要 ， 也可 以适应单 用户集 中部 署 的需要 。 当用户只需 要某个子系统 时 ， 只需对 接 口文件 稍作 配置 就可 以满 足不 同 的用 户需
３ Ｒ 去重 ．Ｕ Ｌ １ 常规的 Ｕ Ｌ 重有 两种解决思路 ， Ｒ 去 一是将 所有的 Ｕ Ｌ Ｒ 地址 存人数据库 ， 好索引后 ， 做 利 用数据 库的查 找来判 断该 Ｕ Ｌ 否被重 复下 Ｒ 是 载； 二是利用文件存储 ， Ｕ Ｌ 过一定转换 ， 将 Ｒ 通 也是建立基于文件 的查 找索引。这两种方式 的
二级 目录名 ， 三、 第 四个字 符组 合作为文件名存 放在二级 目录下 ，每个文件 的大小 固定为 ４ ， Ｋ 最后 还剩下 三个字符 一共是 １ｂｔ 共 有 ４ ９ ２ｉ ， ０６ 个二进制数 ，与 ４ Ｋ的文件大小 刚好 一一对应。 这种机制 能够容纳的总页面数 为 ２ ２ ３ ，大约 ４ ３ 亿个 ， 几乎包括 目前互联网 Ｅ 所有 Ｕ Ｌ Ｒ 链接 。 ３ Ｔ ￣ ． Ｈ ＭＬ ２ 为 了提高下载页面 的有效性 ， 需要过 滤掉 些无用 的噪声信息 。 传统 匕 有两种解决方案 ， 是 页面学 习的方式提取熵值最大 的页面分块 ； 二是通过定义访 问路径来提 取需要访 问的感 兴趣 的内容。无论是哪一种方案都 必须有 对页 面的Ｈ Ｍ Ｔ Ｌ的解析能力 ，即构 造合适 的数 据结 构来解析 Ｈ ＭＬ Ｔ 的标 签。解析 的难 点在于 目前 的网络 ｗｅ ｂ页面 的 Ｈ Ｍ 非 常不 规范 、不 严 Ｔ Ｌ 格 ， 之间即使有错误或 者不严格 的匹配 ， 标签 Ｉ Ｅ 也 能完美 的呈现 。 是为了信息 的精确提取 ， 但 必 须要构造严 密的访 问结构 。 ３ 自动摘要与元数据分析 ３ 摘要是指通过对文档 内容处理 ，从中提取 图 ３ 出满 足用户需求 的重要信息 ，经过 重组修 饰后 传 统上 的 Ｗｅ 信 息采集 不具 备对 下载 信 生 成比原文更精炼 的文摘过 程。 目 主要 自动 ｂ 前
一 一
图 １
息 的深层次加 工能力 ，而本系统不仅 实现 机器 文摘技术有三类 ： 基于浅层分 析的方法 、 于实 基 基于 话语结构 白方法 。 ｇ 的自 动分类 、 摘要 和元数 据分析 ， 还提供人 机交 体分 析的方 法、 本 系 统采用 一种 新 的使 用 自然语 言处 理 互 的机制 ， 将处 理的结果以便捷预览 的方 式呈 Ｎ Ｐ－ Ｉ ￣ 动摘要 系统 ， 通过融合基于 内容 现， 用户可 以进行修 改 、 删除以及确认后入 库存 （ Ｌ ） ＊ 的 自 的方法［ａｅ ｎ Ｃ ｎ ｎ 和基 于主题（ａｅ ｎ Ｂ ｓｄｏ ｏ ｔ ｔ ｅ］ Ｂ ｄｏ ｓ 储等操作 ， 发布信息的正确性 和有效性。 确保 Ｔｐ） ｏｉ的方法 ， 主题 与 内容 相结 合 ， 具有 ｃ 将 生成 ２ ． ４信息发布子系统 近年 来信息 的发布形式 越来 越备受关 注 ， 良好连贯性和流 畅性 的摘要。基本思想是首先 作为对外信 息服务的平 台，该子系统 主要 特点 对主题词进行分析， 动态地处理具有抽象标题和
弊端是显而易见 的 ， 中文网页有 ４ 如 亿左右 ， 假 设每一个 Ｕ Ｌ的平均长度 为 ２ 个 字符 ， 么 Ｒ ５ 那 参 考 文献 存储这些网页的 Ｕ Ｌ Ｒ 地址需要 的空间为 ８ 左 Ｇ １ １ 戴新 陈 ｎｅ 上 ｍｅ 动 右， 很显然面对如此 大的文件 ， 这种机制无法快 『尹存 燕． 宇． 家骏Ｊｔ ｔ 文本的 自 程如 图 ２所示。 计算机 工程 － Ｌ２ ０ ｅ ２ ｏ Ｖ ３ Ｎ ３ ｈ ０６ ｏ Ｒ 因此不能保证 陕速 的下载 摘要技 术． 有别于通用 的 Ｗｅ 信息采 集器 ， ｂ 该子系统 速的进行 Ｕ Ｌ查找 ，
信 息 技 术
ＣｎＮｗ ｅ ｎｏｅａ ｏ ｃ ｈａ ｅ Ｔ ｈ ｌｉ ｎＰ ｄ： ｉ ｃ ｏｇｓ ｄ ｒｕｓ ｔ
基于 ＷＥ Ｂ的智能 信 息采 集及处理
吴 艳
（ 阳 电 业局 信 息 中 心 ， 南 益 阳 ４ ３ ０ ） 益 湖 １０ ０
摘 要 ： 文研 究 的基 于 Ｗｅ 智 能信 息采 集及 处理 系统 ， 方 面采 用 高 效的 Ｕ Ｌ去 重 和基 于模 版 的 下栽 机 制 ， 大提 高 了采 集 本 ｂ的 一 Ｒ 极 Ｗｅ ｂ资源 的性 能 ； 一方 面应 用成熟 、 另 先进 的 自然语 言处 理技 术 ， 对采 集信 息做 智 能分 类和 摘要 。 关键词 ： ｂ 集 ， Ｒ Ｗｅ 采 Ｕ Ｌ去 重 ， 能信 息处理 ， 智 个性 化发 布
１引 言
ｗｗｗ 从诞生 以来 至今 ， Ｗｅ 信息 的搜 对 ｂ 索 正在从 “ 平 ” 向“ 直”从 “ 偏 走 垂 ， 通用 ” 发展 到 “ 陛和智能 ” 个 。但是据调查 目 前市 场上绝 大部 分搜索 工具或者产品都存在 “ 重采集 、 忽视信 息 的处理和服务”即对采集 的信息缺乏深层次 的 ， 加工 、 ， 处理 并且提供 主动的信息发布服务 的机 制。 经过十余年 的市场培育 ， ｂ ｗｅ 用户最需要的 是能提供面向一定的领域 ，有较好智 能程 度的 信息采集 、 加工和发布的产品， 本文将 构建 和实 现这样 的系统 。
中国新技术新产品
一４ｌ一
图２
ｚ ｂ ２ｗｅ 信息采集子系统 Ｗｅ 采集器 一般 都是 从称 为种 子 的 Ｕ Ｌ ｂ Ｒ 出发 ，通过协 议 向 Ｗｅ 上其 它所 需 页面作 扩 ｂ 展 。经研究表 明 Ｗｅ 上 ３％的页面是重复 的， ｂ ０ 当面 向特定 的主题 时 ， ％以上 的 Ｕ Ｌ 接是 ８ ０ Ｒ 链 我们不 的 ， 因此在采集 中如何进行 Ｕ Ｌ Ｒ 去 重 和分 析适合 主题特 征 的 Ｕ Ｌ 提高采 集子 Ｒ 是 系统 效率 的重要 因素 。同时 如何 获取 有 效 的 Ｗｅ 页 面信 息 ， 广告 、 ｂ 过滤 导航栏 等噪声 ， 将直 接影 响后续 的智能处 理的性能 。该子系统 的流
有： 多视角 、 多层次发 布采集 信息 ， 即从来 源 、 原 始栏 目、 分类体 系多个视角交叉进行展 示 ， 可以 灵 活的进 行信息集合 的交 、 并运算 ； 个性化 信息 发布， 用户登 录后 利用个 『化信息 定制界面 ， 生 选 择 自己感兴趣 的信息视角 ， 再次登 录后 ， 推送给 用 户的就是完全个性化 的信 息内容 ；强大 的信 息 检索能力 ， 不仅提供针对独立字 段的检索 ， 还 提供 陕速检索 、 高 ３若干关 键技术
和去重 。在本系统 中采 用了文件 目录寻址机制 来 实 现 Ｕ Ｌ的快速 去重 。基本 思想是 首先将 Ｒ Ｕ Ｌ Ｒ 地址做 Ｃ Ｃ ２ Ｒ ３ 转换 ， 生成—个唯一 的 ４ 字 节 ３ 位 的编 码 ， ：８ Ａ Ｂ Ｆ 将 ４ 字节组 ２ 如 ＥＣ Ｏ ３， 个 成两级 目录和一 级文件 ，即第—个字节 的首字 符作为第一级 目录名 ， 二 、 第 三个字符组合作 为
最大 的特点在 于任何用户的主题采集 都是在相 应 的模版 的支撑 下完成 。所谓模版 就是关于要 采集 的 Ｗｅ 对 象的特征描 述 ， ｂ 为了提 高下 载 的 有 效性 和效 率 ，将 某 一个 具体 的网站 所有 的 ｗｅ 页面划分为 Ｈ ｂ页和 Ｔ ｐ 页 ，表示为一 ｂ ｕ ｏｉ ｃ 个三元组＜ ，ｆ ｆ。 中 Ｍ刻画 Ｗｅ 页共性特 ＭＨ，＞ 其 Ｔ ｂ 征， ： 如 网站名称 、 网站 Ｕ Ｌ Ｒ 地址 、 言种类等 ； 语 Ｈ 刻画该 ｗｅ 资源 中的 Ｈ ｂ ｆ ｂ ｕ 页面特 征 ，即此 类 Ｗｅ ｂ中哪些 Ｕ Ｌ Ｒ 地址特 征是下载 时需 要解 析 的；而 Ｔ 则是刻 画某一类具 体的 Ｔｐｃ ｆ ｏｉ页特 征 ，主要 是描述用户最感兴趣 的内容的访 问路 径， ： 如 正文标题 、 者、 源等 。为 了实现对下 作 来 载的 Ｗｅ 资源 的监控 ， 最新 的信 息及时地推 ｂ 将 送 给用户 ，触发器可 以为用户 指定 适合需要 的 采 集策略 ，通过设定一定 的间隔时间来激活 下 载机器人 ， “ 巡视” 是否存在最新的信息。 ２ ３信息智能处理子系统 该 系统预先通过 机器学 习建立用户感兴 趣 的 内容分类器 ， 当用户某一 次下载任务完成后 ， 发送消息激活处理子 系统 ，系统将会 自动地 处 理下载 的内容 ， 主要包括 自动分 类 、 自动摘要 和 元数据 分析 ， 如创 建正文 标题 、 键字 、 关 分析 作 者等。系统流程如图 ３ 所示 。
２系统架构
系统由三个子系统组成 ， Ｗｅ 信 息采集 即 ｂ 子系统 、信息智能处理子系统 和信 息发布子系 统。 三个 子系统 可以单独部署 和运行 ， 以通 也可 过接 口文件实现整个过 程的 自动化采集 、智能 化处理和主动式发布 ， 整体架构如 图 １ 所示。 １系统整体架构 该系统架 构不仅适 合较 大用户的分布式部 署采集 、 加工 的需要 ， 也可 以适应单 用户集 中部 署 的需要 。 当用户只需 要某个子系统 时 ， 只需对 接 口文件 稍作 配置 就可 以满 足不 同 的用 户需
３ Ｒ 去重 ．Ｕ Ｌ １ 常规的 Ｕ Ｌ 重有 两种解决思路 ， Ｒ 去 一是将 所有的 Ｕ Ｌ Ｒ 地址 存人数据库 ， 好索引后 ， 做 利 用数据 库的查 找来判 断该 Ｕ Ｌ 否被重 复下 Ｒ 是 载； 二是利用文件存储 ， Ｕ Ｌ 过一定转换 ， 将 Ｒ 通 也是建立基于文件 的查 找索引。这两种方式 的
合集下载
基于网页分块自定义信息提取的Web信息采集器设计
＜ｔ ＞ ｈ ｍｌ ＜ ｏｙ ｂｄ＞
＜ｔｂ ｅ ａ ｌ＞
分块首先将 不够规范 的 Ｈ ＭＬ文档整理成格式 良好 的 Ｘ Ｔ Ｔ Ｈ ＭＬ
文 档 ，这 样 就 可 以像 对 待 一 般 Ｘ ＭＬ文 档 一样 对 待 Ｘ Ｔ Ｈ ＭＬ文 档 ， 可 以利 用 各 种 Ｘ ＭＬ标 准 技 术 来 操 纵 Ｘ Ｔ Ｈ ＭＬ文 档 ； 再 将 Ｘ Ｔ Ｈ ＭＬ文档 解 析 成 Ｄ Ｍ 标 签 树 的 形 式 ， 后 以标 签 进 行 内容 Ｏ 最
的站 点 ， 指 定 信 息 分 类 ， 后 定 义 网页 模 板 中 信 息 采 集 的位 并 最
０引言
随着 互 联 网 时代 的到 来 ， 网络 已经 成 为 人 们 获 取 信 息 的 重 要 来 源 ， 网络 信 息 具 有 海 量 、 杂 、 结 构 化 等 特 点 ， 网络 而 复 非 为 信 息 的获 取 带 来 了很 大 困 难 。 虽 然 网 络信 息 是无 限 的 ， 是 人 但 们 关 注 的 信 息往 往 集 中 在有 限几 个 网站 的 个 别栏 目中 。 传 统 在 的基 于 模 板 的 网 页 解 析 模 式 上 ， 们 结 合 用 户 在 信 息 订 阅和 使 我 用 上 的 需 求 ， 计 了这 套 自动 信 息 采 集 发 布 系 统 。该 系 统 可 取 设 代 传 统 的 人 工 信 息 采集 和信 息应 用 ， 大 程 度 上 提 高 了 网络 信 很 息 采 编人 员 的工 作 效 率 。
学 信技 界Ｉ息 术
网页 由 Ｈ ＭＬ标 签 和 文 本 组 成 ，ｔ ｄｖ 文 本 ＜ｄｖ ； 页 Ｔ ￣ ＜ ｉ＞ Ｕ ／ｉ＞ 网 图 ３中的 网 页 结构 由三 个 ＜ａｌ 标签 组 成 ， 分 别存 放 Ｌ — ｆ ｅ ｂ＞ Ｏ Ｇ 导航 栏 和 正 文 。 Ｏ， 其 网页 结 构 为 ：
＜ｔｂ ｅ ａ ｌ＞
分块首先将 不够规范 的 Ｈ ＭＬ文档整理成格式 良好 的 Ｘ Ｔ Ｔ Ｈ ＭＬ
文 档 ，这 样 就 可 以像 对 待 一 般 Ｘ ＭＬ文 档 一样 对 待 Ｘ Ｔ Ｈ ＭＬ文 档 ， 可 以利 用 各 种 Ｘ ＭＬ标 准 技 术 来 操 纵 Ｘ Ｔ Ｈ ＭＬ文 档 ； 再 将 Ｘ Ｔ Ｈ ＭＬ文档 解 析 成 Ｄ Ｍ 标 签 树 的 形 式 ， 后 以标 签 进 行 内容 Ｏ 最
的站 点 ， 指 定 信 息 分 类 ， 后 定 义 网页 模 板 中 信 息 采 集 的位 并 最
０引言
随着 互 联 网 时代 的到 来 ， 网络 已经 成 为 人 们 获 取 信 息 的 重 要 来 源 ， 网络 信 息 具 有 海 量 、 杂 、 结 构 化 等 特 点 ， 网络 而 复 非 为 信 息 的获 取 带 来 了很 大 困 难 。 虽 然 网 络信 息 是无 限 的 ， 是 人 但 们 关 注 的 信 息往 往 集 中 在有 限几 个 网站 的 个 别栏 目中 。 传 统 在 的基 于 模 板 的 网 页 解 析 模 式 上 ， 们 结 合 用 户 在 信 息 订 阅和 使 我 用 上 的 需 求 ， 计 了这 套 自动 信 息 采 集 发 布 系 统 。该 系 统 可 取 设 代 传 统 的 人 工 信 息 采集 和信 息应 用 ， 大 程 度 上 提 高 了 网络 信 很 息 采 编人 员 的工 作 效 率 。
学 信技 界Ｉ息 术
网页 由 Ｈ ＭＬ标 签 和 文 本 组 成 ，ｔ ｄｖ 文 本 ＜ｄｖ ； 页 Ｔ ￣ ＜ ｉ＞ Ｕ ／ｉ＞ 网 图 ３中的 网 页 结构 由三 个 ＜ａｌ 标签 组 成 ， 分 别存 放 Ｌ — ｆ ｅ ｂ＞ Ｏ Ｇ 导航 栏 和 正 文 。 Ｏ， 其 网页 结 构 为 ：
基于Web信息抽取的技术成果信息采集系统
相应 的数据填 充到模 板 页 中 ， 成 细节页 的内容 ． 形
《 成组技术与生产现代化）２ ０ ０ ７年第 ２ ４卷第 ４ 期
维普资讯
上述 特点 为开发 计算 机 自动 采集 程序 提供 了可 能， 即程序 可 以先 读取索 引页 ， 过提 取索 引页 中的 通 链 接 ， 导航 到 细节 页 ； 来 然后 依据 事先设 计 好 的抽 取 规 则 ， 细节页 中抽 取有 用的信 息． 从 信 息抽 取 的算 法 分 两部 分 组成 ， 一 部 分是 细 第
摘
要 ： 通 过 对 技 术 转 移 中 心技 术 成 果 信 息 收 集 的
分 析 ， 出采 用 基 于 ｗ ｅ 提 ｂ格 式 分 析 的技 术 成 果 信 息批 量 自 动 采 集 方案 ． Ｗ ｅ 对 ｂ信 息 抽 取 的 原理 及 实现 进 行 了分 析 ， 并 给 出 了技 术 成果 信 息采 集 的 程 序 实例 ． 关 键 词 ： Ｗｅ ； 息 抽 取 ； 术 转 移 ； 术 成 果 ｂ信 技 技
１ Ｗｅ ｂ信 息 抽 取
Ｗ ｅ 息抽取 是指 通过 对 网页 数 据 的分析 ， ｂ信 滤
除 网页 中的广告 、 格式控 制等 “ 噪音 ” 数据 ， 抽取有 用 的关键 信息 ， 并进 行分类 、 排序 等 的一 系列 过程［ ． ４ ］
１ １ Ｗｅ ． ｂ网页信 息
中 图分 类 号 ： ＴＰ ９ ３１
本 文 研究 对 网 页结 构进 行 分 析 ， 取 指定 信 息 抽
的方法 ， 以实 现技术 成果信 息 自动下 载 ， 分类 保存 ．
收 稿 日期 ： ０ ７ ９ １ ２ ０ —０ — ７ 基金项 目： 宁波 市 软 科 学 项 目（ ０ ６ ０ ０ ５ ２ ０ Ａ１ ０ １ ） 。
《 成组技术与生产现代化）２ ０ ０ ７年第 ２ ４卷第 ４ 期
维普资讯
上述 特点 为开发 计算 机 自动 采集 程序 提供 了可 能， 即程序 可 以先 读取索 引页 ， 过提 取索 引页 中的 通 链 接 ， 导航 到 细节 页 ； 来 然后 依据 事先设 计 好 的抽 取 规 则 ， 细节页 中抽 取有 用的信 息． 从 信 息抽 取 的算 法 分 两部 分 组成 ， 一 部 分是 细 第
摘
要 ： 通 过 对 技 术 转 移 中 心技 术 成 果 信 息 收 集 的
分 析 ， 出采 用 基 于 ｗ ｅ 提 ｂ格 式 分 析 的技 术 成 果 信 息批 量 自 动 采 集 方案 ． Ｗ ｅ 对 ｂ信 息 抽 取 的 原理 及 实现 进 行 了分 析 ， 并 给 出 了技 术 成果 信 息采 集 的 程 序 实例 ． 关 键 词 ： Ｗｅ ； 息 抽 取 ； 术 转 移 ； 术 成 果 ｂ信 技 技
１ Ｗｅ ｂ信 息 抽 取
Ｗ ｅ 息抽取 是指 通过 对 网页 数 据 的分析 ， ｂ信 滤
除 网页 中的广告 、 格式控 制等 “ 噪音 ” 数据 ， 抽取有 用 的关键 信息 ， 并进 行分类 、 排序 等 的一 系列 过程［ ． ４ ］
１ １ Ｗｅ ． ｂ网页信 息
中 图分 类 号 ： ＴＰ ９ ３１
本 文 研究 对 网 页结 构进 行 分 析 ， 取 指定 信 息 抽
的方法 ， 以实 现技术 成果信 息 自动下 载 ， 分类 保存 ．
收 稿 日期 ： ０ ７ ９ １ ２ ０ —０ — ７ 基金项 目： 宁波 市 软 科 学 项 目（ ０ ６ ０ ０ ５ ２ ０ Ａ１ ０ １ ） 。
基于Web的智能信息采集及处理系统设计与实现
文 编 ： ｏ ＿４ （ｏ １ ＿ ６ ＿ 文 标 码： 章 号 １ ３８０ ）＿ ２＿ ３ ｏ ２２ ７８ ０ ５０ 献 识 Ａ
中 分 号 Ｔ ３ 圈 类 ；Ｐ１ １
基 于 Ｗｅ ｂ的智 能信 息采 集及 处理 系统设 计 与 实现
（ 北京科技 大学信 息工程 学院，北京 １０ ８ ） ００３
Ｗｅ 采集器一般都是从称为种子的 Ｕ Ｌ出发， ｂ Ｒ 通过协议 向 Ｗｅ ｂ上其他 所需页面作扩展 。研究表 明， ｂ上 ３ ％的页 Ｗｅ ０ 面是重复 的，当面向特定的主题 时，８％以上的 ＵＲ ０ Ｌ链接是 人们不关心 的，因此 ， 在采集中如何进行 Ｕ Ｌ去重和分析适 Ｒ 合主题特征 的 Ｕ Ｌ是提高采集子 系统效率 的重要因素。 Ｒ 同时
ｗｗｗ 从诞生以来至今 ，对 Ｗｅ ｂ信息的搜索 正在从 “ 偏
平”走 向 “ 垂直 ” ，从 “ 通用”发展到 “ 个性和智能” 。但是 据调查 目前市场 上绝大部分搜索工具或者产 品都存在 “ 重采
统时， 只需对接 Ｅ文件稍作配置就可 以满足不 同的用户需求。 ｌ
１ Ｗｅ 信 息采集子系统 ． ２ ｂ
集、 忽视信息的处理和服务” 即对采集的信息缺乏深层次的 ，
加工、处理 ，并且提供主动的信 息发布服务的机制。
经过 ｌ Ｏ余年的市场培育 ， ｂ用户最需要的是能提供 面 Ｗｅ
ＺＨＡＮＧ ａ ， ｎ－ ａ ＹＡＮＧ ｎ － ｕ Ｆ ｎ ＬＩＬｉ ｎ ， Ｂｉ ｇ ｒ
（ｃｏ ｌ ｆｎｏｍａｏ ｎ ｎ ｉｅｒ ｇ Ｕｎｖｒｉ ｆ ｃｅｃ ｎ ｅｈ ｏｏ ｙＢ ｉｎ ， ｅ ｉｇ１０ ８ ） Ｓ ｈ ｏ ｆｒ ｔ ｎａ ｄＥ ｇｎｅ ｎ ， ｉｅｓ ｙｏ ｉｎ ｅ ｄＴｃ ｎ ｌｇ ｅ ｉｇ Ｂ ｉｎ ０ ０ ３ ｏＩ ｉ ｉ ｔ Ｓ ａ ｊ ｊ ［ ｓｒｃ ］Ｗｉ ｅｒｐｄｄ ｖｌｐ ｎ ｆ［ｔｒｅ， ｏｌ ｔ ｇａ ｄｅｐｏｔ ｇＷｅ ｆｒ ａｏ ｘｅ ｓ ｅｙａ ｄｅｓｄ Ｔ ｉ ｐ ｐｒ ｅｉｎ ｎ Ａｂｔａ ｔ ｔ ｔ ａｉ ｅ ｅｏ ｍｅｔ ｎｅｎｔｃ ｌｃｉ ｘ ｌｉｎ ｂｉ ｏ ｔ ｎｉ ｅ ｔｎｉ ｌ ｄ ｒｓｅ ． ｈｓ ａ ｅ ｓ ｓａｄ ｈｈ ｏ ｅ ｎｎ ｉ ｎｍ ｉ ｓ ｖ ｄ ｇ
基于Web的数控机床信息采集技术研究
ＣＸ Ａ Ａ公 司 的 “ 能 终 端 ” 品作 为 异 步 串 口服 务 智 产 器 ， 用数 控系 统 串 口打 印语 句 ， 行 数控 加工 信 利 进 息 采集 技术 研究 。
３ 信 息采 集的数 据库 结构
匹配 的通 信 软件则 是 根据 不 同 的应 用 需要 和数 控 系
统 的不 同 自行 研究 开 发或 定 制 ， 日本 Ｆ Ｎ Ｃ公 司 以 Ａ Ｕ 的 Ｏ 系统 为 例 （ 同 ） 要 实 现 Ｐ ｉ 下 ， Ｃ机 与 Ｆ Ｎ Ｃ 的 Ａ Ｕ
。
信 息采集原理实 际是基 于 网络 化制 造技 术平 台 ， 调用 Ｃ Ｃ系统 变量 ， Ｎ 通过 变 量读 和写 Ｃ Ｃ的各 种 内 Ｎ
ｌ ２
在 现 有 的 技 术 条 件 下 ， 信 服 务 器 、 络 交 换 通 网 机、 无线 网 卡及 各 类 数 控 机 床 均 有 非 常 成熟 的 产 品 及 附带通 讯 接 口可供 选 择 。异 步 串 口服务 器 及 与 之
发是 整个 远程监 控技 术平 台 的核 心技 术 。本 论 文 以
示， 所有 被管理 数据 均置 于服务 器数据库 中。 （ ） ２ 交
图 １ 信 息 采 集 的 网 络 化 制 造 技 术 平 台
换 机 ： 通信 服 务 器端 和无 线 路 由器端 需 要 传 输 的 将 信 息打包传 输 。 （ ） 线 路 由器 ： ３无 利用 不 同的 Ｉ Ｐ地
设备 是异 步 串 口服务器 。
收稿 日期 ：０ ０— ６— １ ２ １ ０ ２
作者简介 ： 范彩霞（９ ６ ， ， １７ 一）女 河南 ＿￣峡人 ， －－ －ｊ 黄河科技学 院工学院机械系讲师 ， 工学硕士， 主要从事数字化制造研究。 路素青 （９４一） 男 ， １７ ， 河南安阳人 ， 黄河科技学院讲师 ， 硕士 ， 研究 方向 ： 工程管理 。
基于Web的定向信息采集系统的设计与实现
Ｐｒ ｒ ａｓ 是一个 纯 的 ｉ ａ 的 ｈｍｌ 析 的库 ，由开 源组 ｅ ａ 写 ｖ ｔ 解 织 Ａ ａｈ 提 供 ， ｐｃｅ 主要 用 于改造 或提取 ｈｍ 。它能 超高 ｔｌ 速 解析 ｈｍ ， ｔ ｌ而且不 会 出错 。 在 Ｈ ｍ Ｐ ｒｅ 最新 版本 现 ｔ ｌａｓｒ
图 ｌ系统 框 架
１ ８
福
建 电
脑
２ １ 年 第 １ 期 ０ １ ｌ
基 于 Ｗｅ ｂ的定 向信息采集 系统的设计与实现
宋凯伦 ，邱广华 ，李 珊
（南京航 空航 天大 学 经济 管理 学院 江 苏 南京 ２ １０ １ １０）
【 要 】 互联网的快速发展 ， 摘 ： 导致信息采集技术的不断进步。为解决针对不同Ｗｅ ｂ网站的定向信 息采集 问题 ， 文介 绍 了一 种基 于 Ｗ ｅ 本 ｂ的定 向信息采 集 系统 的 实现 ， 实践证 明 ， 系统 具备 良好 的通 用 经 该 性 ， 集准确 率高 。 采 ．
１ 系统框 架 ．
获取 网页源 代码
过 滤， ｖＳ ｒ ｐ 脚 本 Ｊ ａ ｃ ｉｔ ａ
过滤输入标签 过滤图片标签
１ １
图 ２ 页 面 解 析 流 程
选取 网 页 中 ｄｖ ｔ ｌ ｉ 及 ａ ｅ标签 作为 页面解 析 中最 终 ｂ 系 统 主要分 为 页面 解析 ， 息定 制 （ 接采 集 ）链 信 链 ， 接 的正文 采集 。 自动更 新 四个 模块 。 系统框 架如 图 １ 所 获取的网页内容 ， 其优点很多 ， 最重要 的一点是当前互
示：
联 网中的许 多 网站 ， 均采用 ｄｖ ｃｓ ｉ＋ ｓ 或者 ｄｖ与 ｔｂｅ的 ｉ ａｌ
嵌套 布局 ， 经过对 网页 源代码 中无用 信 息 的过 滤 ， 获取 这 两 种标 签 的页 面 内容 往 往 便 能 获得 网页 的 主要 信
图 ｌ系统 框 架
１ ８
福
建 电
脑
２ １ 年 第 １ 期 ０ １ ｌ
基 于 Ｗｅ ｂ的定 向信息采集 系统的设计与实现
宋凯伦 ，邱广华 ，李 珊
（南京航 空航 天大 学 经济 管理 学院 江 苏 南京 ２ １０ １ １０）
【 要 】 互联网的快速发展 ， 摘 ： 导致信息采集技术的不断进步。为解决针对不同Ｗｅ ｂ网站的定向信 息采集 问题 ， 文介 绍 了一 种基 于 Ｗ ｅ 本 ｂ的定 向信息采 集 系统 的 实现 ， 实践证 明 ， 系统 具备 良好 的通 用 经 该 性 ， 集准确 率高 。 采 ．
１ 系统框 架 ．
获取 网页源 代码
过 滤， ｖＳ ｒ ｐ 脚 本 Ｊ ａ ｃ ｉｔ ａ
过滤输入标签 过滤图片标签
１ １
图 ２ 页 面 解 析 流 程
选取 网 页 中 ｄｖ ｔ ｌ ｉ 及 ａ ｅ标签 作为 页面解 析 中最 终 ｂ 系 统 主要分 为 页面 解析 ， 息定 制 （ 接采 集 ）链 信 链 ， 接 的正文 采集 。 自动更 新 四个 模块 。 系统框 架如 图 １ 所 获取的网页内容 ， 其优点很多 ， 最重要 的一点是当前互
示：
联 网中的许 多 网站 ， 均采用 ｄｖ ｃｓ ｉ＋ ｓ 或者 ｄｖ与 ｔｂｅ的 ｉ ａｌ
嵌套 布局 ， 经过对 网页 源代码 中无用 信 息 的过 滤 ， 获取 这 两 种标 签 的页 面 内容 往 往 便 能 获得 网页 的 主要 信
基于WebGIS的城市管理信息系统设计与实现
基于WebGIS的城市管理信息系统设计与实现随着城市化进程的加速和信息化的普及，城市管理变得越来越复杂。
如何高效、全面地收集和管理城市数据，成为了城市管理中急待解决的问题。
基于WebGIS的城市管理信息系统应运而生，它将地理信息系统(GIS)技术和Web技术相结合，为城市管理带来了巨大的便利。
一、系统架构基于WebGIS的城市管理信息系统由前端展示系统和后台管理系统两部分组成。
前端展示系统主要负责数据可视化展示和交互操作功能，后台管理系统则负责数据采集、处理和管理。
前端展示系统使用最新的Web技术，采用响应式布局，兼容各种设备和浏览器。
地图界面采用ArcGIS API for JavaScript，能够高效地展示各类数据，并提供缩放、平移、测量、搜索、标注、分析等功能。
用户可以通过地图定位、选择、筛选各种信息，也可以通过图表、表格等方式查看数据。
后台管理系统也使用Web技术，使用Node.js作为后台框架，采用MVC(Model-View-Controller)架构，将业务逻辑、数据模型和视图层分离。
数据库采用关系型数据库MySQL，前后端交互采用RESTful API，保证数据的安全、可靠和高效。
二、数据采集及处理城市管理信息系统需要大量的数据支撑，包括基础地理数据、人口数据、交通数据、环境数据、安全数据等。
这些数据获取的方式主要有两种，一种是利用公共数据资源平台获取，另一种是通过新建传感器获取。
公共数据资源平台包括政府开放数据平台、交通部门数据平台、气象局数据平台等，这些平台已经开放了海量的数据资源，可以供城市管理信息系统使用。
比如交通部门数据平台中包括实时交通拥堵情况、高速公路收费站车流量等数据，可以帮助城市管理人员更好地管控交通。
新建传感器可以帮助获取更多的数据，比如可以新建空气质量传感器、垃圾填埋场渗漏液监测传感器等，将数据实时传输到城市管理信息系统中，让城市管理人员更准确地掌握城市状况。
基于WEB的智能信息采集及处理系统的关键技术
中 国 新 技 术新 产 品
一３ １—
信 息技 术
Ｃａｗ ｃ—ｓＩｒ． 嵋 ■瞄 山■ ■ ｈ ｈｏ ＵＩＩ 囡团图 团 ■ ｉＮ ｎｇＺ—＇ｔ ■■ ■■ ｎ ｅ ｏｉＵＰＵ ｌ ａ ｏ｜ ｅｎ ￣ｓ ｄｄ● ｕ ｃ
基于 ＷＥ Ｂ的智能信息采集及处理系统的关键技术
谭 媛 媛 王 伟
（ 皇岛广播 电视 大学， 秦 河北 秦皇 岛 ｏ ６ ０ ） ６ ｏ Ｏ
有别于通用 的 Ｗｅ 信 息 集器 ， 子系统 速 的进行 Ｕ Ｌ 找 ， ｂ 采 该 Ｒ查 因此不能保证 快速 的下 载 最大的特点在于任何 用户的主题采集 都是 在相 和 去 重 。 应的模版 的支撑 下完 成。所 谓模版就 是关 于要 在本 系统 中采用 了文件 目录寻址机制来 实 采集的 Ｗｅ 对象 的特征描述 ， ｂ 为了提高下 载的 现 Ｕ Ｌ的快速去 重 。基本 思想是 首先 将 Ｕ Ｌ Ｒ Ｒ 有效性 和效 率 ，将某 一 个具 体 的 网站所 有 的 地址 做 Ｃ Ｃ ２ Ｒ ３ 转换 ， 生成—个唯一 的 ４ 字节 ３ ２ Ｗｅ 页面划分 为 Ｈ ｂ ｂ ｕ 页和 Ｔｐｃ ， ｏｉ页 表示 为～ 位 的编码 ， ：８ Ａ Ｂ Ｆ将 ４ 如 Ｅ Ｃ Ｏ ３ ， 个字节组成两级 个三元组＜ ，ｆｆ。 中 Ｍ刻 画 Ｗｅ 页共 性特 目录和一级文件 ，即第一个字 节的首字符作 为 ＭＨ，＞ 其 Ｔ ｂ 征， ： 如 网站名称 、 网站 Ｕ Ｌ 址 、 Ｒ 地 语言种类 等 ； 第一级 目录名 ， 第二 、 ｊ个字符组合作 为二级 目 Ｈ 刻画该 ｗｅ ｆ ｂ资源中 的 Ｈ ｂ页面特征 ，即此 录名 ， 三 、 字符组合作为文件 名存放在 二 ｕ 第 四个
程 如 图 ２所 示 。
１ 信 息智能处理子系统 ３ 该系统预先通过机器学 习建立用户感兴趣 的 内容分类 器 ， 当用户某一次 下载 任务完成后 ， 发送消息激 活处理子系统 ，系统将 会 自动地处 理下载 的内容 ， 包括 自动分类 、 主要 自动摘要和 元数据 分析 ， 如创建 正文标题 、 关键 字 、 析作 分 者等。系统流程如图 ３ 所示。 传统 上 的 ｗｅ 信息 采集不 具备 对下 载信 ｂ 息 的深层 次加工能力 ，而本 系统不仅 实现机器 的自 动分类 、 和元数据分析 ， 提供人机交 摘要 还 互 的机制 ， 将处 理的结果 以便捷 预览的方式呈 现， 用户可 以进行 修改 、 以及确认 后入库存 删除 储等操作 ， 确保发布信息的正确性和有效性 。 １ ４信 息发布子系统 近年来 信息 的发布形 式越来 越备受 关注 ， 作为对外信息 服务 的平 台，该子 系统 主要特点 有： 多视角 、 多层次发布采 集信 息， 即从来 源 、 原 始栏 目 、 分类体系 多个视 角交叉进行 展示 ， 以 可 灵活的进行信息集 合的交 、 并运算 ； 个性 化信 息 发布 ， 用户登 录后利 用个 性化信息定制 界面 ， 选 择 自己感兴趣 的信息视角 ， 再次登 录后 ， 推送给 用户的就是完全个 ｌ化的信息 内容 ；强大的信 生 息检索能力 ， 不仅提供 针对独立字段 的检索 ， 还 提供 陕速检索 、 的表达式 检索及全文检索。 高级 ２若干关键技术
基于移动WEB的小规模快速信息采集系统设计与实现
１ ｅ ｃ ｔ ｉ ｏ ｎ ｓ ｙ ｓ ｔ ｅ ｍ， ｍａ ｋ ｅ ｓ ｉ ｔ ｐ ｏ ｓ ｓ ￣ｌ ｅ ｔ ｏ ａ ｃ ｈ ｉ ｅ ｖ ｅ ｓ ｍａ ｌ ｌ － ｓ ｃ ａ ｌ ｅ ， ｆ ａ ｓ ｔ ａ ｃ － ｑ ｕ ｉ ｓ ｉ ｔ ｉ ｏ ｎ ｃ ｏ ｌ ｌ ｅ ｃ ｔ ｉ ｏ ｎ ｓ ｙ ｓ ｔ ｅ ｍ’ Ｓ ｉ ｍｐ ｌ ｅ ｍｅ ｎ ａｔ ｔ ｉ ｏ ｎ ｎ ｉ ｔ ｈ ｅ ｉ ｆ ｅ ｌ ｄ ｏ ｆ ｍｏ — ｂ ｉ ｌ ｅ ｗｅ ｂ ｓ ｉ ｔ ｅ ａ ｌ ｓ ｏ ｈｅ ｔ Ｉ ｎ ｔ ｅ ｍｅ ｔ ｏ ｆ Ｔｈ ｉ ｎ ｇ ｓ ．
第２ ８卷
第 ２ 期
电 力 学 报
Ｊ ＯＵＲＮＡＬ ０Ｆ ＥＬＥＣＴＲＩ Ｃ Ｐ ＯＷ ＥＲ
Ｖ ０ ｌ ＿ ２ ８ Ｎｏ ． ２ Ａｐ ｒ ．２ ０ １ ３
２ ０ １ ３ 年 ４月
文章编号 ：１ ０ ０ ５ — ６ ５ ４ ８ （ ２ ０ １ ３ ） ０ ２ — ０ １ ５ ２ — ０ ４
中图分类号 ：Ｔ Ｐ ３ １ １
文献标 志码 ：Ｂ
学科分类号 ：４ ７ ４０ ０
基于移动 ＷＥ Ｂ的小规模快速信息采集系统设计与实现
朱 云 雷
（ 山西大学工程 学院，太原 ０ ３ ０ ０ １ ３ ）
Ｄｅ ｓ ｉ ｇ ｎ ａ ｎ ｄ Ｉ ｍｐ ｌ ｅ ｍｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ ｏ ｆ Ｒａ ｐ ｉ ｄ ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｃｏ ｌ ｌ ｅ ｃ ｔ ｉ ｏ ｎ Ｓ ｙ ｓ ｔ ｅ ｍ Ｂａ ｓ ｅ ｄ ｏ ｎ Ｍｏ ｂ ｉ ｌ ｅ Ｗ ＥＢ Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ
ｉ ｎｔ ｅ ｒ ｎｅ ｔ ｏｆ ｈｉ ｔ ｎｇ ｓ
摘要 ：本文结合 当前小规模管 理信 息系统发展 趋势 和应用
第２ ８卷
第 ２ 期
电 力 学 报
Ｊ ＯＵＲＮＡＬ ０Ｆ ＥＬＥＣＴＲＩ Ｃ Ｐ ＯＷ ＥＲ
Ｖ ０ ｌ ＿ ２ ８ Ｎｏ ． ２ Ａｐ ｒ ．２ ０ １ ３
２ ０ １ ３ 年 ４月
文章编号 ：１ ０ ０ ５ — ６ ５ ４ ８ （ ２ ０ １ ３ ） ０ ２ — ０ １ ５ ２ — ０ ４
中图分类号 ：Ｔ Ｐ ３ １ １
文献标 志码 ：Ｂ
学科分类号 ：４ ７ ４０ ０
基于移动 ＷＥ Ｂ的小规模快速信息采集系统设计与实现
朱 云 雷
（ 山西大学工程 学院，太原 ０ ３ ０ ０ １ ３ ）
Ｄｅ ｓ ｉ ｇ ｎ ａ ｎ ｄ Ｉ ｍｐ ｌ ｅ ｍｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ ｏ ｆ Ｒａ ｐ ｉ ｄ ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｃｏ ｌ ｌ ｅ ｃ ｔ ｉ ｏ ｎ Ｓ ｙ ｓ ｔ ｅ ｍ Ｂａ ｓ ｅ ｄ ｏ ｎ Ｍｏ ｂ ｉ ｌ ｅ Ｗ ＥＢ Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ
ｉ ｎｔ ｅ ｒ ｎｅ ｔ ｏｆ ｈｉ ｔ ｎｇ ｓ
摘要 ：本文结合 当前小规模管 理信 息系统发展 趋势 和应用
基于Web结构的网站新闻采集系统的设计与实现
Ｂｔ ｙｅ口Ｐ ｇ Ｄ ｔ ＝ＷＣＤｏ ｎｏｄ ｔ （ ｅ ｕ１ ａ ｅ ａａ ． ｗ ｌａ Ｄａａ ｗ ｂ ｒ ； ）
Ｈｔ Ｃｏ ｅ ｍｌ ｄ ＝ Ｅｎ ｏ ｉ ｇ Ｄｅ ａ ｌ Ｇｅ Ｓ ｉ ｇ ｃ ｄ ｎ ． ｆ ｕｔ ｔ ｔ ｎ ． ｒ
页 面结 构具 有一 些特 定规 则 ，如 页面 内容 往往 是 以
第３ ３卷第 ２期 ２１ ０２年 ３ 月
Ｖ １３ Ｎｏ ｏ． ． ３ ２ Ｍａ． ０２ ｒ２ １
井 冈山大学 学报（ 自然 科学版） Ｊ ｕ ａ ｏ ｉ ｇ ｎ ｓａ ｉｅｓ ｙ（ ｔ ａ Ｓ ｉ ｃ） ｏ ｒ ｌ ｆＪ ｇ ａｇｈ ｎ Ｕｎｖ ｒ ｔ Ｎａ ｒｌ ｃｅ ｅ ｎ ｎ ｉ ｕ ｎ ５ ４
Ｗ Ｃ． ｅ ｅ ｆ ｌ Ｃｒ ｄ ｎ ｉｌ ｃ ｅＤｅ ａ ｌ ｅ ｅ Ｃｒ ｄ ｎ ａｓ ｉ ＝ ｅ ｅ ｔ Ｃａ ｈ ． ｆ ｕ ｔ ｄ ｎ ａ Ｃｒ
ｔａｓ ｉｌ ；
信 息 ，因此 影 响抽取 效率 和准确 度 。 １ 本文 工作 内容 ． ４
虽 然 网页类 型和 结构 不 同 ，但一 个 网站 中 的各
文章编号 ：１７ ．０ ５２ １）２ ０ ５ －４ ６ ４８ ８（０ ２０ — ０ 采集系统 的设计 与实现
陈建 国
（． 南大 学软件 学院 ，湖南 ， 长沙 １湖 ４ ０ ８ ；２ 厦 门理工 学院 ，福 建 ，厦 门 １０２ ． ３ １２ ） ６０１
将 这些 Ｕ Ｌ放 入一 个采 集 队列 ，顺序 读取 Ｕ Ｌ以 Ｒ Ｒ
１ ＷＥ Ｂ信息采集和 新闻采集
１１ Ｗｅ ． ｂ信息 采集 Ｗｅ ｂ信 息采集 是指 通过 Ｗｅ 页面 之 间的链接 ｂ 关系 ，从 Ｗｅ ｂ上 自动地 获取 页面信 息 ，并且 随着链
设计基于web的新闻采集系统
式 实 现 对 网 页 中 的 新 闻 的采 集 、 理 与 发 布 ， 大 的提 高 了网 站 整 极 的 目标 信 息将 保 存 到数 据 库 中。 用 于 内部使 用 或 者发 布 到外 网 。 ２ 系统 主要 功 能 介 绍 、 根 据 用 户 自定 义 的 任 务 配 置 ， 量 而 精 确 地 抽 取 目标 网 络 媒 批 新 闻采 集 概 述 转 标 作 内 所 谓 新 闻 采 集 系 统 是 将 非 结 构 化 的 新 闻 文 章 从 多 个 新 闻 来 体 栏 目中 的 新 闻或 文 章 ， 化 为 为 结 构 化 的 记 录（ 题 ， 者 ， 容 ， 集 时 间 ， 源 ， 类 ， 关 图 片 等） 保 存 在 本 地 数 据 库 中 ， 采 来 分 相 ， 用 源 网 页 中抽 取 出来 保 存 到结 构 化 的数 据 库 中的 软 件 。
２ ０年 １ ０１ １月 总 ３ ８期 ６
基 于 ｗ ｅｂ 的 新 闻 采 集 系 统
杨小 佩 孙吉刚 谢楠
（ 徐州 空 军学 院
江 苏 徐 州 ２ １ ０ ） ２ ０ ０
吊函夯奏萼：一 一 Ｇ３ 一— ６
文献标识码： Ａ
文 章 编 号 ：０ ７ ０ ７ （０ ）１ ０ ７ － １ １ ０ — ４ ５２ １ ０ － １ ０ ０ １
计 与 实 现功 能 。
新 闻采 集 系 统 的 设计 系 统采 用 Ａ ＰＮ Ｔ或 是 其 它 开 发 技 术 ， 用 三 层 架 构 ， 据 Ｓ ．Ｅ 采 数 操 作 使 用 微 ｏ — Ｄ ｔＡ ｃ ｓＡ ｐｉ ｔ ｎ ｃｉ Ｂｏ ｋ ） 使得 组 件 将 访 问数 据库 的性 能 和 资 源 管理 方 面 的丰 富 经 ｌ ｃ 。 验 封 装 在 一 起 ． 用 数 据 库 系统 是 ＭｙＱ Ｓｒｅ。 在．Ｅ 应 用 程 常 Ｓ Ｌ ｅｖｒ ＮＴ 序 的可 以很 方 便 的 将 其 作 为 构 造块 使用 ，从 而减 少 了需 要 创 建 、 Ｗ Ｗ拥有 着 巨大 的信 息资 源 。 Ｗ 被称 为海 量资 源库 ， 这些 资源 随着 科技发展 还再 以几何 级数 的方式 增长 。其 中有 着许 多有价 值 的信息 ，
２ ０年 １ ０１ １月 总 ３ ８期 ６
基 于 ｗ ｅｂ 的 新 闻 采 集 系 统
杨小 佩 孙吉刚 谢楠
（ 徐州 空 军学 院
江 苏 徐 州 ２ １ ０ ） ２ ０ ０
吊函夯奏萼：一 一 Ｇ３ 一— ６
文献标识码： Ａ
文 章 编 号 ：０ ７ ０ ７ （０ ）１ ０ ７ － １ １ ０ — ４ ５２ １ ０ － １ ０ ０ １
计 与 实 现功 能 。
新 闻采 集 系 统 的 设计 系 统采 用 Ａ ＰＮ Ｔ或 是 其 它 开 发 技 术 ， 用 三 层 架 构 ， 据 Ｓ ．Ｅ 采 数 操 作 使 用 微 ｏ — Ｄ ｔＡ ｃ ｓＡ ｐｉ ｔ ｎ ｃｉ Ｂｏ ｋ ） 使得 组 件 将 访 问数 据库 的性 能 和 资 源 管理 方 面 的丰 富 经 ｌ ｃ 。 验 封 装 在 一 起 ． 用 数 据 库 系统 是 ＭｙＱ Ｓｒｅ。 在．Ｅ 应 用 程 常 Ｓ Ｌ ｅｖｒ ＮＴ 序 的可 以很 方 便 的 将 其 作 为 构 造块 使用 ，从 而减 少 了需 要 创 建 、 Ｗ Ｗ拥有 着 巨大 的信 息资 源 。 Ｗ 被称 为海 量资 源库 ， 这些 资源 随着 科技发展 还再 以几何 级数 的方式 增长 。其 中有 着许 多有价 值 的信息 ，