数字环境下通用概念获取方法

概念的获取与分类是知识组织体系构建的重要工 作。例如，叙词表 的 选 词 主 要 由 普 通 名 词 与 专 有 名 词 构成 ［１］，普通名词 主 要 包 括 具 体 事 物 名 称 和 抽 象 事 物 名称，具体事 物 名 称 例 如 “海 洋 ”，抽 象 事 物 名 称 例 如 “铸造”；专 有 名 词 通 常 为 人 名、地 名、产 品 名 等，例 如 “孙中山”。在本体 构 建 中，概 念 词 汇 与 实 例 词 汇 也 是 本体构建的主要成分［２－３］，例如，可以用“城市”代表一 个概念，而“北京 市 ”则 是 一 个 实 例。 在 所 有 这 些 概 念 词汇的研究中，通用概念具有一定的特征和应用价值， 数量上也占 有 一 定 的 份 额。无 论 是 综 合 叙 词 表，还 是 专业叙词表，通常都有一个单独的通用概念范畴，有的 叙词表命名为一般概念，有的叙词表命名为通用词，这 些词例如“研究”、“设计”、“应用”等，是在不同专业都 有应用的泛指词，在概念组配方面有重要价值 。 ［４］ 在 国内图书馆学、情报学领域相关机构及领域专家的参 与下，中国科学技术信息研究所 ２００９年启动了《汉语 主题词表》（工程 技 术 版 ）的 编 制 与 修 订 工 作，通 用 概
２ 基于词频分布人工获取通用概念
首先观察一个具体的例子，“设计”是一个公认的 通用概念，以 “设 计 ”作 为 关 键 词 检 索 万 方 数 据 ［９］，在 “工业技术”类文献下，检索结果如截图 １所示：
图 １ 关键词“设计”在工业技术类文献中的词频分布 从图 １可以看出，“设计”一词作为关键词，出现在 所有工业技术下的二级类目中，而且词频数量巨大，对 应的文献量巨大，有典型的通用概念 特征。使用 “水 库”一词进行 检 索，在 “工 业 技 术 ”类 下 检 索 结 果 如 截 图 ２所示：
ＳｏｍｅＭｅｔｈｏｄｓｏｆＯｂｔａｉｎｉｎｇＧｅｎｅｒａｌＣｏｎｃｅｐｔｓｉｎＤｉｇｉｔａｌＥｎｖｉｒｏｎｍｅｎｔ ＣｈａｎｇＣｈｕｎ ＬａｉＹｕａｎｇｅｎ
ＩｎｓｔｉｔｕｔｅｏｆＳｃｉｅｎｔｉｆｉｃａｎｄＴｅｃｈｎｉｃａｌＩｎｆｏｒｍａｔｉｏｎｏｆＣｈｉｎａ，Ｂｅｉｊｉｎｇ１０００３８
〔Ａｂｓｔｒａｃｔ〕Ｉｎｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｔｈｅｓａｕｒｉ，ｏｎｔｏｌｏｇｉｅｓａｎｄｏｔｈｅｒｋｎｏｗｌｅｄｇｅｏｒｇａｎｉｚａｔｉｏｎｓｙｓｔｅｍｓ，ｔｏｏｂｔａｉｎｇｅｎｅｒａｌｃｏｎｃｅｐｔｓｉｓｎｅｅｄｅｄ． Ｔｈｅｐａｐｅｒｉｎｔｒｏｄｕｃｅｓ３ｍｅｔｈｏｄｓｔｏｏｂｔａｉｎｇｅｎｅｒａｌｃｏｎｃｅｐｔｓ．Ｔｈｅｆｉｒｓｔｉｓｔｏｒｅｕｓｅｏｌｄｇｅｎｅｒａｌｃｏｎｃｅｐｔｓｉｎｔｒａｄｉｔｉｏｎａｌｋｎｏｗｌｅｄｇｅｏｒｇａｎｉｚａ ｔｉｏｎｓｙｓｔｅｍｓ；Ｔｈｅｓｅｃｏｎｄｉｓｔｏｏｂｔａｉｎｇｅｎｅｒａｌｃｏｎｃｅｐｔｓｗｉｔｈｄｉｓｔｒｉｂｕｔｉｏｎｓｏｆｋｅｙｗｏｒｄｓｉｎｔｈｅｌｉｔｅｒａｔｕｒｅ；ａｎｄｔｈｅｔｈｉｒｄｉｓｂａｓｅｄｏｎｋｅｙ ｗｏｒｄｓｆｒｅｑｕｅｎｃｙａｎｄｓｔａｎｄａｒｄｄｅｖｉａｔｉｏｎｔｏｏｂｔａｉｎｇｅｎｅｒａｌｃｏｎｃｅｐｔｓ．Ｔｈｅａｂｏｖｅｔｈｒｅｅｍｅｔｈｏｄｓｈａｖｅｔｈｅｉｒｏｗｎｃｈａｒａｃｔｅｒｉｓｔｉｃｓａｎｄｕｓｅｎｅｓｓ ｄｏｍａｉｎ，ｂａｓｅｄｏｎｔｈｅｐｒｏｊｅｃｔｓｉｔｕａｔｉｏｎ；ｔｈｅｓｅｍｅｔｈｏｄｓｃａｎｂｅｕｓｅｄａｌｏｎｅｏｒｉｎｃｏｍｂｉｎａｔｉｏｎ． 〔Ｋｅｙｗｏｒｄｓ〕ｔｈｅｓａｕｒｕｓ ｏｎｔｏｌｏｇｙ ｇｅｎｅｒａｌｃｏｎｃｅｐｔ ｓｔａｎｄａｒｄｄｅｖｉａｔｉｏｎ ｋｅｙｗｏｒｄｓｆｒｅｑｕｅｎｃｙ
表 １ 在 １６个文献类目均有分布的关键词词频与标准差
词汇有频率 设计 故障排除 故障 可靠性设计 微观结构 统计 参数估计 分散 单片机 可视化 电力系统 变压器
ＴＢ ＴＤ ＴＥ ＴＦ ＴＧ ＴＨ ＴＪ １９ ２ ５ ６ ２９ ２４ １ １２ １６ １９ １８ １３ ５５ １ ５ ９ ４ ４ ６ １２ １ ５ １３ ２１ ５ ２９ １０ ８ ６７ ２９ ８ １３ ４６ ９３ １７ ３０８ ４６１ ５７３ ３１１ ５３３ ６６２ ６６ １２２ １６ ２２ ４ ６２ ２３４ １４ ６０１ ６９７ ７８５ ３２９ ９３１ １７４５ ６４ ５ ９ ４ ４ ４１ １０２ １ １１３ ２５０ ９２ １３３ ２５８ ９３８ ３３ ４１ ２１ ７ １ １１ １２０ １４ ２５９ １３ ３８ ４１ ３２８ １４ ５ １４ ８ １２ ９ １７ １２ １ ４７ ２ １７ １ １４ ３０ ２２ １１６ １３ １３ １５ ２８ １ ２ １５０ ３３５ ７８ ２９ ３１３ ８６８ ７０ ３８ １０８ ３４ ４ ４５ ９８ １６ ７ ９ １６ ２ １ ８ １ １２ ３８ ２１ ２４ ２０ ３１ ２
３ 基 于 类 目 间 关 键 词 词 频 标 准 差 大 小 机 器辅助获取
针对以上问题，本文试验了机器辅助获取、消除词 频误差的相对词频与标准差方法，获取通用概念，统计 方法与试验结果如下。 ３．１ 材料与方法 试 验 材 料 使 用 万 方 数 据 学 术 论 文 库，该 库 基 本 采 用《中国图书馆分类法》的分类体系，文献共分 ２２个一 级大 类。 一 级 大 类 “工 业 技 术 ”下 分 １６个 二 级 大 类［１０］。抽取 １９８７－２００９年所有学术论文文献数据，提 取论文的关键词，经过去重、去掉词频为 １的关键词等 数据清洗，得到总量约 ３００多万个关键词，从这些词中 随机抽取 １万个关键词，用于完成本试验。由于课题 是《汉语主题词表》（工程技术版）的编制，所以抽取的 关键词必须 是 在 一 级 大 类 “工 业 技 术 ”下 的 文 献 中 出 现过的关键词。为了探索一个概念通常情况下出现在 几个类目中，统计了这 １万个关键词在 １６个二级类目 文献数据库 中 的 词 频 分 布 情 况。包 括：关 键 词 在 各 二 级类目文献中的词频；在工业技术一级类目下的总词 频；计算了每个关键词以上两项统计值相除后的相对 词频值；使用相对词频值，计算了每个关键词相对词频 值在 １６个二级类目间的标准差。 ３．２ 基于标准差排序获取通用概念 理论上讲，关键词首先应该在 １６个二级类目文献 中都有词频，这样的关键词通常是通用概念，从试验数 据中提取的在所有类目文献中都有关键词分布的词汇 见表 １。从表 １数据可以看出，１９个关键词基本上都 属于通用概念或是工业技术中的专业通用概念，标准 差比较小的“设计”（０．０６９７）、“优化”（０．０５６６）、“调 节”（０．０５０９）等，都 是 典 型 的 通 用 概 念。 随 着 标 准 差
本文系国家社会科学基金资助项目“网络环境下叙词表的编制模式与应用方式研究”（项目编号：１０ＢＴＱ０４８）和国家“十 二五”科技支撑计划“面向外文科技文献信息的知识组织体系建设与应用示范”（项目编号：２０１１ＢＡＨ１０Ｂ００）研究成果之一。 收稿日期：２０１１－０６－１３ 修回日期：２０１１－０８－０９ 本文起止页码：２２－２５ 本文责任编辑：徐 健
２３
＜＜专 题
的增大，单个关键词虽然可以应用到所有文献中，但还 的关键词，进行人工判断，选择常见的通用概念。使用
是相对集中地出现在某 一类 文献中，例 如，标准差为 试验数据，选出“解决办法”（０．０５）、“尺寸”（０．０７）、“降
０．２１２１的“变压器”，应该属于 ＴＭ类（电工技术），标 温”（０．０７）等关键词，也是非常典型的通用概念。同样
域专家人工提供，耗时长，过度依赖领域专家个人隐性 知识。虽然提供 的 概 念 本 身 是 符 合 编 制 规 范 的，但 不 同人员可能会提供不同数量的概念，存在概念覆盖面 是否全面的问题。通过统计关键词词频分布获取通用 概念，不仅工作量大，而且同样存在阈值把握问题。例 如，如果词频为 渐变 或等 差数 列式 递减，没有显著差 异，则如何判断？另外，关键词词频与不同类目下文献 数量也有一定关系，假设万方数据中“水利工程”类文 献收集的比较少，可以推断“水库”关键词的词频也不 会如此高，而万方数据各类目下的文献数肯定是不一 样的，所以基于词频会存在误差。
准差为 ０．１４８７的“可视化”应该属于 ＴＰ类（自动化技 方法还可以考虑在 １４个类目、１３个类目等文献中分布
术、计算机技术）。
的关键词，具体考虑到多少个类目为止，需要根据具体
对于在 １５个类目中都有分布的关键词，同样可以 数据获取经验值，并在大规模数据中进行验证与评价。
使用标准差分布表，从小到大排序，截取标准差比较小
＜＜专 题
数字环境下通用概念获取方法
常 春 赖院根
中国科学技术信息研究所 北京 １０００３８
〔摘要〕在叙词表、本体等知识组织体系构建过程中，需要获取通用概念。笔者试验了三种获取通用概念的方法， 一是继承传统知识组织体系通用概念，二是通过关键词在文献中词频分布情况确定通用概念，三是基于关键词总 词频与标准差二维信息获得通用概念。研究结果表明：以上三种方法各有特点及使用范围，在概念获取时可以根 据课题具备条件单独使用或组合使用。 〔关键词〕叙词表 本体 通用概念 标准差 词频 〔分类号〕Ｇ２５４
２ ２ＬＩＢＲＡＲＹ ＡＮＤ ＩＮＦＯＲＭＡＴＩＯＮ ＳＥＲＶＩＣＥ
＞＞
第 ５５卷 第 ２２期 ２０１１年 １１月
９２Ｂ形状、尺寸，９２Ｃ时间、方位等，共收集了 ４７５个通 用概念。作为《汉 表 》修 订 项 目，这 些 词 在 入 选 方 面 应 该占有较大的权重，甚至根据这些词汇的统计数据属 性重新进 行 分 类。 例 如，“计 算 ”一 词，需 要 统 计 在 各 级大类中的词频情况，根据词频大小，确定是继续放到 通用概念下，还是放到 Ｏ类（数理科学与化学）或 ＴＰ 类（自动化技术、计算机技术）。 另外，还有大 量 的 专 业 叙 词 表，例 如 《农 业 科 学 叙 词表》、《水利水 电 科 技 主 题 词 表 》（以 下 简 称 《水 表 》） 等［８］，同样有通用概念。《水表》一级范畴号 ２０“通用 词”下设 ２个 二 级 类 目，２０Ａ为 “复 合 通 用 词”，例 如 “安全管理”、“分布规律”等；２０Ｂ为“一般通用词”，例 如成分、利用、应用等。