VSP VKM Server 使用指南

VSP VKM Server使用指南 维思比科技（北京）有限公司 目 录 1. VKM Server 介绍..............................................................................................................................1 1.1 概述............................................................................................................................................1 1.2 功能介绍....................................................................................................................................1 2. VKM Server 使用配置......................................................................................................................2 2.1 总体功能配置............................................................................................................................2 2.2 单独配置....................................................................................................................................3 3. FAQ......................................................................................................................................................8

2VSP VKM Server使用指南 1. VKM Server 介绍 1.1 概述 VKM Server 全称是 VSP Knowledge Management Server，囊括自然语言处理模块的多个

功能。目前支持 Windows，Linux 下运行，以可配置的方式动态加载功能模块。

1.2 功能介绍 VKM Server 功能可以单独或组合配置为：聚类、拼音提示、拼音纠错、相关短语提示、

摘要、情感分析、舆情监控、分类和词典维护等。 聚类：将大量文本聚合在一起，按照特定聚类算法分成若干类。类别不是事先指定的， 是相似的文本自动组合而成的。使用场景：热点新闻（参考：http://news.google.cn），文本 排重，文本相似关联，事件趋势跟踪等。 拼音纠错：当用户输入错别字或拼音时，利用拼音字母替换，来尝试提示用户期望的输 入。范围包括但不限于同音不同字、英文、拼音等错误。比如输入“字行车”，提示用户“自 行车”。 相关短语提示：对于用户输入的词，来提示用户和此词相搭配的短语。 比如：

图 1 输入“自行车” 图 2 相关短语提示结果（摘自国富商通项目） 拼音提示：当用户输入时，对输入的汉字或拼音实时提示可能的输入结果。类似于拼音 输入法，但还能对输入的汉字来提示。 比如：

图 3 拼音提示演示（摘自国富商通项目） 1VSP VKM Server使用指南 摘要：通过分析文本，将文本中权重较高的句子抽出形成摘要，来代表全文。使用场景： 带检索词的摘要、无检索词摘要、关键词抽取、无标题文本的标题抽取。

情感分析：（内测中，暂未开放）。 舆情监控：根据关键词、词语搭配和语义扩展等分析手段，挖掘分析文本中的敏感信息。 使用场景：敏感信息分析、敏感信息抽取。 分类：通过特定分类算法将文本归入到已知类中，已知类是事先指定，利用样本训练获 得的。使用场景：文本自动分类。 词典维护：可对 VKM Server 中配置的词典中的词条信息进行增删改查等操作，包括外 挂词典、概念词典、相关短语搭配词典、拼音纠错词典和相关短语提示词典等。使用场景： 添加修改同义词、拼音提示修改权值调整排序等等。

2. VKM Server 使用配置

2.1 总体功能配置 1) 参数配置：

VKM Server 配置文件是根目录下 vkm_server.xml，包括网络配置，功能配置，摘要模 块配置。

2 配置字段 说明 默认值 值说明 注意事项 service_name 服务名（程序名）vkm_server service_dir 服务器所在目录 service_port 服务器监听端口 9913 不 与 已 有 的 系 统端口重复 在同一台电脑上 配 置 多 个vkm server 时，要修改为不同的端口 connect_retries 连接重试词数 3 connect_timeout 连接超时时间 3 单位：秒 recv_timeout 接收超时时间 30 单位：秒 send_timeout 发送超时时间 5 单位：秒 max_listen 最大监听数 1 max_socket 最大 socket 数 8 max_listen 与max_socket 的乘 积为 server最大连接数 max_thread 最大线程数 1 cluster_debug 调试打印接口 0：不调试打印 0 1：调试打印 预留功能，无效 load_cluster 加载聚类模块 0 0：不加载 1：加载 load_pyec 加载拼音纠错模块0 同上 VSP VKM Server使用指南 3 2) 词典配置： 表 1 vkm_server.xml 配置说明 全局（所有模块都需要）词典，copy segment.dict 和 segment.stop到本地 dict 目录中。 2.2 单独配置 1. 聚类：

配置文件：在 sys 目录下 cluster_config.xml 和 cluster_server.xml 文件 cluster_server.xml 说明 可以事先将需要聚合的文本标注类名，文本只在指定的类中聚合。比如文本分为“新闻” 和“论坛”两类（此分类应在数据库中标明或来自不同数据库），文本只在各自分类中 聚合。

配置示例 表 2 cluster_server.xml 配置说明

图 4 cluster_server.xml 配置示例

load_pytip 加载拼音提示模块0 同上 load_colloc 加载相关短语提示模块 0 同上

load_sentiment 加载情感分析模块0 同上 load_classify 加载分类模块 0 同上 load_monitor 加载舆情监控模块0 同上 load_abstract 加载摘要模块 0 同上 keywords_max_count摘要抽取关键词个 数限制 12

abstract_max_length 摘要抽取结果的最大长度限制 512 单位：字节 abstract_min_length 摘要抽取结果的最小长度限制 384 单位：字节

配置字段 说明 注意事项 class_name 类名 可以使用任意 UTF8 字符， 大小写敏感 class_dir 类对应的存储目录，data 下的目录名 只能使用英文目录 VSP VKM Server使用指南 cluster_config.xml 说明 此配置文件涉及到聚类算法参数，不提供配置说明。 b. 资源文件： copy对应的 vect.space 文件到本地 data 目录中每个类目录下。

2. 拼音提示： a. 配置文件：在 pytip 目录下 pytipdict.xml 文件，可配置多个词典，每个词典可配置不 同权重比例（比例总和为 1.0），按不同方式排序。具体配置如下：

4 配置示例： default_col 1.0 0 0 0 leyou_col 0 0 0 1.0 b. 资源文件： copy 与项目对应的*_tip.dict 和*_tip.logs 文件到本地 pytip 目录下。

3. 拼音纠错： a. 配置文件：在 pyec 目录下 pyecdict.xml 文件，可配置多个词典，每个词典可配置不

配置字段 说明 注意事项 name 词典名称 可以使用任意 UTF8 字符，大 小写敏感，词 典名称 不能重 复，必须与文件名称一致（去 掉.dict 后缀） length_percent 长度权重比例 范围 0-1，表示结果按长度排 序所占比重，顺序排序 record_percent 文本记录权重比例 范围 0-1，表示结果按文本记 录排序所占比重，逆序排序 用户检索权重比例 范围 0-1，表示结果按用户检 索排序所占比重，逆序排序 userinput_percent

defaultweight_perc ent 默认权重比例 范围 0-1，表示结果按默认权 重排序所占比重，逆序排序