基于互信息和邻接熵的新词发现算法
结合信息量和深度学习的领域新词发现
结合信息量和深度学习的领域新词发现黄文明;杨柳青青;任冲【摘要】针对传统的新词发现中,数据的稀疏性使一些低频新词无法识别等问题,提出一种对分词结果计算信息量且将深度学习模型BiLstm-CRF用于新词发现的方法,计算出的信息量用以表示词语内部粘合度和分离度,并加入人工规则进行过滤.BiLstm-CRF模型精度高,对词向量的依赖小,考虑到上下文信息.信息量和模型两部分的结合解决了大量人工序列标注问题,提高了低频新词的识别率.实验结果表明,该方法能有效提高了新词识别的准确率.【期刊名称】《计算机工程与设计》【年(卷),期】2019(040)007【总页数】6页(P1903-1907,1914)【关键词】新词发现;信息量;粘合度;分离度;BiLstm-CRF模型【作者】黄文明;杨柳青青;任冲【作者单位】桂林电子科技大学计算机与信息安全学院,广西桂林541004;桂林电子科技大学计算机与信息安全学院,广西桂林541004;桂林电子科技大学计算机与信息安全学院,广西桂林541004【正文语种】中文【中图分类】TP391.430 引言新词发现是中文信息处理领域一个重要课题，新词发现技术直接关系到中文分词的效果，继而影响到后续各级的信息处理问题。
随着深度学习的广泛应用，目前它已涉及自然语言处理的各个应用，从底层的分词、语言模型、句法分析等到高层的语义理解、对话管理、知识问答、聊天、机器翻译等方面都几乎全部都有深度学习的模型[1]。
本文将传统的方法和深度学习模型相结合并且取得了不错的效果。
1 新词发现研究现状传统的新词发现方法通常有基于统计的新词发现和基于规则的新词发现[2]。
目前使用较多的方法是统计和规则相结合的方法。
基于统计的方法通常适用领域广，缺点是准确率不高，需要大量语料，计算量大。
基于规则的方法是利用语言特征构建规则库，准确率高但同时构建规则过程复杂，领域迁移能力差。
统计和规则的结合充分利用了两个方法的优点。
基于改进互信息的微博新情感词提取
第 45 卷
计 学 方 法 来 建 造 模 型 并 判 断 字 串 是 否 为 新 词 ,该 方 法 适 用 于 大 规 模 的 语 料 库 .也 有 学 者 将 上 述 两 种 方 法 结合起来提取新词,这种方法虽然效果较为稳定,但在实际应用中很难获得高质量的标记语料 . [4]
近 年 来 ,在 微 博 情 感 倾 向 的 相 关 研 究 中 ,大 多 数 学 者 都 是 通 过 对 微 博 中 的 词 汇 和 句 子 进 行 情 感 判 断 来分析微博的情感倾向[5-7],而对微博新情感词的相关 研 究 较 少.对 微 博 的 情 感 分 析 目 前 可 分 为 基 于 词 典的方法、基于机器学习的方法和基于词典与机器学习相结合的方法.基于词典的方法 主 [8] 要是通过 构 造 情 感 词 典 和 制 定 一 系 列 的 规 则 来 计 算 新 词 的 情 感 值 ,该 方 法 虽 然 判 断 新 词 情 感 的 准 确 率 较 高 ,但 召 回 率偏低,且构建不同领域情感词典的成本较高.基于机器学习的方法 是 [9] 将文本的情感分析作为分类 问 题 进 行 分 析 ,分 类 算 法 主 要 有 深 度 学 习 的 方 法 和 支 持 向 量 的 方 法 .前 者 计 算 量 大 ,但 准 确 率 较 高 ;后 者 准 确率相对较高,但不适用于大规模数 据.基 于 词 典 与 机 器 学 习 相 结 合 的 方 法 是 [10] 将 词 典 融 合 到 机 器 学 习的模型中进行文本情感分析,该方法虽然可提高机器学习性能,但却 需 要 人 工 收 集 情 感 词,因 此 使 得 情感词库的覆盖面较低.基于上述研究,本文结合新词构词特点,提出一 种 基 于 互 信 息 和 构 造 情 感 词 库 的 微 博 新 情 感 词 提 取 方 法 ,并 通 过 实 验 验 证 该 方 法 的 可 行 性 .
基于互信息和信息熵的新词提取
基于互信息和信息熵的新词提取## Information Gain & Mutual Information-Based Term Extraction.Term extraction refers to the identification and extraction of essential words or phrases, known as terms, from a given text. These terms represent the salient concepts and topics discussed within the text, making them crucial for tasks such as information retrieval, text summarization, and natural language processing.Mutual information (MI) and information gain (IG) are two fundamental measures used in information theory to quantify the relationship between two events or variables. In the context of term extraction, these measures can be utilized to identify terms that are highly informative and relevant to the text.### Term Extraction Using Mutual Information.Mutual information measures the level of association or dependency between two events. In term extraction, it calculates the relationship between a candidate term and the presence of specific keywords within the text. A term with a high mutual information with the keywords is likely to be a relevant and informative term.Calculating Mutual Information.The mutual information between a term `t` and a keyword `k` is given by:MI(t, k) = P(t, k) log(P(t, k) / (P(t) P(k)))。
基于蚁群算法的社区发现模型的构建和应用
基于蚁群算法的社区发现模型的构建和应用邹凌君;许晨【摘要】社区发现问题近年来成为网络挖掘领域研究的热点问题.提出了一种基于蚁群算法的社区发现模型,将社区发现问题转化为一个优化问题,在社区发现中根据每个顶点的属性定义启发式信息.每次迭代中,蚂蚁根据信息素和启发式信息选择路径.使用模块度衡量划分质量,得到最终的社区划分.将该算法应用在慕课中,结果表明该算法能够较准确地评估学生的能力,为开展针对性辅导提供有效依据,具有较强的实践价值.【期刊名称】《金陵科技学院学报》【年(卷),期】2017(033)003【总页数】5页(P22-26)【关键词】蚁群算法;社区发现;启发式信息;慕课【作者】邹凌君;许晨【作者单位】金陵科技学院信息化建设与管理中心,江苏南京 211169;金陵科技学院信息化建设与管理中心,江苏南京 211169【正文语种】中文【中图分类】TP391自然界和人类社会中很多复杂的系统都可以用复杂网络来表示[1]。
如生物系统、经济系统、生态系统等。
复杂网络已成为计算机、数学、物理等多学科的研究热点。
在网络中,系统的组成部分用节点表示,用边表示节点之间的连接关系。
大部分网络都具有一定的社区结构。
社区结构这个概念最早是由Girvan和Newman[2]提出的，即一个复杂网络可以划分成若干个社区,社区内部的节点连接密度高于社区间节点的连接密度。
这些社区结构与网络的功能结构有密切的关系。
社区结构的发现,对于分析网络结构、挖掘隐含的信息、预测网络行为有重要的理论意义和实用价值。
近年来,分析复杂网络的社区结构得到了许多学者的关注,同时出现了很多社区挖掘算法[2-10]。
这些算法大致可以分为基于划分的社区发现算法、基于模块度函数优化的算法、基于标签传播的算法以及各种基于仿生计算的算法。
本文提出了一个基于蚁群算法的社区发现模型,根据顶点属性定义启发式信息,使用社区模块度度量社区划分质量,并将该模型应用在慕课中。
统计融合序列标注的电力客服术语识别
“复合术语识别”步骤中，文中引入了术语度计算方法，以区别复合术语和一般词组。实验表明，与
统计信息结合后，该方法在电力服务领域文本中取得了较好的效果。
关键词：术语识别；未登录术语部件；互信息；条件随机场
中图分类号：TP3911.1
其 中 ，x 是 在 文 本 中 出 现 在 S 左 侧 的 词 语 。 文
计了复杂的字符特征，利用条件随机场对术语进行
中 取 左（右）词 边 界 熵 的 最 小 值 ，称 为“ 左 右 邻 词 边
[7]
识别。Sun 在识别文本中的新词语时采用了半马尔
- 30 -
界熵”。
嵇友浪，等
统计融合序列标注的电力客服术语识别
the first 100 terms extracted to 85%. In the step of "compound term recognition"，this paper proposes the
term ⁃ hood measure for separating compound term candidates from normal phrases. Experiments showed
“未登录词”
），对于未登录词拥有较好的召回率。黄
昌 宁 等 [14] 的 实 验 表 明 ，在 同 质 语 料 上 进 行 分 词 时 ，
CRFs 分 词 模 型 的 未 登 录 词 的 召 回 率 在 0.73 左 右 。
因此，字标注分词方法也是有效的未登录术语部件
识别方法。
3 复合术语识别
在识别所有术语部件后，需要在文本中继续识
基于微博语料的新词发现分析说明书
基于微博语料的新词发现分析王亭亭1，曾立英2（1. 中央民族大学北京 100081；2.中央民族大学北京 100081）（*******************；**********************）摘要：为了解决社交平台上热点词和新词更新快、组成复杂进而导致人工新词发现成本高且传统自动新词发现手段准确度低的问题，本文采用了一种基于凝聚度和左右邻接熵的新词发现算法。
首先对数据进行预处理，然后利用互信息提取和扩展候选词，再利用左右邻接熵对候选词进行过滤，得到有效词集，并将候选词集与相关词典进行比对过滤，得到新词集。
经过实验论证发现，双字新词能够生长出更多的多字新词；此外，通过与现代汉语词典进行比对，发现年份背景极大程度的影响了新词的诞生和流行程度；以上论证能够对新兴词汇及流行词汇的发展历程研究起到积极的促进作用，对研究新词诞生原理和词汇流行原理有着非常重要的意义。
关键词：微博语料，新词发现，自由度，凝聚度Analysis of neologism Discovery based on microblogcorpusW ANG Tingting1, ZENG Liying2(1.MINZU University of China, Beijing, 100081;2.MINZU University of China, Beijing, 100081)（*******************；**********************）Abstract:In order to solve the problem that hot words and new words on social platforms were updated quickly and their composition was complex, which leads to high cost of artificial new words discovery and low accuracy of traditional automatic new word discovery methods, this paper adopts a new word discovery algorithm based on cohesion and left and right adjacency entropy. Firstly, the data was preprocessed, then the mutual information was used to extract and extend the candidate words, and the left and right adjacency entropy was used to filter the candidate words to get the effective word set, and the candidate word set was compared and filtered with related dictionaries to get the new word set. Through experimental demonstration, it was found that double-word neologisms can produce more multi-word neologisms; In addition, by comparing with modern Chinese dictionaries, it was found that the year background greatly affects the birth and popularity of new words. The above arguments can play a positive role in promoting the study of the development process of emerging words and popular words, and have a very important significance for the study of the birth principle of new words and the theory of vocabulary popularity.Keywords: microblog corpus, neologism discovery, degree of freedom, cohesion1 前言新词通常产生与时下热门话题的讨论。
知识增益_文本分类中一种新的特征选择方法_徐燕
第22卷 第1期2008年1月中文信息学报JOU RNAL OF CH INESE INFORM AT ION PROCESSIN GV ol.22,No.1Jan.,2008文章编号:1003-0077(2008)01-0044-07知识增益:文本分类中一种新的特征选择方法徐燕,王斌,李锦涛,孙春明(中国科学院计算技术研究所,北京100080)摘 要:特征选择在文本分类中起重要的作用。
文档频率(DF )、信息增益(IG )和互信息(M I )等特征选择方法在文本分类中广泛应用。
已有的实验结果表明,IG 是最有效的特征选择算法之一,该方法基于申农提出的信息论。
本文基于粗糙集理论,提出了一种新的特征选择方法(K G 算法),该方法依据粗糙集理论关于知识的观点,即知识是分类事物的能力,将知识进行量化,提出知识增益的概念,得到基于知识增益的特征选择方法。
在两个通用的语料集OH SU M ED 和New sGro up 上进行分类实验发现:K G 算法均超过IG 的性能,特别是在特征空间的维数降到低维时尤其明显,可见K G 算法有较好的性能;关键词:计算机应用;中文信息处理;文本分类;特征选择;粗糙集;信息检索中图分类号:T P391 文献标识码:AKnowledge Gain:An New Feature Selection Method in Text CategorizationXU Y an,WAN G Bin,LI Jin -t ao,SU N Chun -ming(Institute of Computing T echnolog y,Chinese Academ y of Sciences,Beijing 100080,China)Abstract:Feature selection(F S)plays an impor tant r ole in text categ or izat ion (T C).A utomatic featur e selection met ho ds such as do cument frequency thresholding (DF ),informat ion ga in (IG),mutual info rmation (M I),and so on ar e co mmonly applied in text categ o rizatio n [J].Exist ing ex per iments sho w I G is o ne o f the most effectiv e met ho ds.I n this paper ,a feature selectio n method is pr oposed based on Roug h Set theory.A ccording to Rough set theo ry ,know ledg e about a univer se of objects may be defined as classificat ions based on cer tain pr operties of the objects,i.e.r ough set theo ry assume that kno wledg e is an ability to part itio n objects.We quantify the ability o f classify objects,and call the amount of this ability as kno wledg e quantity and then fo llow ing this quantificat ion,w e put for wa rd a no tio n /kno wledg e Ga in 0and put forw ar d a kno wledg e g ain -based feature select ion method (KG met ho d).Ex per iments o n New sG ro up collectio n and O HSU M ED co llection sho w that K G perfor ms better than the IG method,specially,on extr emely ag g ressive r eduction.Key words:computer applicatio n;Chinese info rmation pr ocessing ;feature selectio n;t ex t catego rization;ro ug h set;informat ion retr ieval收稿日期:2007-05-29 定稿日期:2007-12-02基金项目:国家973资助项目(2004CB318109);国家自然科学基金资金项目(60473002,60603094);北京市自然科学基金资助项目(4051004)作者简介:徐燕(1968)),女,博士,主要研究方向包括数据挖掘和信息检索;王斌(1972)),男,博士,副研究员,主要研究方向为信息检索和自然语言处理;李锦涛(1962)),男,博士,研究员,博导,主要研究方向为跨媒体检索和数字化技术。
soft actor-critic 简明理解 -回复
soft actor-critic 简明理解-回复什么是Soft Actor-Critic（SAC）算法？在强化学习领域，Soft Actor-Critic（SAC）是一种基于策略梯度方法的强化学习算法。
SAC算法的主要目标是通过训练一个策略网络来学习最优策略，以使其在与环境的交互中最大化累积奖励。
与传统的Actor-Critic 算法不同的是，SAC引入了一个熵正则化项，使策略网络更加冒险并保持多样性，从而提高算法的效果。
SAC算法的核心思想如下：1. 策略网络：首先，SAC算法使用一个策略网络来输出在给定状态下执行每个动作的概率分布。
策略网络采用了多层感知器（MLP）或卷积神经网络（CNN）等深度学习模型，以学习从观察中提取有用特征并生成合理的动作策略。
2. 值函数网络：SAC算法还使用了一个值函数网络来估计状态-动作对的Q值。
该网络的目标是使用经验数据来学习将状态和动作映射到其对应的Q值，以评估当前策略的好坏。
3. 熵正则化项：与传统的Actor-Critic算法不同，SAC算法引入了一个熵正则化项来调整策略的探索性。
熵正则化项衡量了策略分布的多样性，即策略在给定状态下选择不同动作的程度。
通过最大化熵正则化项，SAC 算法可以迫使策略网络在训练过程中保持探索性，并避免局部最优解。
4. 目标函数：SAC算法的目标是最大化策略网络的期望收益。
为此，算法使用了重要性采样比例和剩余回报来更新策略和值函数网络。
通过迭代优化策略和值函数网络，SAC算法可以逐渐改进策略和估计状态-动作对的Q值。
SAC算法的训练过程如下：1. 初始化策略网络和值函数网络的参数。
2. 在每个时间步，通过策略网络选择一个动作，并执行该动作以观察新的状态和奖励。
3. 使用值函数网络估计状态-动作对的Q值。
4. 根据策略网络和值函数网络计算重要性采样比例和剩余回报。
5. 使用反向传播算法更新策略网络和值函数网络的参数。
6. 重复执行步骤2到5，直到达到预设的训练轮数或收敛条件。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
词语的词频、成词概率、左右邻接熵、邻接变化数等统计特征来 识别新词。基于统计的方法较为灵活，不受领域的限制，易扩 展且可移植性较好，但存在数据稀疏和准确率较低的缺点。基 于规则与统计相结合的新词发现方法［８～１１］则是希望融合上述 两种方法的优点，从而提高新词发现的准确率和效率。
摘 要：如何快速高效地识别新词是自然语言处理中一项非常重要的任务。针对当前新词发现存在的问题，提 出了一种从左至右逐字在未切词的微博语料中发现新词的算法。通过计算候选词语与其右邻接字的互信息来 逐字扩展，得到候选新词；并通过计算邻接熵、删除候选新词的首尾停用词和过滤旧词语等方法来过滤候选新 词，最终得到新词集。解决了因切词错误导致部分新词无法识别以及通过 ｎｇｒａｍ方法导致大量重复词串和垃 圾词串识别为新词的问题。最后通过实验验证了该算法的有效性。 关键词：新词发现；互信息；邻接熵；微博语料 中图分类号：ＴＰ３０１．６ 文献标志码：Ａ 文章编号：１００１３６９５（２０１９）０５００３１２９３０４ ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０１７．１１．０７４５
目前新词并没有准确的定义，在本文中将未登录词［１］与 新词等同，也就是说新词就是指不在旧词典中的词语。本文使 用的旧词典为第六届中文倾向分析评测（ＣＯＡＥ）任务 ３中公 开的旧词典资源。
当前新词发现方法共有基于规则的新词发现方法、基于统 计的新词发现方法和基于规则与统计相结合的新词发现方法 三种。基于规则的新词发现方法［２，３］是指利用词性特征、语言 学的构词规则等方面发现新词。新词发现的准确率较高，但可 扩 展 性、灵 活 性 都 比 较 差，而 且 还 会 消 耗 大 量 的 人 力 和 物 力。 基于统计的新词发 现 方 法 ［４～７］是 指 通 过 大 量 的 实 验 语 料 计 算
Ｎｅｗｗｏｒｄｄｉｓｃｏｖｅｒｙａｌｇｏｒｉｔｈｍ ｂａｓｅｄｏｎｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎａｎｄｂｒａｎｃｈｅｎｔｒｏｐｙ
ＬｉｕＷｅｉｔｏｎｇ１，２，ＬｉｕＰｅｉｙｕ１，２，ＬｉｕＷｅｎｆｅｎｇ１，３，ＬｉＮａｎａ１，２
（１．ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ＳｈａｎｄｏｎｇＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｊｉｎａｎ２５０３５８，Ｃｈｉｎａ；２．ＳｈａｎｄｏｎｇＰｒｏｖｉｎｃｉａｌＫｅｙＬａｂｏｒａｔｏｒｙ ｆｏｒＤｉｓｔｒｉｂｕｔｅｄＣｏｍｐｕｔｅｒＳｏｆｔｗａｒｅＮｏｖｅｌＴｅｃｈｎｏｌｏｇｙ，Ｊｉｎａｎ２５０３５８，Ｃｈｉｎａ；３．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＨｅｚｅＵｎｉｖｅｒｓｉｔｙ，ＨｅｚｅＳｈａｎｄｏｎｇ ２７４０１５，Ｃｈｉｎａ）
第 ３６卷第 ５期 ２０１９年 ５月
ቤተ መጻሕፍቲ ባይዱ
计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ３６Ｎｏ５ Ｍａｙ２０１９
基于互信息和邻接熵的新词发现算法
刘伟童１，２，刘培玉１，２，刘文锋１，３，李娜娜１，２
（１．山东师范大学 信息科学与工程学院，济南 ２５０３５８；２．山东省分布式计算机软件新技术重点实验室，济南 ２５０３５８；３．菏泽学院 计算机学院，山东 菏泽 ２７４０１５）
０ 引言
随着科学技术的迅速发展，人们通过微博来发表个人意见 的情况也越来越常见。大多数的微博都比较随意，非常口语化 且不正规，在这种情况下就会产生许多的网络新词，如“簈丝” “给力”“尼玛”等。在自然语言处理中，新词的出现对于情感 词典的构建、短文本的倾向性分析、中文分词等诸多方面带来 了许多不利的影响，降低了它们的效能。所以，如何高效地识 别新词成为自然语言处理过程中一项非常重要的任务。
Ａｂｓｔｒａｃｔ：Ｈｏｗｔｏｉｄｅｎｔｉｆｙｎｅｗｗｏｒｄｓｑｕｉｃｋｌｙａｎｄｅｆｆｉｃｉｅｎｔｌｙｉｓａｖｅｒｙｉｍｐｏｒｔａｎｔｔａｓｋｉｎｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．Ａｉｍｉｎｇａｔ ｔｈｅｐｒｏｂｌｅｍｓｅｘｉｓｔｉｎｇｉｎｔｈｅｄｉｓｃｏｖｅｒｙｏｆｎｅｗｗｏｒｄｓ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎａｌｇｏｒｉｔｈｍｆｏｒｗｏｒｄｆｉｎｄｉｎｇｎｅｗｗｏｒｄｓｖｅｒｂａｔｉｍｆｒｏｍ ｌｅｆｔｔｏｒｉｇｈｔｉｎｔｈｅｕｎｃｕｔｗｏｒｄＷｅｉｂｏｃｏｒｐｕｓ．Ｏｎｅｗａｙｔｏｇｅｔａｃａｎｄｉｄａｔｅｎｅｗｗｏｒｄｗａｓｂｙｃｏｍｐｕｔｉｎｇｔｈｅｃａｎｄｉｄａｔｅｗｏｒｄａｎｄ ｉｔｓｒｉｇｈｔａｄｊａｃｅｎｔｗｏｒｄｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎｔｏｅｘｐａｎｄｗｏｒｄｂｙｗｏｒｄ；ｔｈｅｒｅｗｅｒｅｓｏｍｅｗａｙｓｔｏｆｉｌｔｅｒｃａｎｄｉｄａｔｅｎｅｗｗｏｒｄｓｔｏｇｅｔ ｎｅｗｗｏｒｄｓｅｔｓ．Ｉｔｉｎｃｌｕｄｅｄｍｅｔｈｏｄｓｉｎｃｌｕｄｅｄｃａｌｃｕｌａｔｉｎｇｔｈｅｂｒａｎｃｈｅｎｔｒｏｐｙ，ｄｅｌｅｔｉｎｇｓｔｏｐｗｏｒｄｓｃｏｎｔａｉｎｅｄｉｎｔｈｅｆｉｒｓｔｏｒｌａｓｔ ｗｏｒｄｏｆｅａｃｈｃａｎｄｉｄａｔｅｎｅｗｗｏｒｄａｎｄｄｅｌｅｔｉｎｇｏｌｄｗｏｒｄｓｉｎｃｌｕｄｅｄｉｎｔｈｅｃａｎｄｉｄａｔｅｎｅｗｗｏｒｄｓｅｔ．Ｉｔｓｏｌｖｅｄｔｈｅｐｒｏｂｌｅｍ ｔｈａｔ ｓｏｍｅｎｅｗｗｏｒｄｓｃｏｕｌｄｎｏｔｂｅｒｅｃｏｇｎｉｚｅｄｄｕｅｔｏｔｈｅｍｉｓｔａｋｅｓｉｎｔｈｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎａｎｄｉｔａｌｓｏｓｏｌｖｅｄｔｈｅｐｒｏｂｌｅｍ ｔｈａｔｔｈｅ ｌａｒｇｅｎｕｍｂｅｒｏｆｒｅｐｅｔｉｔｉｖｅｗｏｒｄｓｔｒｉｎｇｓａｎｄｒｕｂｂｉｓｈｗｏｒｄｓｓｔｒｉｎｇｓｇｅｎｅｒａｔｅｄｂｙｔｈｅｎｇｒａｍｍｅｔｈｏｄｗｅｒｅｉｄｅｎｔｉｆｉｅｄａｓｎｅｗｗｏｒｄｓ． Ｆｉｎａｌｌｙ，ｅｘｐｅｒｉｍｅｎｔｓｖｅｒｉｆｙｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅａｌｇｏｒｉｔｈｍ． Ｋｅｙｗｏｒｄｓ：ｎｅｗｗｏｒｄｄｉｓｃｏｖｅｒｙ；ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ；ｂｒａｎｃｈｅｎｔｒｏｐｙ；ｍｉｃｒｏｂｌｏｇｃｏｒｐｕｓ