[2013]基于表示学习的中文分词算法探索

４无监督学习字表示
在有监督的学习中，往往会遇到低频字训练不 充分的问题。无论在传统的浅层模型（如最大熵、 ＣＲＦ）中，还是第３节描述的以神经网络为框架的模 型中，低频字只会在极少量的样本中出现。因此，如 果引入一个更大的语料，从这个语料中学习出各个 字更丰富的信息，并加入有监督学习中，将有可能极 大地提高有监督学习的训练效果。 ４一字表示的训练 字表示的无监督训练Ｃｏｌｌｏｂｅｒｔ等人［４３和Ｍｎｉｈ 等人［１７１均提出过。Ｊｏｓｅｐｈ［１８］对这两种方法进行了 更公平的比较，结果表明，Ｃ０１ｌｏｂｅｒｔ的方法略胜一 筹。在中文中，尚未看到类似的比较，因此本文直接 使用Ｃｏｌｌｏｂｅｒｔ的方法训练字向量。 在无监督字表示训练中，我们仍然使用如图１ 所示的神经网络结构图。不同之处在于，最后一层 只输出一个得分，而并不输出４个标签的概率。该 得分的含义为这个连续的字序列是否是一个正常的 词序列。所谓的正常序列，是相对随机序列而言的。 语料中真实存在的序列均认为是正常序列，而一个 随机从字典中选取若干个字生成的序列，则认为是 非正常序列。 由于这个想法与语言模型非常相似，因此在文 献［４］中也被称作语言模型。实际上，Ｃｏｌｌｏｂｅｒｔ的 方法与传统的语言模型略有差别。传统意义上，语 言模型是给定了前若干个字／词，预测下一个字／词。 而在这种方法中，并不需要预测下一个字，只需知道 一个序列是否是正常序列。在无监督训练阶段，我 们希望一个正常的序列可以得到高分，而一个非正 常的序列，我们希望它的分数更小。 在实际操作中，正样本可以直接从语料中选取 得到，而负样本则需要构造。如果负样本直接从字 典中选取若干个随机字符，则容易生成完全没有可
万方数据
５期
来斯惟等：基于表示学习的中文分词算法探索
９
信息处理尤为重要。 传统对于中文分词的研究比较丰富，例如，最大 正向匹配、最大逆向匹配、双向匹配等基于词典的匹 配方法。然而，由于语言的复杂性，中文文本中存在 大量的词边界歧义与未登录词（００Ｖ）。仅仅是基 于词典的匹配方法无法有效地解决以上两个中文分 词中的关键难点问题。所以越来越多的方法关注基 于字的中文分词。基于字的中文分词方法基本假设 是一个词语内部文本高内聚，而词语边界与外部文 字低耦合。每一个词都可以通过其所在的上下文特 征进行表示，通过统计模型可以很好的判别当前字 在构词过程中的作用（词的开始、中间、结束或是单 字词）。通过大量实验表明这种基于字的中文分词 方法要明显优于基于词典匹配的分词方法。然而， 基于字标注的分词方法的问题在于：传统的字表示 特征，无论是一元特征（Ｕｎｉｇｒａｍ）或是二元特征 （Ｂｉｇｒａｍ），都很难有效表示目标字，使得统计模型 不能有效地理解每个字的含义。另外，所有的特征 表示都是基于词袋子模型，然而这样表示模型有两 个较为明显的缺点：１）语义鸿沟问题。通过词袋子 模型，我们没法直接知道“麦克风”和“话筒”描述的 是同样的事物。２）低频词的问题。在使用词袋子特 征训练模型时，低频词由于出现次数较少，往往只被 训练的极少的次数，容易造成训练不足，也非常有可 能过拟合。因此如何对于中文文本中每个字进行建 模，并自动的抽取字的表示特征是基于字表示的分 词方法中的一个难点问题。 然而，近些年随着深度学习（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）的 兴起，特征表示学习（Ｆｅａｔｕｒｅ
Ｌｅａｒｎｉｎｇ）逐步成为机器学习的一个新兴分支。深 度学习是利用深层神经网络自动学习出数据的一种 表示。自２００６年Ｈｉｎｔｏｎ［２］提出深度学习后，该方 法在语音、图像领域均取得了惊人的成果。已有工 作表明，随着网络层数的加深，深度学习算法可以学 习出越来越抽象的数据表示。在这种特征的基础上 进一步地进行模型的学习，可以显著地提高分类的 性能。在自然语言处理任务中，深度学习也已经广 泛地应用于命名实体识别（ＮＥＲ）、词性标注（ＰＯＳ Ｔａｇｇｉｎｇ）、情感分类（Ｓｅｎｔｉｍｅｎｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）等任 务，并有一定优势。然而在中文分词任务中，还未见 针对深度学习的应用研究成果。因此本文试图将深 度学习应用于中文分词任务，来探讨其是否可以有 效地提高分词的性能。 具体地，我们利用基于词的稠密向量表示方
有４个节点，使用ｓｏｆｔｍａｘ［１６３归一化后，分别表示这 个字被打上Ｂ、Ｍ、Ｅ、Ｓ标签的概率。 网络结构可以形式化的表示为：
＾一ｔａｎｈ（Ｕ口） ｏ—ＶＪｌ
州旧口）一蠡
其中ｕ为输入层到隐藏层的权重，Ｖ为隐藏层 到输出层的权重。这两层均可理解为简单的矩阵相 乘。最后使用ｓｏｆｔｍａｘ函数可以将输出。转换成标
经过预处理步骤将会变成“中国／教育／与／科研／计 算机网／（／ＷＯＲＤ／）／已／连接／了／ＮＵＭＢＥＲ／多／ 所／大学”。其中ＮＵＭＢＥＲ和ＷＯＲＤ在训练时都 当作一个字符来考虑。 这种方法在一定程度上丢失了部分语义信息， 会对分词精度产生负面的影响。但是在训练语料不 充分的情况下，该预处理可以简化后续步骤，将实验 重心放在处理汉字词语上。 ３．２字的稠密向量表示 借鉴Ｂｅｎｇｉｏ等人嘲的思想，本文将每个汉字用 一个咒维实数向量来表示（后文简称字向量）。字向 量初始化为一个随机的小实数值，在训练过程中，每 个字的字向量会进行更新，最后根据训练目标的不 同，字向量之间的相似度也会有所不同。具体可见 第４节实验部分。
＾
输入层
ｔＦ【”ｌ；吨；均；弛；鸭】
原始文本
教
育
与
科
研
ｗ２【ｗｌ；”２；”３；ｗ４；”５】
图１算法基本结构图
Hale Waihona Puke 对于句子中的每个字的标签分类任务，本文选 取上下文以及当前字，共叫个字作为特征。其中上 文和下文均为（叫一１）／２个字。图中最下方为这叫 个字的原始文本，经过第一层，将每个字转换成其字 向量表示＂ｉ，并把础个字连接成一个叫行维的向量 口。该ｗ咒维的向量是神经网络的输入层。隐藏层 庇的设计与传统的ＢＰ神经网络一致，输入层的叫，ｚ 个节点与隐藏层的Ｈ个节点之间两两均有边连接。 隐藏层选用ｔａｎｈ函数作为激活函数。输出层一共
万方数据
１０
中文信息学报
表示某种隐含（１ａｔｅｎｔ）的句法或语义信息。Ｃｏｌ— ｌｏｂｅｒｔ等人在２０１１年发布了首个基于表示学习的 多任务学习系统ＳＥＮＮＡ［４］。它将词性标注、命名 实体识别、句法分析和语义角色标注任务融合于一 个框架，运用神经网络替代传统序列标注模型，进行 自动的特征学习，从而避免了繁琐的人工特征设计 过程。此后，基于深度神经网络的表示学习方法被 应用于句法分析ｍ］、复述检测［１３］、语义分析［１４１以及 情感分类任务［１引，并取得了巨大的成功。在不需要 人工参与设计有效特征的情况下，表示学习方法相 比于传统有监督模型取得了等价于或更好的成绩。
２
相关工作
传统分词方法依赖词典匹配，并通过贪心算法
截取可能的最大长度词进行有限的歧义消除。常用 的贪心策略有正向最大匹配法、逆向最大匹配法和 双向匹配等。然而，基于词典方法存在两个明显的 缺陷，即不能很好地处理词边界歧义和未登录词 （ＯＯＶ）。为了解决中文分词的这两个关键问题，许 多研究工作集中到了基于字标注的机器学习中文分 词方法。 基于字的中文分词方法基本假设是一个词语内 部文本高内聚，而词语边界与外部文字低耦合。通 过统计机器学习方法学习判断词界是当前中文分词 的主流做法。现有工作大多使用序列标注模型执行 ＢＭＥＳ标注。Ｘｕｅ等人提出了基于ＨＭＭ模型的 字标注中文分词方法［５］。刘群等提出一种基于层叠 隐马模型的汉语词法分析方法［６］。该方法引入角色 ＨＭＭ识别未登录词，使用Ｖｉｔｅｒｂｉ算法标注出全局 最优的角色序列。同时，该方法还提出了一种基于 Ｎ一最短路径的策略进行切分排歧。Ｗａｎｇ等人使用 基于字分类的ＣＲＦ模型进行中文词法分析［７］。对 基于字标注中文分词方法的改进包括引入更多的标 签和设计更多高效的特征［８。９］、联合使用产生式模型 和判别式模型以融合两者的优点［１０］以及将无监督 方法中使用的特征引入有监督方法中［１妇等。然而， 传统统计机器学习方法往往依赖于人工设计的特 征，而一个特征是否有效需要多次尝试与选择。因 此人工设计一系列好的特征既费时又费力。 近年来，随着深度神经网络优化方法的突破［２］， 基于神经网络的表示学习方法得到了蓬勃的发展。 在自然语言处理领域，表示学习的目标是要将最小 的语义单位表示成一个ｎ维向量，向量中的每一维
３基于字表示的有监督分词
３．１数据预处理 中文分词的训练语料中，英文与数字的出现次 数较少（甚至有可能２６个英文字母中有的字母未在 训练集中出现过）。为了简化处理流程，本文使用了 一个简单的数据预处理步骤，将所有的连续数字字 符替换成一个专用的数字标记“ＮＵＭＢＥＲ”，将所有 连续的英文字母替换成一个专用的英文单词标记 “ＷＯＲＤ”。如训练语料“中国／教育／与／科研／计算 机网／（／ＣＥＲＮＥＴ／）／已／连接／了／２００／多／所／大学”
Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ
法口］，将一个字用挖维实数向量来描述。同时采用 ＳＥＮＮＡ［４］在海量无标注数据来无监督的训练每个 字的稠密特征表示向量，并以此作为特征，应用于分 词算法中。经过多组实验比对，我们的方法的效果相 对于人工设计特征的最大熵算法有一定的竞争力。 文本章节安排具体如下：第２节介绍了分词及 词的表示学习的相关工作；第３节介绍了基于字表 示的分词算法框架；第４节介绍一种在大规模语料 上无监督学习出字的稠密表示的方法；第５节为实 验及分析；最后对本文工作进行了总结，并指出将来 工作的方向。
记ｚ为一组正常的字序列，则＾（ｚ）表示网络 的输出。每个负样本记作ｚ”，表示一个正常的序列 ｚ中将中间的字替换为硼。同样地，负样本的输出 为＾（ｚ”）。 无监督训练阶段，这里使用成对训练的方法，即 最小化如下目标：
∑∑ｍａｘ｛ｏ，１一＾（ｚ）＋＾（ｚ”））
ｚ∈ＸⅥ∈Ｄ
式中，Ｘ为从语料集中选取出了所有连续的硼 个字，Ｄ表示字典。 与监督学习阶段相同，这里也采用随机梯度下 降法进行训练，最后只使用其词向量部分。 ４．２字表示的使用 通过无监督训练得到的字表示通常有两种用 法。一、作为神经网络模型的初始值。二、加入到现 有的浅层模型中，如最大熵模型。 文献［４］将无监督学习得到的词向量作为有监 督学习网络中的初始值，大幅度提高了其有监督学 习的训练效果。这一思想与音频、图像领域在深度 学习中，对深层神经网络的初始值使用受限玻尔兹 曼机进行无监督的初始化非常类似。由于神经网络 是一个非凸优化的问题，局部极值点非常的多，好的 初始值可以使其最后收敛到一个更好的解，同时也 能在一定程度上抑制训练的过拟合。 本节无监督训练得到的字向量同样可以直接作 为第３节中字向量的初始值用于训练。对于网络结 构中的Ｕ、Ｖ矩阵，仍然使用随机的初始值。 文献［１８］在英语中使用词向量作为扩展特征， 提升了命名实体识别（ＮＥＲ）和语块分析（Ｃｈｕｎ— ｋｉｎｇ）的效果。其方法较为直接，在最大熵做序列标 注问题时，直接将周围共硼个词的词向量直接加入 改词特征向量中。 在第５节的实验中，我们同时尝试了以上两种 思路。