汉英对应语料库翻译句对检索问题

中图分类号：H3 文献标识码：A
1．引言 受统计机器翻译成功应用的影响，当前一些从事机器翻译的研究机构为建立较好的语 言模型和翻译模型，搜集整理了一批双语语料，语料库越建越大；有的更进一步利用网络 爬虫等技术手段从互联网上获取了更多翻译语料来丰富语料库。然而建库本身并不是目的， 为较好地利用这些语言资源，于是更多检索工具也开发问世了。由于版权限制等各方面原 因，目前能够下载或在互联网上运行的双语语料库检索系统并不多见。即使部分能够运行， 检索界面也往往比较简单，比如只提供简单的中英文字词的语言内容查找，有些甚至没有 进行基本的英语词形还原，使得由于检索词和语料中的词语不一致造成的漏检现象频繁发 生。同时对检索的元属性限制条件，譬如翻译方向的汉译英、还是英译汉；语体特征的书 面语还是口语等属性检索基本没有提供。由于设计上的这些缺憾，使得以机器翻译为主的 语料库检索对面向翻译研究者和学习者的贡献打了一个折扣。 近年来，在国家社会科学基金项目和教育部人文社科重点研究基地重大项目的支持下， 我们初步建成了当今世界上经过专业人员校对、规模最大的汉英平衡对应语料库（王克非 2004） 。本着切实为翻译教学与研究服务的目的，我们设计了一个用户检索系统，希望通过 简单的人机交互接口，使得更多用户能够方便地获取利用这一宝贵的语言资源。最近我们 在北京外国语大学中国外语教育研究中心的“中国外语教研网”发布了一个 Web 版的原型检 索系统，以听取更多用户的意见和建议。 2．语料库的数据库转化设计 语料库作为海量语言事实材料的集合，一般来说，数量相对较大。采用一般的文件处 理系统难以管理。譬如我们创建的汉英对应语料库的总字数就以千万计。搜集本身不是目 的，更关键的是加工利用。对语料的处理既可以自行设计数据结构或采用专门软件进行管 理。 为简化开发时间，我们在汉英双语对应语料库平台中，采用关系型数据保存、管理、 检索语料。因为数据库本身具有良好的数据存储及管理与维护功能，方便后续语料库不断 追加；数据库还提供较好的检索二次开发接口设计，能在此基础上方便快捷地定制特定的
字段名 英文句 中文句 源语言 作者 篇名 类型 文体 语体 时代 段落 ID 句子 ID 文件名 类型 字符型（5000） 字符型（2000） 字符型（1） 字符型（50） 字符型（50） 字符型（1） 字符型（1） 字符型（1） 字符型（1） 数值型 数值型 字符型（50） 备注 一个英文句子不超过 5000 字母 一个中文句子不超过 2000 汉字 当前句子的源语言（英语或汉语） 当前句子的作者名 当前句子所在文本的篇名 当前句子所属的类型（取规定值之一） 当前句子所属的文体（取规定值之一） 当前句子所属的语体（取规定值之一） 当前句子所属的时代（取规定值之一） 当前句子所在段落相对全文偏移量 当前句子相对段落的偏移量 当前句子所在文件名
《中国英语教育》2009 年第 1 期，总第 23 期 English Education in China Number 1, 2009
汉英对应语料库翻译句对检索问题*
王克非, 熊文新
(北京外国语大学中国外语教育研究中心, 北京 10089)
提要： 英汉双语对应语料在经过对齐标注校对入库之后，便转化为可管理的数据库系统。 为使这一宝贵的语言资源能够更好地服务于翻译教学与翻译教学，我们制作了一个前端用 户访问后台数据库的服务接口，通过较好的人机交互界面，提供一个对双语语言事实进行 更多复合条件查询的检索系统。本文简要介绍这一系统的设计开发思想及其应用。 关键词： 汉英对应语料库；检索系统；翻译句对
《中国英语教育》2009 年第 1 期，总第 23 期 English Education in China Number 1, 2009 英文，抑或是两者混合；查询长度不一，既可能只有一个词语，也可能是若干个短语；查 询主体不同，可能是词，也可能是码，或是词加码的组合；查询性质不同，可能是需要在 目标句对中出现的词语，也有可能是不需要在目标句对中出现的过滤词。 词类赋码是一个封闭的标记集，这些标记可以悉数枚举，检索起来并不构成困难。用 户输入的查询词与实际在语料库中出现的词可能由于词形的不一致而造成漏检或误检。有 鉴于此，我们在本系统中分别采用模糊检索和词形还原来解决此类问题。 （1） 解决汉语分词不一致的模糊检索 为满足用户对词类的检索，数据库中存储的中文句子都是已经过分词和词类赋码的文 本，汉语词之间都已经添加了空格，并且每个词之后都缀上了相应的词类码。因此有可能 出现语料库中分词系统切分出来的词语与普通用户输入词语不一致的情况。譬如假定用户 输入字符串“中国人民解放军”，认定这是一个词，因此没有以空格隔开。而在语料库中，串 “中国人民解放军”实际被切分成“中国_np 人民_n 解放军_n”等三个“词+码”的子串拼接形 式。这样将检索不到用户希望得到的句对。由用户和分词系统对词的认识不一致，采用字 符严格匹配的方式容易导致漏检。 我们的处理策略是，首先将查询字符串拆解，汉语以单字、英语以单词为基本单位； 对各基本单位后采用正则表达式加接 0 或 1 个词类编码形式，构造新的基本单位；然后再 拼接各基本单位构造新的查询表达式，这样能够检索得到与原查询串基本单位序列相同并 且字形一致但可能被打散或整合的汉语句子，以防止对分词理解不同造成的漏检。应该注 意的是，这种处理也有可能误检出基本单位字形相同并且排列相同但实际并非用户希望检 出的句子。如假定要检索“华人”，切分查询串为字后，语料库中的“中华人民共和国”将被检 出。因此模糊检索是强调检出率优先的可靠选择，适用于用户追求全面结果，不希望有任 何遗漏，然后再人工逐一检查这样一种后处理。 （2） 解决英语词语匹配不一致的词形还原 作为一种形态相对比较丰富的语言，英语的词形变化可能导致字符串匹配的困难。譬 如可数名词有单复数的屈折变化；动词也有现在分词、过去分词及过去完成式等各种不规 则变化形式。因此，对用户输入的英语查询串，需要有个词形还原形式。假定输入的是词 典词的原型形式，则需将其在实际文本中可能呈现的其他屈折变化形式都能检索出来。譬 如待查询的是原型动词“go”， 则需要将实际例句中可能出现的 going/went/gone 等其他变体 形式也包罗进来。 我们建造了一个包含 4 万个词语及其相应不规则形式的词表，包括词典词的原型及其 衍生出来的名词单复数、动词时态还有形容词比较级及最高级等形态变化。采用查词表的 方式对输入查询串中的英语词尝试进行扩展。其中新扩展的词语与原查询串中的原型词之 间保留逻辑上的“或”关系，即在语料库的句子中只要能找到原词或其扩展词的任意其一，都 将视作对查询条件的满足。 3.2 Web 和桌面应用程序设计 目前我们实现了两种检索方式的雏形，一是网络查询，是桌面查询。前者通过 Web 浏 览器联网注册成为用户后，登录指定网站，根据界面指导完成查询工作；后者采用光盘将 系统安装在用户计算机桌面使用，通过用户图形界面检索。 网络版检索系统在后台选用开源数据库 MySQL 作为语料库的管理查询工具， 前端采用 脚本语言 Php 制作用户交互式的 Web 查询界面。 通过文本框接受用户输入， 下拉框的设计 用来接受用户对特定属性的限制，构造一个可直接对数据库检索的查询语句，并将执行结 果输出到用户浏览器页面。其中用户指定的查询词语将以高亮形式凸显。这是典型的瘦客 户端工作方式。用户自身的计算机无需安装特别的程序或其他系统，只要浏览器能联网就 能访问建好的双语对应语料库系统。相应的缺陷是对服务器负担较重，如果某一时段的并
图 版用户查询 图 5 和图 6 分别显示 Web 和桌面应用下的查询实例。 其中， Web 方式显示的是用户查询“克
《中国英语教育》2009 年第 1 期，总第 23 期 English Education in China Number 1, 2009 服 困难 difficulty overcome”，系统设计查询串的所有原子之间缺省为逻辑“并”的关系，因 此所有中文句子带有“克服 困难”并且对应的英文句子带有“overcome difficulty”等词形的实 例将作为结果输出，同时这些查询词语将高亮显示，其中英语词可能的其他变体形式，如 overcame 和 difficulties 等视作查询原词。桌面应用程序显示的是用户查询“克服 困难 -overcome difficulty”，根据系统设计前加“-”的查询词语被视作排除词，将被过滤，因此所 有中文句子含有“克服 困难”而相应的英文句子带有“difficulty”，没有“overcome”的句对将被 检索出来。 采用这种限制方式， 能够检索出汉语“克服困难”在“困难”翻译成“difficulty”的时候， “克服”还可以用除 overcome 之外英语翻译。 4．汉英翻译单位的对应检索 在将句子层面的对齐语料库转换为数据库后，借助用户图形界面，人们就能方便地利 用 SQL 语言进行各种组合条件的全方面查询。元属性的限制条件通常是一个确定值或多个 确定值的组合。 确定值是二选一或多选一， 比如翻译对的属性值是{英译汉, 汉译英}取其一； 时代属性值是{20 世纪前, 20 世纪上半期, 20 世纪下半期}取其一。 对语言及翻译形式的检索 则相对复杂。 当前针对翻译的查询方式主要有两种： （1）语言学意义上的单语词或词与码的结合， 如检索“研究”做动词和名词翻译成英语时采用什么样的译法。 （2）翻译研究意义上的源语言 和目标语言之间的对应单元不同译法的检索，譬如中英文词语混合检索及出现与否的检索。 除了一些固定用法及成语(idiom)只能借助词典编码外，大多数翻译是按照源语言的组 合方式，在目标语言中将与源语言对应的翻译单位重新组合而成，其中语法（如动宾关系） 语义（如施事受事关系）等限制条件保持不变。以下以汉语动宾结构“克服 困难”为例介绍 如何应用我们开发的检索工具，在英译汉及汉译英的翻译文本中检索相关的语言翻译现象， 现在假定对文体、时代等其他任何元属性不做任何限制。语料规模为 200 万中英文字词。
《中国英语教育》2009 年第 1 期，总第 23 期 English Education in China Number 1, 2009 发访问过多则有可能造成服务器宕机；另外对用户的网络连接速度要求也较高，否则有可 能因访问超时浏览器停止工作。 至于单机版检索系统，我们曾在项目组内部采用 C#和嵌入式数据库 Sqlite 在微软 DotNet Framework 平台下完成了一个集语料校对、 数据入库等内部处理和查询检索等外部 工作为一体的开发平台。查询界面与 Web 方式基本相同，也是通过文本框和下拉框实现用 户输入查询串和选择元属性，经由程序将用户输入内容翻译为等价 SQL 命令语句，将结果 高亮呈现在浏览器 webBrowser 控件中。