第7章 跨语言信息检索技术
跨语种信息检索中的文本比较及结果生成算法
1引言跨语种信息检索(CLIR:Cross-Language Information Retrieval)技术是一种使得用户可以通过某种语言来检索以其他语言形式存在的信息的技术。
它作为一项独立的技术进行研究已经有10多年的时间,TREC(Text Retrieval Conference)于1997年首次设立了跨语种信息检索跟踪(Cross-Language Track)。
目前,从总体上看,跨语言信息检索的研究大致可以分为三个方向:机器翻译系统、基于语料库的方法以及基于字典的方法。
当前较为流行的扩展基于字典跨语言信息检索(Improving dictionary-based CLIR)是基于字典方法的一个延伸,近两年研究人员在这个研究方向上做了大量的工作。
研究人员在取得相当大成果的同时也发现这些方法都存在了一些自身很难克服的弊端,正如Jian-Yun Nie(2002)F1G和Hayfield、HcNamee(2002)F2G指出的:当前CLIR技术的缺陷源于近似的解决问题的方法,比如,翻译和检索分离、从单语种检索的结果到多语种检索结果的界定存在问题等等,CIen和Jey(200K)FKG 提出了一种基于适量反馈和分解的跨语种信息检索机制。
但是这种方法只能看作是对原有算法存在缺陷的弥补,而很难去解决它。
作者认为,要很好地解决跨语种信息检索现存的问题,就必须把理解深入到语义层面,我们希望通过构建一种建立在语义层面上的处理模型从根本上解决目前跨语种信息检索中存在的问题。
这种模型采用独立、统一的语义表示符号体系来组织和检索文本内容及检索要求,以求解决传统方法下查询请求在从查询语言到检索语言之问转换的过程中出现的语义损失和曲解等问题,并解决传统方法下单语种检索结果到多语种检索结果的界定问题。
本文设计的算法是解决该模型中文本比较及结果生成阶段问题的算法,该算法以语境单元框架作为语义形式化表示的基础,试图从语义层面,通过概念匹配、多语义角色协同激励的跨语种信息检索中的文本比较及结果生成算法吴晨1,2缪建明1,2张全21(中国科学院研究生院,北京1000L9)2(中国科学院声学研究所,北京1000M0)E-mail:NucIenOmailPioaPacPcn摘要提出了一种基于语义的跨语种信息检索中的文本比较及结果生成的算法,算法从语义入手,以形式化的语境单元框架结构来表示被检索的内容和检索请求,它从文本语义表示的三个方面:领域(静态范畴)、情景(动态范畴)、背景(参照)来对检索请求和被检索文档数据之间的语义相关度进行计算和排序,根据建立在语境单元框架上的语义符号间的匹配和生成机制来实现文本检索。
跨语言信息检索课件
• 翻译成这些英文句子的概率是不同的 • 概率最大的英语句子是翻译结果
P(e1|f), P(e2|f), P(e3|f)…
e = arg max P(e | f )
e
Use Bayes Rule
• Use Bayes Rule
e = arg max P(e | f ) = arg max( P(e) × P( f | e))
– 288,000 v.s. 346,000
•
Word Reordering in Translation
– have programming a seen never I language better
•
Word Choice in Translation
– That is a little banana. (0) – That is a small banana. (3)
• 噪音信道模型
• •
Mary 到底说了什么？ 到底说了什么？ Brown 猜的过程就是翻译的过程。 猜的过程就是翻译的过程。
– 将法语 ”Je t’aime.” 翻译成英语
基于统计的方法(SMT) 基于统计的方法
• 怎么猜？ 怎么猜？
– 一开始，肯定猜不出来。 一开始，肯定猜不出来。 – 说多了，可能就能猜出来了。 说多了，可能就能猜出来了。
翻译概率 教师 教师 a 教师 teacher
扭曲度
twenty aged
– she is a teacher aged twenty
跨语言信息检索
• 为了消除网络资源利用中的语言障碍，跨语言信息检索技 为了消除网络资源利用中的语言障碍， 术成为当前信息检索领域中重要的研究课题。 术成为当前信息检索领域中重要的研究课题。
跨语言信息检索技术
2021/8/2
3
The Internet Big Picture
World Internet Users and 2015 Population Stats
World Regions
Africa
Population Internet Users
1,158,355,663 313,257,074
Penetrat Users % ion(%po of Table pulation)
2021/8/2
17
文档翻译优缺点
优点
只翻译一次 文档提供的上下文比较丰富 文档可以线下事先翻译好
缺点
翻译速度慢 占用大量空间、时间，效率低 依赖机器翻译系统的质量
2021/8/2
18
查询翻译vs.文档翻译
取决于特定语言资源 通常查询翻译使用更广 两种方法都提出了“交互性”挑战
3.5%
3,426%
North America
357,172,209 313,862,863 87.9%
9.6%
191%
Latin America
617,776,105 333,115,908 53.9%
10.2%
1,743%
Oceania/Aus 37,157,120
跨语言资讯检索导论-PPT精品.ppt
英100 語 English
40%的Internet使用者 不懂英文，但是80% 的Internet內容是英文
Hsin-Hsi Chen
German
Dutch
Spanish
Swedish
Language (estimated by domain)
Monolingual users may retrieve images by taking advantage of multilingual captions.
Monolingual users may retrieve documents and have them translated (automatically or manually) in their language.
西
日 語
德 語
法 語
荷 蘭
芬班 蘭牙
中 文
語 語語
瑞 典 語8
Hsin-Hsi Chen (Source: www.emarketer)
9
What is Cross-Language
Information Retrieval?
Definition: Select information in one language based on queries in another.
跨語言資訊檢索導論
Hsin-Hsi Chen (陳信希) Department of Computer Science and
Information Engineering National Taiwan University
Hsin-Hsi Chen
1
跨语言信息检索及其相关问题
跨语言信息检索及其相关问题作者：张彦文来源：《教育教学论坛》2014年第01期摘要：网络信息技术的飞速发展产生了丰富的海量信息资源。
信息资源所采用语言的多样性和用户所掌握语言的差异性，带来了信息检索的多语言或跨语言困难。
跨语言信息检索是为了适应这一发展要求而诞生的信息检索检索方法和技术。
本文对跨语言信息检索的渊源、跨语言信息检索方法以及跨语言信息检索模型等进行了讨论。
关键词：信息检索；跨语言检索；检索模型；多语言信息资源中图分类号：G2？摇文献标志码：A 文章编号：1674-9324（2014）01-0132-03信息技术的发展产生了大量的数字信息，人们进入了海量信息资源和大数据时代。
特别是互联网技术的快速发展，因特网上的信息资源类型和数量愈来愈丰富，所使用的语言愈来愈具有多样性。
网络资源语言的多样性和网络用户所掌握语言的差异性不可避免地给人们利用网络检索信息带来了语言障碍。
这种语言障碍极大地限制了人们对信息资源的有效获取，跨语言信息检索由此应运而生。
跨语言信息检索由康奈尔大学的Salton于20世纪70年代初首先提出。
他利用手工编制的英语—德语双语种词表，进行了跨语言信息检索的尝试；1973年，他又编制了英语—法语词表，并对跨语言信息检索的效率进行了评价。
1964年，法国道路研究实验室开发了“国际道路研究文献系统”，该系统通过英、法、德三种语言索引词构成的多语言受控词表来实现跨语言信息检索。
跨语言信息检索是指用户以自己熟悉的一种语言来构建和提交查询提问式，从多语言信息资源系统中检索出符合用户需求的另一种或多种语言描述的相关信息资源。
例如，输入中文的提问式，从多语言信息资源系统检索出英文、法文或中文及其他语言描述的相关信息资源。
用户查询提问时所使用的语言称之为源语言，而系统检索出的信息资源所包含的语言称之为目标语言。
跨语言信息检索，可分为双语言信息检索和多语言信息检索。
双语言信息检索是指用户以自己熟悉的语言提交查询请求，除源语言之外，系统可检索到另外一种语言表达的文献信息，即目标语言为另一种语言。
第7章 跨语言信息检索技术
机读字典 三者单独作用均能够达 到单语言检索的90% 统计字典 单语言检索
原因三
多数商用的机器翻译系统只返 回一个最优翻译结果，不提供 可供选择的翻译列表。
3）基于语料库的查询翻译方法
基于平行语料库的方法
平行语料库依据对其程度又可分为篇章对齐、段落对 齐、句子对齐和词对齐，一般来说对齐的粒度越小， 对齐的精度越高，查询翻译效果就越好。
基于可比语料库的方法
使用可比语料库最著名的方法就是相似性叙词表。有 学者利用一个瑞典语新闻语料库和英语新闻语料库， 构建双语可比语料库，从中提取出双语的相似性主题 词表信息并且用于查询翻译中。试验结果显示此种方 法所获得的检索性能是单语言信息检索性能的一半左 右。
模型一
共现模型（Co-occurence Model）
模型二
名词短语翻译模型（Noun Phrase Translation Model）
模型三
依存翻译模型（Dependency Translation Model）
模型一 模型二 模型三
共现模型（Co-occurence Model） 名词短语翻译模型（Noun Phrase Translation Model） 依存翻译模型（Dependency Translation Model）
受控词汇检索的 不足之处
用受控词汇表中的检索词来标识每一篇文档 第一点 通常是手工完成的，其使用范围受到很大的 局限。
培训用户学会有效地使用受控词汇来构建查 询条件是一件非常困难的工作。
跨语言信息检索在搜索引擎中的应用
跨语言信息检索在搜索引擎中的应用简单介绍了跨语言信息检索在搜索引擎中应用的必要性、重要性和最近的国内外应用状况。
指出了对应用中存在的不足和缺陷，并相对应提出了改进建议。
最后对跨语言信息检索在搜索引擎中的应用趋势进行了展望。
标签：跨语言信息检索CLIR 搜索引擎1 概述所谓跨语言信息检索（Cross-language Information Retrieval，CLIR），系指用户以一种语言（通常是自己的母语）提问，检出另一种或几种语言描述的信息资源的信息检索技术和方法。
CLIR中，用户用以表达自己的信息需求、构造检索提问式的语言称为源语言（Source Language），被检索的信息资源所使用的语言称为目标语言（Target Language）。
网络用户检索信息主要通过搜索引擎来达到其目的。
就中国来说，CNNIC最新发布的《第25次中国互联网络发展状况统计报告》显示，截至2009年12月31日，中国网民规模达到3.84亿人。
目前搜索引擎用户规模达到2.8亿人，年增长率为38.6%。
搜索引擎的使用率为73.3%，较2008年增加了5.3个百分点，超过了即时通信成为网民使用互联网的第三大应用[1]。
然而，网络资源语种的多样性和差异性成为了网络用户存取信息的巨大障碍。
网络信息语种分布和网络用户语言分布不平衡。
据Internet World Stas 统计，截止2009年12月31日，目前全球18亿多网络用户所使用的语言依次为：英语27.7%，中文22.6% ，西班牙语7.8%，日语5.3%，葡萄牙语4.3%，德语4.0%，阿拉伯语3.3%，法语3.2%，俄语2.5%，韩语2.1%，其他语言17.2%。
虽然笔者没有找到最近Web网页所使用的语言比率，根据Netcraft统计显示，截止2010年6月全球共有2亿多个网站[2]。
而根据《第25次中国互联网络发展状况统计报告》统计结果，中国网站数量仅为232万个，比率刚刚超过10%，由此可见一斑。
信息检索中的多语种信息检索技术研究
信息检索中的多语种信息检索技术研究随着全球化的不断推进，越来越多的人开始学习和使用多种语言。
在这样的背景下，多语种信息检索技术也变得越来越重要。
多语种信息检索技术是指通过计算机技术获取和检索多种语言的信息。
本文将探讨目前多语种信息检索技术的研究进展和未来发展方向。
一、多语种信息检索技术的原理和方法多语种信息检索技术的核心是语言处理技术。
目前，主要的多语种信息检索技术包括跨语言信息检索、多语种信息抽取、多语言自动翻译技术等。
跨语言信息检索是指利用计算机搜索多种语言的信息的过程。
跨语言信息检索需要对不同语言之间的语义和语法进行转换和匹配。
为了实现这一目标，研究人员通常需要创建一个或多个多语言语料库，以支持跨语言信息检索。
多语种信息抽取是指利用计算机从多语言文本中提取出特定的信息的过程。
多语种信息抽取需要对不同语言的语法和语义进行研究和分析，以识别出针对特定主题的文本信息。
多语言自动翻译技术是指利用计算机对不同语言进行自动翻译的过程。
多语言自动翻译技术需要对不同语言之间的语法和语义进行深入的研究和分析，以确保翻译的准确性。
近年来，随着机器学习和深度学习技术的不断发展，多语言自动翻译技术的准确性和效率有了很大的提高。
二、多语种信息检索技术的现状和研究进展随着全球化的推进和人们学习多种语言的需求不断增强，多语种信息检索技术发展迅速。
目前，多语种信息检索技术已经应用于多个领域，包括商业、教育、科研、政府等。
下面将介绍几个重要的多语种信息检索技术的应用领域。
1. 跨语言搜索跨语言搜索是目前最常见的多语种信息检索技术应用之一。
通过跨语言搜索，用户可以在多种语言的文本中查找相关信息。
这种技术广泛应用于搜索引擎和电子图书馆等领域。
2. 跨语言信息检索跨语言信息检索是指从不同语言的文本中恢复相关信息的能力。
该技术广泛应用于翻译、咨询和信息服务等领域。
近年来，跨语言信息检索在政府和企业中的应用也有所增加。
3. 多语言自动翻译多语言自动翻译技术是应用最广泛的多语种信息检索技术之一。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
其中后两种模型分别可以识别名词短语 和依存三元组（Dependency Triples），例 如动宾短语（Verb-Object），所有的三种 方法都能起到很好的翻译消歧效果。
3）翻译工具存在的问题
在查询翻译过程中 经常使用的翻译资源 包括机读字典、主题 词表、本体、语料库 等。这些翻译资源对 于查询翻译的影响包 括翻译资源的获取问 题、覆盖度问题、准 确度问题等方面。
查询式
查询翻译
翻译资源
依据这三个要素，查询翻译过程中所遇到的基本问题也分为三个方面：
第一式翻译时的歧义问题
第三方面
翻译工具存在问题
1）.查询式的词法分析
世界上的语言有近3000种，每种语言都有其 自身的特点，可根据其特点对查询式进行预处理。 例如，像英语、法语等西语，可以对其进行词法 分析，实现词根还原。 对于汉语、日语等没有明晰分隔符的语言来说， 要对查询式进行翻译就必须要确定翻译单位，或 者说是与翻译资源匹配的单位。 目前来说在查询翻译过程中最最常使用的翻译 单位还是词，分词的效果对查询翻译有很大的影 响。
2）查询翻译技术分类
受控词汇 检索是指文档 集通过手工使 用预先选择好 的词汇进行索 引，用户也是 从相同的受控 词汇中选择词 汇构建查询条 件，然后对文 档进行检索。
查询翻译
受控词汇查询 翻译
自由文本查询 翻译
2）查询翻译技术分类
文档的索引是通过概念识别器的匹配实现的。受控词汇 跨语言检索系统中包含两个过程：将文档与查询条件都用 受控词汇来表示。对文档的标识其实是对文档的翻译过程， 而对查询条件用受控词汇来构建其实是对查询条件翻译的 过程。
7.4.4 文献翻译
文献翻译与查询翻译正好相反，是指先将多 语言的原始信息集合转换成与查询相同的语言， 再进行单语言信息检索。
文献翻译的 优点 缺点 优点 （1）提高翻译 质量 （2）可以离线 执行
速度太慢，且可能 会使原始信息库的 规模很大
7.4.5 不翻译技术
目前不通过翻译进行跨语言信息检索的技术 有潜在语义索引（Latent Semantic Indexing,LSI） 和广义向量空间模型等方法。 LSI是由Deerwester等人于1990年在单语言 信息检索中提出的。同年，Landauer和Litman提 出了跨语言潜在语义索引（Cross-Language Latent Semantic Indexing，CLSI）的信息检索技 术。
萌芽阶段
发展阶段
大型商用阶段
接上页
萌芽阶段 基于国际联机系统的跨语言检索研究
基于互联网的跨语言信息检索实验系统 发展阶段 研究 大型商用 跨语言搜索引擎技术的飞速发展 阶段
7.3 跨语言信息检索技术的基本框架
7.4跨语言信息检索技术及其分类
7.4.1 同源匹配技术 同源匹配技术根据两种语言的语词拼 写形式或读音相似度来判断其中一种语 言语词的意义，不进行任何翻译。 同源匹配可以单独使用。而多数情 况下是与其他策略结合使用，比如在中 英文跨语言信息检索中可以用于外来语 的音译或反向音译。
• 7.5 跨语言信息检索的主要研究热点
7.1 跨语言信息检索技术概述
跨语言信息检索(Cross Language Information Retrieval,CLIR)就是通过一种语言提问来 检索出用另一种语言呈现的信息，是一种跨越语言界限进行信息检索的活动。
情报学
计算 机科学
跨语言 信息检 索技术
（1）基于机读字典的查询翻译
此种方法的主要问题：
字典的覆 盖度问题
屈折语的处理
词组的识 别和翻译
歧义问题
（2）基于多语主题词表、本体的查询翻译方法
最早应用在查询翻译中的方法就是基于多语主 题词表的方法。 本体中饱含比主题词表更详细的概念定义，更 广泛的关系描述，以及公理实例等，可以更好地 反映出独立于语言的更为本质的东西，并用于对 查询式进行语义层次的理解，精确地翻译结果， 从而获得更优的检索结果。
对查询翻 译的影响
翻译资源 的获取问 题
覆盖度问 题
准确度问 题
4.查询翻译的未来发展方向
查询翻译的未来发展方向可以概括为以下三点：
（1）多种查询翻译方 法的结合 词典提供较广且较浅的覆盖度，而语料库提供较窄且较 深的覆盖度，本体、主题词表则丰富的概念层次和语义 关系，如能将多种查询翻译策略相结合，充分利用各层 次知识，可以提高查询翻译的效果。 现在比较流行的、相对成熟的查询翻译方法总体来说还 是字符级的匹配，只有从语义层次上理解查询式，才能 获得更优的查询翻译结果，因此越来越多得学者开始使 用本体这样包含语义信息的资源进行查询翻译。 现在跨语言信息检索主要集中于双语言信息检索，尤其 是英语和另外一种语言的检索。尽管互联网上英语仍然 是最大的语种，但是汉语、拉丁语等比例也很大，实现 这些语种之间的跨语言检索的意义也是非常大的。
2）基于机器翻译的查询翻译方法
利用机器翻译系 统进行查询翻译的 优势就在于可以利 用机器翻译系统的 词法、句法、语义 分析得到更为准确 的翻译结果。但是 将机器翻译系统应 用在查询翻译中并 没有取得很好的效 果，主要原因看右 表：
原因一
机器翻译系统的翻译质量不高
原因二
查询式长度通常很短，甚至只 是一个词从而影响了机器翻译 的效果。
混合方法是综合利用上面各种技术的优缺点以期望获 得更佳的检索效果。此种方法中应用最广泛的资源组合是 将双语字典和一些单语资源，例如单语体本WordNet、单 语语料库等结合，利用字典进行翻译知识的抽取，利用单 语资源进行翻译消歧。
机读字典 三者单独作用均能够达 到单语言检索的90% 统计字典 单语言检索
第7章 跨语言信息检索技术
作者：于振红 学号：1308305020
目录
• • • •
• • • • • • • • • • • •
7.1 跨语言信息检索技术概论 7.2 跨语言信息检索技术的研究发展 7.3 跨语言信息检索技术的基本框架 7.4 跨语言信息检索技术及其分类
7.4.1 同源匹配技术 7.4.2 查询翻译技术 7.4.3 中间语言翻译方法 7.4.4 文献翻译 7.4.5 不翻译技术 7.4.6 基于媒体对象的跨语言信息检索 7.5.1跨语言信息检索中的翻译歧义研究 7.5.2跨语言信息检索中的翻译资源构建研究 7.5.3跨语言信息检索中的专有名词识别与音译研究 7.5.4跨语言信息检索中的翻译技术研究 7.5.5跨语言信息检索中的系统评价研究 7.5.6有关中英文跨语言信息检索的研究
原因三
多数商用的机器翻译系统只返 回一个最优翻译结果，不提供 可供选择的翻译列表。
3）基于语料库的查询翻译方法
基于平行语料库的方法
平行语料库依据对其程度又可分为篇章对齐、段落对 齐、句子对齐和词对齐，一般来说对齐的粒度越小， 对齐的精度越高，查询翻译效果就越好。
基于可比语料库的方法
使用可比语料库最著名的方法就是相似性叙词表。有 学者利用一个瑞典语新闻语料库和英语新闻语料库， 构建双语可比语料库，从中提取出双语的相似性主题 词表信息并且用于查询翻译中。试验结果显示此种方 法所获得的检索性能是单语言信息检索性能的一半左 右。
语言学
心理学
管理学 管理学
国际上的研究：
国际上跨语言信息检索研究领域每年定期会召开一些国际会议，这 些会议从不同方面反映了当今跨语言信息检索的研究热点和发展趋势。
国际上召开的一些会议
TREC
文本检索会 议
CLEF
跨语言评价 论坛
NTCIR
日本国家信 息检索测试 会议
ACM SIGIR
美国计算机 协会信息检 索特殊兴趣 小组会议
7.4.2 查询翻译技术
1. 查询翻译技术分类
查询翻译 技术
优点 在线快速 执行
缺点
提问时通 常很短
语境信息 很少
难以消除 歧义
1）翻译模糊性控制
每个提问词被其所有可能的一发译法所替代， 翻译模糊性问题严重，故控制翻译的模糊性是设 计有效的提问式翻译技术的一个关键问题。
方法 一 方法 二
只翻译短语，因为短语翻译通常 表现出较少的模糊性。 通过用户的介入(利用交互式用户 界面)也可以有效控制翻译的模糊 性。
混合方法
2.查询翻译技术
1）基于知识的查询翻译方法 基于知识的查询方法主要利用人类专家总结 的知识，例如机读字典、主题词表、百科全书等 完成对查询式的翻译。 （1）基于机读字典的查询翻译。基于字典的 查询翻译方法是最常用的查询翻译方法之一，是 指从机读双语字典中抽取查询中每个词或者词组 的合适的翻译进行替换的方法。常用的从字典中 选择词语的方法主要有：全部选择、选择前n个、 选择最合适的n个。
受控词汇检索的 不足之处
用受控词汇表中的检索词来标识每一篇文档 第一点 通常是手工完成的，其使用范围受到很大的 局限。
培训用户学会有效地使用受控词汇来构建查 询条件是一件非常困难的工作。
第二点
2）查询翻译技术分类
基于机器翻译的方法
跨语言信息自由文本 检索的四个基本方法
基于知识的方法
基于语料库的方法
（2）语义层次进行查 询式翻译
（3）语种的多样性
7.4.3 中间语言翻译方法
在跨语言信息检索中，解决语言障碍的基本 方法是两种语言之间的翻译，然而所有的翻译方 法都离不开机器翻译、双语翻译、语料库等作为 翻译的语言基础。但是，在跨语言信息检索中可 能会碰到这样的情形：两种语言直接翻译的资源 不存在。为此研究人员提出了一种利用中间语言 或中枢语言进行翻译的方法：将源语言翻译成中 间语言，然后再将中间语言翻译成目标语言。
1
2
3
4
跨语言信息检索技术需要处理的主要问题:
(1) 检索词与检索到的信息内容分属于不同的语言。 (2) 检索词的歧义和多义性。 (3) 查询词的切分。 (4) 信息内容的多语言性。 (5) 输出结果的排序组织。 (6) 对多语言资源的依赖。