跨语言信息检索课件

• 翻译成这些英文句子的概率是不同的 • 概率最大的英语句子是翻译结果
P(e1|f), P(e2|f), P(e3|f)…
e = arg max P(e | f )
e
Use Bayes Rule
• Use Bayes Rule
e = arg max P(e | f ) = arg max( P(e) × P( f | e))
– 288,000 v.s. 346,000
•
Word Reordering in Translation
– have programming a seen never I language better
•
Word Choice in Translation
– That is a little banana. (0) – That is a small banana. (3)
• 噪音信道模型
• •
Mary 到底说了什么？ 到底说了什么？ Brown 猜的过程就是翻译的过程。 猜的过程就是翻译的过程。
– 将法语 ”Je t’aime.” 翻译成英语
基于统计的方法(SMT) 基于统计的方法
• 怎么猜？ 怎么猜？
– 一开始，肯定猜不出来。 一开始，肯定猜不出来。 – 说多了，可能就能猜出来了。 说多了，可能就能猜出来了。
翻译概率 教师 教师 a 教师 teacher
扭曲度
twenty aged
– she is a teacher aged twenty
跨语言信息检索
• 为了消除网络资源利用中的语言障碍，跨语言信息检索技 为了消除网络资源利用中的语言障碍， 术成为当前信息检索领域中重要的研究课题。 术成为当前信息检索领域中重要的研究课题。
• 跨语言信息检索
– Cross-Language Information Retrieval (CLIR)
• 是指用户以一种语言提问 是指用户以一种语言提问 • 检出另一种语言或多种语言描述的相关信息的方法 检出另一种语言或多种语言描述的相关信息的方法
a i =1 j =1 j =1
l
m
m
基于统计的方法
• Brown认为，法语f: ”Je t’aime.” 可能翻译成任何一句英语 认为，法语 认为
– e1: How are you? – e2: I love you. – e3: The noisy channel works like this. – ……
• 生成
– 根据目标语言生成规则，利用译文结构生成译文。 根据目标语言生成规则，利用译文结构生成译文。
RBMT的优缺点 的优缺点
• 优点
– 直观，能够直接表达语言学家的知识 直观， – 系统适应性强，不依赖于具体的训练语料 系统适应性强，
• 缺点
– 规则主观因素重，有时与客观事实有一定差距 规则主观因素重， – 规则的覆盖性差，特别是细颗粒度的规则很难总结得比较全面 规则的覆盖性差， – 规则之间的冲突没有好的解决办法（翘翘板现象） 规则之间的冲突没有好的解决办法（翘翘板现象） – 规则一般只局限于某一个具体的系统，规则库开发成本太高 规则一般只局限于某一个具体的系统， – 规则库的调试极其枯燥乏味
• Brown 的方法
e = arg max P (e | f ) = arg max ( P(e) × P ( f | e))
e l e
= arg max (∏ p (ei | ei −1ei − 2 )
e i =1
× ∑ (∏ n(φi | ei ) × ∏ t ( f j | ea j ) × ∏ d ( j | a j , l , m)))
跨语言检索 = 传统检索 + 机器翻译
机器翻译
检索结果
用户需求
匹配
互联网
机器翻译
索引库 分 析 处 理
网页采集
建立索引
网页
机器翻译
基于规则的方法(RBMT) 基于规则的方法
• 分析
– 根据源语言分析规则，分析原文结构。 根据源语言分析规则，分析原文结构。
• 转换
– 根据转换规则，将原文结构转换成译文结构 根据转换规则，
基于实例的方法(EBMT) 基于实例的方法
• 照猫画虎
• RBMT: • EBMT:
分析 匹配
转换 对齐
生成 重组
基于实例的翻译举例
待翻译句子
吴 先生 是 宇航员
匹配
吴 先生 是 老师
实例组
翻译结果
呉 さん は
宇宙飛行士
です
基于统计的方法(SMT) 基于统计的方法
Translation Model
• 翻译模型
P ( f | e) = ∑ (∏ n(φi | ei ) × ∏ t ( f j | ea j ) × ∏ d ( j | a j , l , m))
a i =1 j =1 j =1
l
m
m
富余度 – 她 – 她 – She 是 是 is 二十 二十 岁 岁 的
e e
• ?
– What happened to P(f)? – Why use Bayes Rule?
• e:疾病 疾病 • f:症状 症状
语言模型
翻译模型
Language Model
• • P(e) P(“我是坏人”) v.s. P (“我是好人”) 我是坏人” 我是好人” 我是坏人 我是好人