从基于规则的两类语句的自然语言处理看词库和规则之间的张力ppt课件

以上均可在词库中描写而不必用规则推导
2019/8/21
直接来源：
据我看，据我所知，恕我直言，听我说（你 听我说，你听我跟你说），我觉得，我看， 我认为，我说，我想，我要说的是，要我看， 要我说，依我看，依我说，以我之见，照我 看，照我说，找我来看，在我看来
间接来源：
按说，按理，按理说，常言道，传说，话说， 据称，据说，据闻，据悉，老话说得好，且 说，却说，俗话说，一般说，相传，有道是， 照理，照理说，照说，照……看来
2019/8/21
2，词库和规则之间的张力在哪儿？
两种思路都离不开“词库”或“知识库”
如何确定知识库中的“基本单位”？ 基本单位的“属性”描写的下限在哪儿？
串联和并联该如何互补或有机结合？ 规则要求词库中必须具备哪些属性？
下面从以“同步组块”为基础理论设计的一个基 于规则的处理方法和处理效率上看词库和规则 （或并联与串联）的间的互动（互补）关系
词库需要对三者的差别做出描述，否则无法解释 2019/8/21
“了解”→“认识”→“知道”
（邵菁，2009）
同义词或近义词的语义差别也应该在词库中得到描写 詹卫东：颗粒度更细的语言知识
2019/8/21
陆续 vs 不断
1.最近，不断传来好消息。（？陆续） 最近，陆续传来三个好消息。（*不断）
2.他们公司今年不断推出新产品。（？陆续） 他们公司今年陆续推出了三四种新产品。（*不断）
2019/8/21
4，修辞句理解中的规则和词库
1）Colorless furiously green sleep ideas. 规则和词库都可以排除以上非句 2）Colorless green ideas sleep furiously. 似乎词库单独也可以排除以上非句 3）She is a block of ice / 扭断句法的脖子 （词库和规则如何运作？）
（*不断）
2019/8/21
不断：连续不间断。陆续：表示有先有后，时 断时续。用“不断”时，强调“多”，“陆续” 没有这个意思。
用“陆续”的句子中，如果宾语是普通名词， 一般需要用表示数量的词语。用“不断”的句 子不需要。
“陆续”能重叠，“不断”不能重叠。
2019/8/21
（邵菁，2010）
注意 vs 小心
1. 同学们朗读课文的时候要注意发音和声调。 （* 小心） 吃这种鱼的时候要小心鱼刺。（？注意）
2. 工作越忙你越是要注意身体。（？小心） 小心睡过头。（*注意）
3. 上下山时大家一定要注意安全。 （*小心） 上下山时大家一定要小心（摔倒）。（*注意）
2019/8/214.来自路上人多车多，开车一定要注意。 路上人多车多，开车一定要小心。
从基于规则的两类语句的自然语言 处理看词库和规则之间的张力
上海外国语大学语言研究院 金立鑫
2019/8/21
1，引子：自然语言处理的两大思路
基于概念网络或语料库的（经验主义的，
Claude Shannon，Schank）：
宾州大学树库（UPenn Treebank ）最初版本 （PTB-1）标注词类和句法骨架树信息；扩充版 本（PTB-2）增加了语义标记信息和命题库 （PropBank），最近在PTB-2 上标注完整的谓 词-论元（Predicate-Argument ）关系标记，从 句法向语义过渡。（周强，2003）
2019/8/21
例子二：
不瞒你说，那天小雨走了之后…… 实不相瞒，那天小雨走了之后…… 说真的，那天小雨走了之后…… 说句心里话，那天小雨走了之后…… 说句不客气的话 说正经的 理论上、名义上、一定程度上、原则上
2019/8/21
实际上这些固定的插说语都是自然习得单 位，它们可以依据不同的表义功能或语篇 功能进行不同抽象程度的描写或定义。收 入词库或许效率更高。例如：
换言：等于说，换句话说，换言之，或者说，就 是说，事情是这样的，也就是说
方式：长话短说，广义地说，简单地说，具体说 来，确切地说，说句不客气的话，说来话长，说 正经的，嫌疑地说，相对说，严格来说
范围：表面上，从一定程度上来说，大体上，大 致上，基本上，理论上，名义上，原则上，在一 定程度上
折转和因果：其实不然，虽然说，是因为，所以 说，之所以
2019/8/21
所有这些固话插说短语都可以作为整体生 成输出，甚至直接对应于外语中的某些功 能相同或相近的插说成分（汉外插说成分 单位之间的功能异同或表义异同还需要对 比研究和描述）
但是，这些插说成分或多或少都有不同程 度上的变异，并没有完全固话到类似“成 语”的程度，这些变异在词库中需要处理。
2019/8/21
“构式”意义的描述：规则还是词库？介于二者之 间？（变项是开放的，常项是稳定的）
不要太X 被X（神经病、代表、墙、就业、和谐、自愿、
增长、慈善，自杀、死亡、失踪、出世、发达、 辞职、捐款、小康、学习、省钱、小三、合法、 幸福、涨工资、中产、结婚、爱心、高雅） VP的心都有了（VP表示消极意义的？） 也就一NP
3.我不断听到一些他在国外的情况。 我陆续听到一些他在国外的情况。
2019/8/21
4.考察的人不断到达上海。 考察的人陆续/陆陆续续到达上海。
5.演出还没结束就不断有观众离开剧场。 演出结束后，观众们陆续/陆陆续续离开剧 场。（*不断）
6.他的汉语水平不断提高。（*陆续） 一放寒假同学们都陆续/陆陆续续回家了。
5. 她做事一向很注意，生怕给人留下不好的印象。 她做事一向很小心，生怕出差错。
6. 妈妈一时没注意，小孩就把牛奶打翻了。 （*小心） 我一不小心摔了一跤。（？注意）
2019/8/21
“小心”后的“对象”是不好的结果或危 险的事情，“注意”的对象不是。
“注意”是把意志集中在某一方面，“小 心”是留神、谨慎。 （邵菁，2010）
（以下为上海师范大学潘晓军的博士论文《固化插说成分 的关联化与情态化》中列举到的语料和分类）
2019/8/21
固定插说语菜单
评注性插说语 （传信类：表信息来源，表信息可靠，表信息阐
述；情态类：表客观情态，表主观情态） 关联性插说语 （并列类：并同，对比，时序）；（主从类：总
结，条件，进退，转折或因果）
2019/8/21
言真： 不瞒你说，老实说，凭良心说，实不相瞒，
实话说，说老实话，说良心话，说实在的， 说心里话，说真的，坦白说，坦率地说
言实： 公平地说，客观地说，实际上，实质上，事
实上，说句公道话
2019/8/21
补充：补充说几句/几点/一下，附带说一句/一下， 顺便说一句
列举：比方说，比如说，就…来说，局来说， 拿…来说，比如说，以…为例
能力：可以说，应当说，应该说
2019/8/21
并列类
并同：除此之外，此外，无独有偶，相应 地，与此相应
对比：比较而言，反过来看，相比而言， 相比之下，相形之下，与此相比，与此相 反，与此相仿，与此相似，与此相同，与 此相左
时序：刹那间，猝然间，顷刻间，突然间， 忽然间，紧跟/接着，猛然间，偶然间，悄 然间
2019/8/21
主从类
总结：简而言之，要言之，一句话，一言以蔽之， 总的来看，总的来说，总的说，总起来说，总体 而言
条件：不论/不管/无论如何。不论/无论/不管怎么 说，不然/否则的话，尽管/即便/即使如此，要不 然的话，要不是，这样/那样的话，再怎么说
进退：甭说，别说，不必说，不要说，诚然如此， 更有甚者，尤为重要的是，话又说回来，话虽如 此，进一步说，理是这个理，话是这么说，推而 广之，退一步说
~类后缀
规则控制？ ~迷，~吧，~鬼，~秀，~手，~头，~门，~
坛，~界，~苑，……
2019/8/21
词库与规则互补
根据语法规则：“旧朋友” “修理衣服” 是合格 的，但不合词库规则
根据词库规则：“病态人” “很激动老朋 友” 是合格的，但不合语法
一头雾水：用规则处理过程可能相当复杂，词库 处理或许更简单
2019/8/21
主观情态
评价：不幸的是，更重要的是，令人感到 吃惊/高兴/惊奇/欣慰的是，说来，说来也 巧（怪/可笑/有意思），幸运的是，有讽刺 意味的是，值得注意的是，不知怎么的， 不知怎么回事，说什么好呢，怎么说呢， 不是我说你，看我，你看你，你呀你，你 也真是的
建议：不妨说，最好是，好不好，是不是， 对不对，你也不想想
2019/8/21
客观情态
一定：不用说，果不其然，毫无疑问，很 显然，毋庸置疑，显而易见
大概：据此，据此看来，据此可见，据此 可知，那么说，如此说来（看来，想来）， 由此，由此观之，由此看来，由此看见， 照这样说来，这么说（这么，这样），这 样一来
可能：充其量，看起来，看上去，看样子， 少说
2019/8/21
假设：以“词典词”为基本单位：
上海外国语大学的张老师昨天在上海书城买了一本语法书 1 2 2 1 12 1 2 3 4 5544 55 5 5 1 买了
上海外国语大学的张老师 昨天 在上海书城 一本语法书
2019/8/21
下面的问题在语言学中并没有得到细致描写：
哪些名词性单位能与“语”组合？ 哪些名词性单位能与“大学”组合？ 哪些名词性单位能与“老师”组合？ 哪些名词性单位能与“城”组合？ 哪些名词性单位能与“书”组合？ 如果不是“语法书”，而是： 一背包书：“一背包”不是词典词 一桌子书：哪些名词可以直接与“一”组合？ 一床书，一地书，一沙发书，一冰箱书 *一花盆书，*一鞋子书，*一瓶书，*一黑板书
2019/8/21
有些描写是绕不过去的
1a我知道克林顿 1b我认识克林顿 1c我了解克林顿