2160258 自然语言处理与信息检索(中英文)(2011)

天津大学《自然语言处理与信息检索》课程教学大纲

课程编号：2160258 课程名称：自然语言处理与信息检索

学 时： 32 学 分： 1.5 学时分配： 授课：16学时上机：16学时

授课学院： 计算机科学与技术学院

适用专业： 计算机、语言学专业本科生或研究生

先修课程： 统计学、面向对象程序设计、人工智能或机器学习的相关知识

一．课程的性质与目的

自然语言处理技术是自动人机交互、搜索引擎、机器翻译、信息抽取等应用的重要支撑技术。本课程将系统地介绍自然语言处理（NLP）的基本概念、常用的算法和重要的应用。在基本概念和算法上，将介绍词汇、句法、语义分析等的基本知识。贯穿其中，将重点介绍统计自然语言处理的关键算法，主要是在大规模语料库的支持下，统计语言模型在语言知识自动学习中的应用。在应用方面，将结合文本分类和聚类、机器翻译、信息检索、网络挖掘等进一步加深学生对自然语言处理系统的设计策略和实现技术的了解。

二．教学基本要求

了解和掌握自然语言处理的基本理论基础，包括统计学和语言学基础，词汇、语法和语义的相关概念及算法，以及自然语言处理的理论和方法在文本自动分类、聚类、信息检索和机器翻译等方面的应用。

三．教学内容

课程的基本内容包括：（1）自然语言处理的数学基础，如贝叶斯模型、噪声信道模型、熵和互信息等的概念、n元语法模型和HMM模型等，同时介绍这些模型在具体实践中的应用；（2）自然语言处理的语言学基础，介绍有关词法和语法等方面的知识，包括词语搭配、语义消歧、概率句法分析等内容；（3）自然语言处理的应用，如文本分类和聚类、信息检索、统计机器翻译、互联网信息挖掘。

课堂讲座（26学时）

第一章绪论

介绍自然语言处理的相关概念，使学生有一感性认识；同时说明自然语言处理中的不同方法论。

第二章 统计学基础

统计学基础知识，包括贝叶斯模型、噪声信道模型，熵、交叉熵和互信息等的概念。

第三章 语言学基础

介绍有关词性、句法、语法和语义等方面的语言学知识；基于语料库的统计自然语言处理，包括语料获取和标注以及应用等。

第四章 词语搭配

如何鉴定相邻或非相邻词语之间组合强度，即如何识别有意义的短语结构。第五章 n元语法模型

n元语法模型的建模和应用。

第六章 语义消歧

有监督和无监督的语义消歧。

第七章 隐马尔可夫模型与词性标注

有关隐马尔可夫模型的建模、算法及其在词性标注中的应用。

第八章 概率句法分析

上下文无关文法（CFG）、概率上下文无关文法（PCFG）、句法分析树等概念；基于概率的最佳句法分析树的确定；滨州树库；改进PCFG的方法。

第九章 文本分类和聚类

文本分类和聚类的算法介绍。

第十章 信息检索与挖掘

有关信息检索、信息挖掘的模型和理论。

第十一章统计机器翻译

基于统计的机器翻译的概念、方法、模型和应用等。

实验（6个学时）

实验一：基于搜索引擎，判断某种语言搭配是否符合语言规范；

实验二：隐马尔可夫模型及其在词性标注中的应用实现；

实验三：在指定语法下，建立给定句子的最佳句法分析树。

四．学时分配

教学内容 授课 上机 实验 实践 实践(周)

第一、二章 2

第三、四章 2

实验一 2

第五章 1

实验二 2

第六章 2

第七章 2

实验三 2

第八章 2

实验四 2

第九章 1

实验五 2

第十章 2

第十一章 2

实验六 6

总计： 16 16

五．评价与考核方式

考试成绩百分制：

1、笔试成绩（80%）

2、实验+平时成绩（20%）

六．教材与主要参考资料

1.统计自然语言处理基础（foundations of statistical natural language processing）

Christopher D. Manning and Hinrich Schutze。清华大学苑春法等人翻译。电子工业出版社，2007

2.自然语言处理综论（speech and language processing） Daniel Jurafsky and

James H. Martin 著，冯志伟、孙乐译。电子工业出版社，2005

3.现代信息检索（modern information retrieval），Ricardo Baeza-Yates, Berthier

Ribeiro-Neto 著，王知津、贾福新、郑红军等翻译。机械工业出版社，2005

制定人：

审核人：

批准人：

批准日期：年月日

TU Syllabus for Natural Language Processing and Information Retrieval

Code: 2160258 Title: Natural Language Processing and Information Retrieval

Semester Hours: 32 Credits: 1.5

Semester Hour

Structure Lecture：16 Experiment： 16

Offered by: School of Computer Science and Technology

for: Undergraduates or graduates of computer or linguistics major

Prerequisite: Statistics, object-oriented programming, knowledge about artificial intelligence or machine learning

1. Objective

Natural language processing (NLP) is a set of fundamental technology for human-computer interaction, search engine, machine translation and information extraction. This course is designed to introduce students to the fundamental concepts, mostly used algorithms and important applications of NLP. Part 1 provides basic knowledge on lexical, syntax and semantic analysis, through which some key algorithms will be presented (Part 2). These algorithms show how to automatically learn language knowledge with statistical language models on the basis of large-scale corpora. Part 3 provides such NLP applications as text classification and clustering, machine translation, information retrieval and web mining, which will enhance the students’ understanding of the strategies and approaches on designing and implementing NLP system.

2. Course Description

Understand and master the basic NLP theories, including statistical and linguistic basis, concepts and algorithms involved on lexical, syntax and semantic, and the applications of NLP methods in text categorization and clustering, information retrieval and machine translation, etc.

3. Topics

The main topics include: (1) statistical basis for NLP, as Bayesian model, Noise-channel model, entropy and mutual information, N-gram model and HMM model, etc. The practical applications based on these models will also be presented; (2) linguistic basis for NLP, introduce the lexical and grammatical knowledge, including collocation, semantic disambiguation, probabilistic parsing, etc; (3) the applications of NLP, as text categorization and clustering, information retrieval, machine translation and web mining, etc.

Classroom Lectures (26 semester hours)

Chapter 1 Introduction

Introduce the concepts of NLP, so that students will have a perceptual understanding to NLP. Indicates the different NLP methodologies.

Chapter 2 Statistical Basis

Basic statistical knowledge, including Bayesian Model, Noise-channel Model, and some concepts as entropy, cross entropy and mutual information, etc.

Chapter 3 Linguistics Basis

Introduce linguistic knowledge on part-of-speech, syntax, grammar, and semantics and other aspects; Corpus-based statistical natural language processing, including the corpus access, labeling, and applications.

Chapter 4 Collocation

How to identify the combination intensity between adjacent or Non-adjacent words, that is, how to identify the meaningful phrase structures.

Chapter 5 N-gram Model

The modeling and application of N-gram.

Chapter 6 Word Sense Disambiguation

Word sense disambiguation based on supervised and unsupervised methods. Chapter 7 Hidden Markov Model and Part-of-speech Labeling

Hidden Markov Model and related algorithms, and it’s application in part-of-speech Labeling.

Chapter 8 Probabilistic Syntax Parsing

Context Free Grammar (CFG), Probabilistic Context Free Grammar (PCFG), syntax parsing tree; the best parse tree selection algorithm; Penn Tree Bank; improvements on PCFG. Chapter 9

Text Categorization and Clustering

Text categorization and clustering algorithms Chapter 10 Information Retrieval and Mining

Modeling and theories on information retrieval and web mining Chapter 11 Statistical Machine Translation

Concepts, methods, models and application of machine translation based on statistics.

Experiments (6 semester hours)

Experiment 1: Judgment of reasonable collocation based on search engine. Experiment 2: Hidden Markov Model and its implementation in Part-of-speech

labeling.

Experiment 3: Build the best parse tree for a given sentence under specified

grammar.

4. Semester Hour Structure

Topics Lecture Computer

Lab.

Experiment

Practice

Practice (Week)

Chapter 1 and 2 2 Chapter 3 and 4 2

Experiment 1 2

Chapter 5 1

Experiment 2 2

Chapter 6 2 Chapter 7 2

Experiment 3 2

Chapter 8 2

Experiment 4 2

Chapter 9 1

Experiment 5 2

Chapter 10 2 Chapter 11 2

Experiment 6 6 Sum: 16 16

5. Grading

Course grading: hundred mark system.

1. Final exam (80%)

2. Experiments + homework (20%)

6. Text-Book & Additional Readings

1.Foundations of Statistical Natural Language Processing, Christopher D. Manning

and Hinrich Schutze, translated by Yuan Chun-fa and Li Qing-zhong, etc.

Publishing House of Electronics Industry, 2007

2.Speech and Language Processing, Daniel Jurafsky and James H. Martin,

translated by Feng Zhi-wei and Sun Le, Publishing House of Electronics Industry, 2005

3.Modern Information Retrieval, Ricardo Baeza-Yates and Berthier Ribeiro-Neto,

translated by Wang Zhi-jin, Jia Fu-xin and Zheng Hong-jun, etc. China Machine Press, 2005

Constitutor:

Reviewer:

Authorizor:

Date: