心理统计学课程教学大纲

《现代信息检索》课程教学大纲 一、课程总述 本课程大纲是以2014年计算机科学与技术专业本科专业人才培养方案为依据编制的。 课程名称 现代信息检索 课程代码 33042 英文名称 Modern Information Retrieval 开课阶段 第一阶段，第3学期 课程性质 专业选修实务技能性课程 先修课程 计算机科学导论，程序设计基础 总学时数 32 周学时数 2 开课院系 信息管理学院 任课教师 刘德喜，钟敏娟 编 写 人 刘德喜 编写时间 2016年 9 月 课程负责人 刘德喜 大纲主审人 吴方君 使用教材 刘挺等，信息检索系统导论，机械工业出版社，2008年

背景介绍 信息检索是信息管理领域中的核心部分。随着互联网的发展以及大容量存储设备的出现，海量信息的积累要求人们必须借助于计算机方能高效、准确地查找所需要的信息。现代信息检索从计算机科学的观点出发，重点介绍信息检索中的数据模型和实现技术。本课程的主要内容包括：信息检索模型（布尔模型、代数模型、概率模型）、信息检索的评价、组织和索引、web信息检索等内容，并结合当前信息检索的发展动态，介绍最新的研究成果。 与2012年制订的《现代信息检索》课程大纲相比，本次大纲修订在介绍基本原理的基础上，更强调学生自己动手设计，弱化一些难度相对较大理论知识，例如检索模型中概率模型的推导、语言模型中平滑方法的推导、检索模型评价中的NDGC方法等。 为加强学生动手，整个课程新增设一个搜索引擎原型的设计任务，要求学生设计（或利用开源的）网络爬虫，从指定网站收集关键词相关的web页面或微博微信，经过去重、网页内容提取、分词等预处理后，构建索引并存储，设计检索系统提供关键词检索。同时，会使用开源软件搭建简单的检索系统，会使用自然语言处理工具对文本数据进行分析。

课程与人才培养目标的关系

“数据管理能力”和“知识获取能力”是计算机科学与技术（财经大数据方向）学生的主要能力之一，这要求学生“掌握数据库的基本概念、关系数据库、数据库体系结构，数据组织与存储的基本概念与基本方法，以及数据库安全性与完整性、并发控制与恢复的基本概念和基本方法，能选择或设计工具根据工作需要采集和检索相关数据，并基于Oracle、SQL Server等数据库管理系统或Hadoop等大数据管理平台对数据进行存储和管理，并编写相应的处理程序。”“掌握文献检索、资料查询及运用现代信息技术获取相关信息的基本方法，具备信息获取、吸收和利用的能力。” 《现代信息检索》主要讲授和讨论现代信息检索领域的主要思想、关键技术和最新进展。包括Web信息特别是文本信息的获取、信息的组织和索引、文本预处理的方法、检索模型等。除了解现代信息检索的原理，该课程还组织学生利用程序设计知识设计一个小型的搜索引擎，这些能力可以帮助学生将来在工作中更有效地获取、组织、管理和发布企事业信息或企事业需要的信息。 在组织学生设计小型搜索引擎时，采用了大作业的方式，从第二周开始布置任务、划分小组，将任务拆分成子任务，每个子任务对应搜索引擎的一个子模块，包括网络爬虫、文本预处理（网页内容分析、分词等）、索引、检索等。这一过程可以训练学生的程序设计能力、数据结构与算法及其应用能力、数据管理能力、沟通与团队合作。由于该项目会用到大量开源工具或源码，需要学生主动获取、理解、正确运用并改进，因此又可以培养学生创新素质与能力、知识获取能力、终身学习与发展、国际视野与跨文化交流等能力。 课程考核采用的是课程设计和答辩形式，学生要提交设计报告和源码，并在答辩现场演示、介绍系统，对学生沟通表达能力也有很好的锻炼。

教学 参考资料 1. Johnny Long 等，Google Hacking技术手册，机械工业出版社，2009年 2. W.Bruce Croft等，搜索引擎－信息检索实践，机械工业出版社， 2009年 3. Christopher D. Manning等，信息检索导论，人民邮电出版社，2010年 4. Ricardo Baeza-Yates等著，现代信息检索（Modern Information Retrieval，第1版），机械工业出版社（影印版），2007.2 5. 国际会议：SIGIR，CIKM

课程 教学目的

我校计算机科学与技术专业的培养目标中要求学生具备计算机软件与硬件、企业组织与运营、系统分析与集成等方面的专业知识和能力。了解信息检索的原理有 助于学生有效地获取、组织、管理和发布企业信息。通过课程实践，训练学生将相关专业知识（概率论与数理统计、程序设计基础）进行实际综合应用的能力。 本课程为计算机计算机科学技术专业的专业提高课，不是讲授如何利用检索工具进行情报检索，而主要讲授和讨论现代信息检索领域的主要思想、关键技术和最新进展。主要内容包括检索模型、检索评价、相关反馈、查询扩展、信息的组织和索引、文本处理、WEB检索等等。通过本课程的学习，希望学生能了解信息检索的基本思想和概念，了解信息检索相关的最新研究成果，培养学生在信息检索相关领域的科研能力；在了解检索原理的基础上，更有效地获取、组织、管理和发布企业信息。另外，通过设计一个搜索引擎的原型系统，培养学生的动手能力。

课程 教学要求 1. 计算机科学导论、程序设计基础、概率论与数理统计是该课程的先修课（由于第5、6学期选修课任务太重，加上希望通该课程强化学生程序设计和数据结构的练习，因此将《现代信息检索》提前到3学期，此时还没开设《概率论与数理统计》课，因此概率模型部分除补充一些概率知识外，也弱化模型的推导过程）； 2. 尽管该课程有较强的理论性，但所涉及到的简单模型和算法学生有能力实现，因此，在讲授理论的同时，结合程序设计课程，提供适当的实践练习； 3. 基于统计的检索模型涉及到概率论与数理统计的知识，可以作为相应数学课程的一个实际应用，让学生理解数学的重要性； 4. 该课程是专业提高课，因此，需要结合信息检索的研究现状，介绍比较前沿的研究成果，培养学生的研究兴趣，练习科学研究的基本方法。 5．该课程涉及的知识面广、研究的领域比较宽泛，因此，除教材外，应给学生指定相关的参考书和课程网站，以拓宽学生的知识面。

本课程的重点和难点

重点：网络爬虫；倒排表以及其他相关索引结构；向量空间模型；概率模型、统计语言模型；链接分析算法、WEB建模；评价指标中的召回率、准确率和MAP等； 难点：动态网页的爬取、倒排索引的构建；概率模型、统计语言模型；web链接分析算法。

教学方法和教学手段 由于加强对学生动手能力的培养及灵活运用理论知识的能力的培养，本课程需从具体的理论知识点中跳出来，帮助学生建议整个检索系统的框架、帮助理解各章节内容在整个框架中的位置和作用。为达到这一目的，并考虑到本课程的重点和难点，拟采用以下几个方法和手段： （1）弱化理论，强化实践。对于需要花更多时间精力的原理性内容，主要介绍其特点的基本的思路，不再详细分析具体的推导过程等。例如，概率模型中的BM25模型，在介绍了概率模型的基本思想后，直接拿出BM25模型，对其中的构成进行一些必要的解释，并不完整推荐其过程。 （2）大作业驱动。要求学生完成一个搜索引擎的原型系统，该系统尽管不能真正投入使用，但可以帮助学生建立整个检索系统的框架。大作业被分解成多个子任务，伴随每个章节的讲解逐渐完成。 （3）充分利用开源代码。由于建议一个完成搜索引擎的原理系统需要的工作量非常大，要求学生在完成各模型时，可以借鉴一些开源工具，使得主要注意力集中在整个框架的搭建上。另外，也鼓励学生对搜索引擎原型系统中的某一部分进行深入挖掘，鼓励学生自己设计相应的代码。

课程考试 本课程是考察课，重在平时学习，因此将考核重点放在平时学习中。考试采用考勤(10%)、课堂表现(20%)、作业(20%)、答辩(20%)、考试(30%)等形式。

一、 教学时数分配

章目 教学内容 教学时数分配 课堂讲授 实验（上机） 布置任务、学生自行安排时间上机。上课会抽查 第一章 绪论 2学时 第二章 文本处理（爬虫、内容提取、预处理） 6学时 第三章 信息的组织和索引 4学时 第四章 信息检索模型 10学时 第五章 检索性能评价 2学时 第六章 WEB检索 4学时 组织课程答辩 4学时

三、单元教学目的、教学重难点和内容设置 《现代信息检索》各部分内容之间的联系：

第一章 绪论 【教学目的】 了解信息检索的基本概念和发展历史、信息检索和其他相关学科的关系、信息检索系统的基本构架和一般流程。 【重点难点】 重点：信息检索的基本概念、对检索过程的理解。 难点：检索中各过程的作用在本章的介绍中还不具体，给理解带来一定难度。 【教学内容】 信息检索的基本概念 信息检索的历史、现在、将来 信息检索和其他学科的关系 信息检索的过程 【重难点的教学方法】 结合当前搜索引擎进行讲解。目前百度、GOOGLE等搜索引擎已经被学生熟知，因此，结合他们的实际检索体验，分析用户提交查询后搜索引擎在做什么处理、为什么需要这些处理过程等。

第二章 文本处理（爬虫、内容提取、预处理） 【教学目的】 理解文本处理的目的，了解词法分析(停用词消除、词干提取、中文分词、词性标注)的基本方法。了解网络爬虫的工作原理，学习使用开源的网络爬虫抓取数据。