第1章机器学习概述
《人工智能》课程教学大纲
《⼈⼯智能》课程教学⼤纲⼈⼯智能》课程教学⼤纲、课程基本信息⼆、课程教学⽬标《⼈⼯智能》是计算机科学与技术专业的⼀门专业拓展课，通过本课程的学习使本科⽣对⼈⼯智能的基本内容、基本原理和基本⽅法有⼀个⽐较初步的认识，掌握⼈⼯智能的基本概念、基本原理、知识的表⽰、推理机制和智能问题求解技术。
启发学⽣开发软件的思路，培养学⽣对相关的智能问题的分析能⼒，提⾼学⽣开发应⽤软件的能⼒和⽔平。
三、教学学时分配四、教学内容和教学要求第⼀章⼈⼯智能概述（3 学时）（⼀）教学要求1.掌握⼈⼯智能的基本概念；2.理解⼈⼯智能的发展状况。
3.理解⼈⼯智能的基本技术；4.了解⼈⼯智能的研究途径与⽅法；5.了解⼈⼯智能的分⽀领域；（⼆）教学重点与难点教学重点：⼈⼯智能的基本技术。
教学难点：三⼤学派的研究途径与⽅法。
（三）教学内容第⼀节⼈⼯智能的基本概念1.什么是⼈⼯智能2.强⼈⼯智能与弱⼈⼯智能3.脑智能和群智能4.符号智能和计算智能第⼆节⼈⼯智能发展概况1.⼈⼯智能学科的产⽣2.⼈⼯智能学科的发展3.⼈⼯智能三⼤学派第三节⼈⼯智能研究途径与⽅法1.⼈⼯智能的研究⽬标2.⼈⼯智能的研究⽅法3.⼈⼯智能的研究内容第四节⼈⼯智能基本技术2.搜索技术3.知识库技术4.归纳技术5.联想技术第五节⼈⼯智能的应⽤1.难题求解2.机器定理证明3.⾃动程序设计4.模式识别5.机器翻译6.智能管控7.智能决策8.智能⼈机接⼝第六节⼈⼯智能的影响1.⼈⼯智能对⼈类的影响2.⼈⼯智能对社会的影响本章习题要点：对基本概念、技术、⽅法的理解。
第⼆章智能程序设计语⾔（5 学时）（⼀）教学要求1．了解常见的⼏种⼈⼯智能程序设计语⾔；2．理解逻辑型程序设计语⾔PROLO；G3．掌握Turbo PROLOG程序设计⽅法及常规程序设计。
（⼆）教学重点与难点教学重点：TURBO PROLO常G规程序设计。
教学难点：PROLOG程序的运⾏机理。
（三）教学内容第⼀节⼈⼯智能语⾔概述1.什么是智能程序设计语⾔2.智能程序设计语⾔的特点第⼆节基本PROLOG语⾔1.PROLOG的语句2.PROLOG的程序构成3.PROLOG程序的运⾏机理第三节PROLOG程序设计1.标准领域2.运算符与表达式3.输⼊与输出4.分⽀程序设计5.循环程序设计6.表处理与递归7.回溯控制本章习题要点：对程序结构和设计⽅法的理解，进⾏分⽀、循环、递归程序设计和调试。
《人工智能概论》课程笔记
《人工智能概论》课程笔记第一章人工智能概述1.1 人工智能的概念人工智能（Artificial Intelligence，简称AI）是指使计算机具有智能行为的技术。
智能行为包括视觉、听觉、语言、学习、推理等多种能力。
人工智能的研究目标是让计算机能够模拟人类智能的某些方面，从而实现自主感知、自主决策和自主行动。
人工智能的研究领域非常广泛，包括机器学习、计算机视觉、自然语言处理、知识表示与推理等。
1.2 人工智能的产生与发展人工智能的概念最早可以追溯到上世纪50 年代。
1950 年，Alan Turing 发表了著名的论文《计算机器与智能》，提出了“图灵测试”来衡量计算机是否具有智能。
1956 年，在达特茅斯会议上，John McCarthy 等人首次提出了“人工智能”这个术语，并确立了人工智能作为一个独立的研究领域。
人工智能的发展可以分为几个阶段：（1）推理期（1956-1969）：主要研究基于逻辑的符号操作和自动推理。
代表性成果包括逻辑推理、专家系统等。
（2）知识期（1970-1980）：研究重点转向知识表示和知识工程，出现了专家系统。
代表性成果包括产生式系统、框架等。
（3）机器学习期（1980-1990）：机器学习成为人工智能的重要分支，研究如何让计算机从数据中学习。
代表性成果包括决策树、神经网络等。
（4）深度学习期（2006-至今）：深度学习技术的出现，推动了计算机视觉、自然语言处理等领域的发展。
代表性成果包括卷积神经网络、循环神经网络等。
1.3 人工智能的三大学派人工智能的研究可以分为三大学派：（1）符号主义学派：认为智能行为的基础是符号操作和逻辑推理。
符号主义学派的研究方法包括逻辑推理、知识表示、专家系统等。
（2）连接主义学派：认为智能行为的基础是神经网络和机器学习。
连接主义学派的研究方法包括人工神经网络、深度学习、强化学习等。
（3）行为主义学派：认为智能行为的基础是感知和行动。
行为主义学派的研究方法包括遗传算法、蚁群算法、粒子群算法等。
人工智能第五版教学设计
人工智能第五版教学设计课程概述人工智能作为一门新兴的学科，涵盖了众多的领域，包括机器学习、自然语言处理、图像识别、智能控制等。
本课程旨在给学生提供一份深入浅出的人工智能概述，让学生了解人工智能的发展历程、应用场景、基本原理和算法，并亲手实践一些常见的人工智能应用。
课程目标1.理解人工智能的基本概念和技术框架2.掌握一些经典的人工智能算法，如决策树、神经网络、遗传算法等3.学会应用Python等语言和库实现简单的人工智能程序4.对未来的人工智能发展趋势有一定的预测和认知课程内容第一章人工智能概述1.1 人工智能的历史和发展1.2 人工智能的应用场景和前景1.3 人工智能的基本概念和技术架构第二章机器学习2.1 机器学习概述2.2 监督学习算法2.3 非监督学习算法2.4 强化学习算法第三章自然语言处理3.1 自然语言处理概述3.2 和概率图模型3.3 词向量和句向量表示3.4 命名实体识别和主题模型第四章图像识别4.1 图像识别概述4.2 分类算法和神经网络4.3 物体检测和图像分割第五章智能控制5.1 智能控制概述5.2 PID控制和神经网络控制5.3 模糊控制和遗传算法控制第六章总结与展望6.1 人工智能的发展趋势与热点领域6.2 个人思考和学习总结教学方法本课程采用讲授理论和实际操作相结合的授课方式。
每节课会介绍一种算法或应用领域的基础知识和相关案例，讲解其数学原理和编程实现，然后让学生自己动手实践并思考应用场景。
同时，我们提供相关的参考文献、代码案例和在线平台，供学生学习参考。
评分标准1.平时成绩：考勤、作业、实验等（40%）2.期末考试：选择题、填空题、编程实现等（60%）3.追加考试（选做）：根据实际情况设立（10%）参考文献1.机器学习课程2.自然语言处理实战3.图像识别入门与实践4.智能控制原理与应用5.机器人科学导论总结人工智能的发展趋势和应用场景越来越广泛和深入，掌握人工智能基础知识和相关算法将是未来IT人才的基本要求。
《人工智能基础与应用》1-人工智能概述
PaddlePaddle的设计也使其易于部署。
（3）稳定性。
PaddlePaddle使利用各种CPU、 GPU和机器来加速的训练变得简单。 PaddlePaddle通过优化通信可以实 现巨大的吞吐量，并可以快速执行。
内容 导航
CONTENTS
了解人工智能 了解深度学习
第1章 人工智能概述
20
人工智能发展现状 人工智能机器学习框架
1.1 了解人工智能
4．无人驾驶
第汽车是智能汽车的一种，也称为轮式移 动机器人，主要依靠车内以计算机系统为主的智能驾驶仪来实现无人驾驶的目的”。
➢ 无人驾驶汽车是一项集合了自动控制、人工智能、传感器技术等多项技术的高度发展的产 物。
➢ 在实际应用中，人工智能在语音识别、语音合成上取得了非常瞩目的结果。 ➢ 人工智能已经被运用于农业上，2017年，蓝河公司（BlueRiver）的喷药机器人开始使用计算机视觉来识别需要肥料的植物。 ➢ 在医学上，谷歌大脑与Alphabet旗下子公司Verily联合开发了一款能用来诊断乳腺癌的人工智能产品。 ➢ 在电商领域，阿里的人工智能系统“鲁班”在2017年的“双十一”网络促销日期间，根据用户行为和偏好，智能地为手机淘宝自动
➢ 在2012年的大规模视觉识别挑战赛（ImageNet Large Scale Visual Recognition Challenge， ILSVRC）中，辛顿（Hinton）和他的学生克里泽夫斯基（Alex Krizhevsky）设计的深度学习网 络AlexNet获得了冠军；
➢ 到2015年，深度学习在图像分类方面的错误率已经低于人工标注的错误率；现在，深度学习被广 泛应用于各个方向并取得了非常好的和工程师开发，有着全面、准确 的中文使用文档，为国内的开发者建立了友好的生态环境。
《机器学习》（周志华）西瓜书读书笔记（完结）
《机器学习》（周志华）西⽠书读书笔记（完结）⼤部分基础概念知识已经在这篇博客中罗列,因此本⽂仅对感觉重要或不曾了解的知识点做摘记第1章绪论对于⼀个学习算法a,若它在某问题上⽐学习算法b好,则必然存在另⼀些问题,在那⾥b⽐a好.即"没有免费的午餐"定理(No FreeLunch Theorem,NFL).因此要谈论算法的相对优劣,必须要针对具体的学习问题第2章模型评估与选择m次n折交叉验证实际上进⾏了m*n次训练和测试可以⽤F1度量的⼀般形式Fβ来表达对查准率/查全率的偏好:偏差度量了学习算法的期望预测与真实结果的偏离程度,即学习算法本⾝的拟合能⼒,⽅差度量了同样⼤⼩的训练集的变动所导致的学习性能的变化,即数据扰动造成的影响.噪声表达了当前任务上任何学习算法所能达到的期望泛化误差的下界,即学习问题本⾝的难度.第3章线性模型线性判别分析(LDA)是⼀种经典的监督线性降维⽅法:设法将训练样例投影到⼀条直线上,使同类样例的投影点尽可能接近,异类样例的投影点尽可能远离.对新样本分类时根据投影点的位置来确定类别.多分类学习的分类器⼀般有以下三种策略:1. ⼀对⼀(OvO),N个类别产⽣N * (N - 1) / 2种分类器2. ⼀对多(OvR或称OvA),N个类别产⽣N - 1种分类器3. 多对多(MvM),如纠错输出码技术解决类别不平衡问题的三种⽅法:1. 过采样法,增加正例使正负例数⽬接近,如SMOTE:思想是合成新的少数类样本,合成的策略是对每个少数类样本a,从它的最近邻中随机选⼀个样本b,然后在a、b之间的连线上随机选⼀点作为新合成的少数类样本.2. ⽋采样法,减少负例使正负例数⽬接近,如EasyEnsemble:每次从⼤多数类中抽取和少数类数⽬差不多的重新组合,总共构成n个新的训练集,基于每个训练集训练出⼀个AdaBoost分类器（带阈值）,最后结合之前训练分类器结果加权求和减去阈值确定最终分类类别.3. 再缩放法第4章决策树ID3决策树选择信息增益最⼤的属性来划分:1. 信息熵:2. 信息增益:C4.5决策树选择增益率⼤的属性来划分,因为信息增益准则对可取值数⽬较多的属性有所偏好.但增益率会偏好于可取值数⽬较少的属性,因此C4.5算法先找出信息增益⾼于平均⽔平的属性,再从中选择增益率最⾼的.另外,C4.5决策树采⽤⼆分法对连续值进⾏处理,使⽤时将划分阈值t作为参数,选择使信息增益最⼤的t划分属性.采⽤样本权值对缺失值进⾏处理,含有缺失值的样本同时划⼊所有结点中,但相应调整权重.1. 增益率:2. a的固有值:CART决策树则选择基尼指数最⼩的属性来划分,基尼系数反映了从数据集中随机抽取的两个样本类别不⼀致的概率,注意CART是⼆叉树,其余两种都为多叉树.1. 基尼值衡量的纯度:2. 基尼指数:剪枝是决策树对付过拟合的主要⼿段,分为预剪枝和后剪枝.1. 预剪枝对每个结点在划分前先进⾏估计,若该结点的划分不能带来决策树泛化性能提升,则停⽌划分.预剪枝基于"贪⼼"本质,所以有⽋拟合的风险.2. 后剪枝是先⽣成⼀棵完整的决策树,然后⾃底向上对⾮叶结点考察,若该结点替换为叶结点能带来决策树泛化性能提升,则将⼦树替换为叶结点.缺点是时间开销⼤.决策树所形成的分类边界是轴平⾏的,多变量决策树(斜决策树)的每⼀个⾮叶结点都是⼀个线性分类器,因此可以产⽣斜的划分边界.第5章神经⽹络误差逆传播算法(BP算法)是迄今为⽌最成功的神经⽹络学习算法.关键点在于通过计算误差不断逆向调整隐层神经元的连接权和阈值.标准BP算法每次仅针对⼀个训练样例更新,累积BP算法则根据训练集上的累积误差更新.缓解BP神经⽹络过拟合有两种常见策略:1. 早停:若训练集误差降低但验证集误差升⾼则停⽌训练.2. 正则化:在误差⽬标函数中增加⼀个描述⽹络复杂度的部分(较⼩的连接权和阈值将使神经⽹络较为平滑).跳出局部最⼩,寻找全局最⼩的常⽤⽅法:1. 以多组不同参数初始化多个神经⽹络,选择最接近全局最⼩的2. 模拟退⽕3. 随机梯度下降典型的深度学习模型就是很深层的神经⽹络.但是多隐层神经⽹络难以直接⽤经典算法进⾏训练,因为误差在多隐层内逆传播时往往会发散.⽆监督逐层训练(如深层信念⽹络,DBN)和权共享(如卷积神经⽹络,CNN)是常⽤的节省训练开销的策略.第6章⽀持向量机⽀持向量机中的原始样本空间不⼀定存在符合条件的超平⾯,但是如果原始空间是有限维,则总存在⼀个⾼维特征空间使样本线性可分.核函数就是⽤来简化计算⾼维特征空间中的内积的⼀种⽅法.核函数选择是⽀持向量机的最⼤变数.常⽤的核函数有线性核,多项式核,⾼斯核(RBF核),拉普拉斯核,Sigmoid核.对⽂本数据常⽤线性核,情况不明时可先尝试⾼斯核.软间隔是缓解⽀持向量机过拟合的主要⼿段,软间隔允许某些样本不满⾜约束.⽀持向量回归可以容忍预测输出f(x)和真实输出y之间存在ε的偏差,仅当偏差绝对值⼤于ε时才计算损失.⽀持向量机中许多规划问题都使⽤拉格朗⽇对偶算法求解,原因在于改变了算法复杂度.原问题的算法复杂度与样本维度有关,对偶问题的样本复杂度与样本数量有关.如果使⽤了升维的⽅法,则此时样本维度会远⼤于样本数量,在对偶问题下求解会更好.第7章贝叶斯分类基于贝叶斯公式来估计后验概率的困难在于类条件概率是所有属性上的联合概率,难以从有限的训练样本直接估计⽽得.因此朴素贝叶斯分类器采⽤了"属性条件独⽴性假设"来避开这个障碍.朴素贝叶斯分类器中为了避免其他属性携带的信息被训练集中未出现的属性值"抹去",在估计概率值时通常要进⾏"平滑",常⽤拉普拉斯修正.属性条件独⽴性假设在现实中往往很难成⽴,于是半朴素贝叶斯分类器采⽤"独依赖估计(ODE)",即假设每个属性在类别之外最多仅依赖于⼀个其他属性.在此基础上有SPODE,TAN,AODE等算法.贝叶斯⽹⼜称信念⽹,借助有向⽆环图来刻画属性之间的依赖关系,并⽤条件概率表来描述属性的联合概率分布.半朴素贝叶斯分类器是贝叶斯⽹的⼀种特例.EM(Expectation-Maximization)算法是常⽤的估计参数隐变量的⽅法.基本思想是:若参数θ已知,则可根据训练数据推断出最优隐变量Z的值(E);若Z的值已知,则可⽅便地对参数θ做极⼤似然估计(M).第8章集成学习集成学习先产⽣⼀组个体学习器,再⽤某种策略将它们结合起来.如果集成中只包含同种类型的个体学习器则叫同质集成,其中的个体学习器称为基学习器,相应的学习算法称为基学习算法.如果包含不同类型的个体学习器则叫异质集成,其中的学习器常称为组件学习器.要获得好的集成,个体学习器应"好⽽不同".即要有⼀定的准确性,并且要有多样性.⽬前的集成学习⽅法⼤致分为两⼤类:1. 序列化⽅法:个体学习器间存在强依赖关系,必须串⾏⽣成.2. 并⾏化⽅法:个体学习器间不存在强依赖关系,可同时⽣成.Boosting先从初始训练集训练出⼀个基学习器,再根据基学习器的表现对训练样本分布进⾏调整,使做错的训练样本在后续受到更多关注(给予更⼤的权重或重采样).然后基于调整后的样本分布来训练下⼀个基学习器;直到基学习器的数⽬达到指定值T之后,将这T个基学习器加权结合.Boosting主要关注降低偏差,因此能基于泛化性能相当弱的学习器构建出很强的集成.代表算法有AdaBoost.Bagging是并⾏式集成学习⽅法最著名的代表.它基于⾃助采样法,采样出T个含m个训练样本的采样集,基于每个采样集训练出⼀个基学习器,再将这些基学习器进⾏简单结合.在对预测输出进⾏结合时,常对分类任务使⽤投票法,对回归任务使⽤平均法.Bagging主要关注降低⽅差,因此在不剪枝决策树,神经⽹络等易受样本扰动的学习器上效⽤更明显.代表算法有随机森林.随机森林在以决策树为基学习器构建Bagging的基础上,进⼀步引⼊了随机属性选择.即先从属性集合(假定有d个属性)中随机选择⼀个包含k个属性的⼦集,再从这个⼦集中选择⼀个最优属性进⾏划分.当k=d时,基决策树与传统决策树相同.当k=1时,则随机选择⼀个属性⽤于划分.⼀般推荐k=log2d.学习器结合可能会从三个⽅⾯带来好处:1. 统计:可能有多个假设在训练集上达到同等性能,单学习器可能因误选⽽导致泛化性能不佳,结合多个学习器会减⼩这⼀风险.2. 计算:通过多次运⾏之后进⾏结合,降低陷⼊糟糕局部极⼩点的风险.3. 表⽰:结合多个学习器,相应的假设空间有所扩⼤,有可能学得更好的近似.结合策略:1. 平均法:对数值型输出,最常见的策略是平均法.⼀般⽽⾔,在个体学习器性能相差较⼤时使⽤加权平均法,性能相近时使⽤简单平均法.权重⼀般也是从训练数据中学习⽽得.2. 投票法:对分类任务来说,最常见的策略是投票法.⼜可细分为绝对多数投票法,相对多数投票法,加权投票法.绝对多数投票法允许"拒绝预测",若必须提供预测结果则退化为相对多数投票法.若基学习器的类型不同,则类概率值不能直接⽐较,需要将类概率输出转化为类标记输出后再投票.3. 学习法:当训练数据很多时,⼀种更强⼤的策略是通过另⼀个学习器来结合.Stacking是学习法的典型代表.我们把个体学习器称为初级学习器,⽤于结合的学习器称为次级学习器或元学习器.Stacking⽤初级学习器的输出作为样例输⼊特征,⽤初始样本的标记作为样例标记,然后⽤这个新数据集来训练次级学习器.⼀般⽤初级学习器的输出类概率作为次级学习器的输⼊属性,⽤多响应线性回归(Multi-response Linear Regression,MLR)作为次级学习算法效果较好.多样性增强常⽤的⽅法有:数据样本扰动,输⼊属性扰动,输出表⽰扰动,算法参数扰动.第9章聚类聚类既能作为⼀个找寻数据内在分布结构的单独过程,也可以作为其他学习任务的前驱过程.我们希望"物以类聚",也就是聚类结果的"簇内相似度"⾼且"簇间相似度"低.聚类性能度量⼤致有两类.⼀类是将聚类结果与参考模型进⾏⽐较,称为外部指标,常⽤的有JC,FMI,RI;另⼀类是直接考察聚类结果,称为内部指标,常⽤的有DBI,DI.有序属性距离计算最常⽤的是闵可夫斯基距离,当p=2时即欧⽒距离,当p=1时即曼哈顿距离.对⽆序属性可采⽤VDM(Value Difference Metric),将闵可夫斯基距离和VDM结合即可处理混合属性,当不同属性的重要性不同时可使⽤加权距离.我们基于某种形式的距离来定义相似度度量,但是⽤于相似度度量的距离未必⼀定要满⾜距离度量的基本性质,尤其是直递性.在现实任务中有必要通过距离度量学习来基于数据样本确定合适的距离计算式.原型聚类假设聚类结构能通过⼀组原型刻画.通常算法先对原型进⾏初始化,然后对原型进⾏迭代更新求解.常⽤的原型聚类算法有k均值算法,学习向量量化,⾼斯混合聚类.密度聚类假设聚类结构能通过样本分布的紧密程度确定.通常从样本密度的⾓度来考察样本之间的可连接性,并基于可连接样本不断扩展聚类簇.常⽤算法有DBSCAN层次聚类试图在不同层次对数据集进⾏划分,从⽽形成树形的聚类结构.代表算法有AGNES.第10章降维与度量学习懒惰学习在训练阶段只把样本保存起来,训练时间开销为零,待收到测试样本后再进⾏处理,如k近邻学习(kNN).急切学习则在训练阶段就对样本进⾏学习处理.若任意测试样本x附近任意⼩的δ距离范围内总能找到⼀个训练样本,即训练样本的采样密度⾜够⼤,或称为密采样,则最近邻分类器(1NN)的泛化错误率不超过贝叶斯最优分类器的错误率的两倍.在⾼维情形下出现的数据样本稀疏,距离计算困难等问题称为"维数灾难".处理⾼维数据的两⼤主流技术是降维和特征选择.降维亦称维数约简,即通过某种数学变换将原始⾼维属性空间转变为⼀个低维⼦空间.能进⾏降维的原因是与学习任务密切相关的或许仅仅是数据样本的某个低维分布,⽽不是原始⾼维空间的样本点.多维缩放是⼀种经典的降维⽅法.它使原始空间中样本之间的距离在低维空间中得以保持.主成分分析(PCA)是最常⽤的⼀种降维⽅法.如果要⽤⼀个超平⾯对所有样本进⾏恰当的表达,这个超平⾯应该具有最近重构性和最⼤可分性两种性质.基于这两种性质可以得到主成分分析的等价推导.PCA可以使样本的采样密度增⼤,同时在⼀定程度上起到去噪的效果.线性降维⽅法有可能丢失低维结构,因此要引⼊⾮线性降维.⼀种常⽤⽅法是基于核技巧对线性降维⽅法进⾏核化.如核主成分分析(KPCA).流形学习(manifold learning)是⼀类借鉴了拓扑流形概念的降维⽅法.流形在局部具有欧⽒空间性质.将低维流形嵌⼊到⾼维空间中,可以容易地在局部建⽴降维映射关系,再设法将局部映射关系推⼴到全局.常⽤的流形学习⽅法有等度量映射和局部线性嵌⼊等.对⾼维数据进⾏降维的主要⽬的是找到⼀个合适的低维空间.事实上,每个空间对应了在样本属性上定义的⼀个距离度量,度量学习直接尝试学习出⼀个合适的距离度量.常⽤⽅法有近邻成分分析(NCA).第11章特征选择与稀疏学习对当前学习任务有⽤的属性称为相关特征,没什么⽤的属性称为⽆关特征.从给定特征集合中选择出相关特征⼦集的过程称为特征选择.特征选择是⼀个重要的数据预处理过程.冗余特征是指包含的信息可以从其他特征中推演出来的特征.冗余特征在很多时候不起作⽤,但若某个冗余特征恰好对应了完成学习任务所需的中间概念,则该冗余特征反⽽是有益的.⼦集搜索:可以采⽤逐渐增加相关特征的前向搜索,每次在候选⼦集中加⼊⼀个特征,选取最优候选⼦集.也可以采⽤每次去掉⼀个⽆关特征的后向搜索.这些策略是贪⼼的,但是避免了穷举搜索产⽣的计算问题.⼦集评价:特征⼦集A确定了对数据集D的⼀个划分,样本标记信息Y对应着对D的真实划分,通过估算这两个划分的差异就能对A进⾏评价.可采⽤信息熵等⽅法.过滤式选择先对数据集进⾏特征选择,然后再训练学习器,特征选择过程与后续学习器⽆关.Relief(Relevant Features)是⼀种著名的过滤式选择⽅法.该⽅法设计了⼀个相关统计量来度量特征的重要性.包裹式选择直接把最终将要使⽤的学习器的性能作为特征⼦集的评价标准.因此产⽣的最终学习器的性能较好,但训练时的计算开销也更⼤.LVW(Las Vegas Wrapper)是⼀个典型的包裹式特征选择⽅法,它在拉斯维加斯⽅法框架下使⽤随机策略来进⾏⼦集搜索,并以最终分类器的误差为特征⼦集评价准则.嵌⼊式选择是将特征选择过程与学习器训练过程融为⼀体,两者在同⼀个优化过程中完成.例如正则化.L1正则化(Lasso)是指权值向量w中各个元素的绝对值之和.L1正则化趋向选择少量的特征,使其他特征尽可能为0,可以产⽣稀疏权值矩阵,即产⽣⼀个稀疏模型,可以⽤于特征选择.L1正则化是L0正则化的最优凸近似.L2正则化(Ridge)是指权值向量w中各个元素的平⽅和然后再求平⽅根.L2正则化趋向选择更多的特征,让这些特征尽可能接近0,可以防⽌模型过拟合(L1也可以).字典学习也叫稀疏编码,指的是为普通稠密表达的样本找到合适的字典,将样本转化为合适的稀疏表达形式,从⽽使学习任务得以简化,模型复杂度得以降低的过程.压缩感知关注的是利⽤信号本⾝的稀疏性,从部分观测样本中恢复原信号.分为感知测量和重构恢复两个阶段,其中重构恢复⽐较重要.可利⽤矩阵补全等⽅法来解决推荐系统之类的协同过滤(collaborative filtering)任务.由于第⼀次阅读,12章开始的内容仅作概念性了解.第12章计算学习理论计算学习理论研究的是关于通过计算来进⾏学习的理论,⽬的是分析学习任务的困难本质,为学习算法提供理论保证,并提供分析结果指导算法设计.计算学习理论中最基本的是概率近似正确(Probably Approximately Correct,PCA)学习理论.由此可以得到PAC辨识,PAC可学习,PAC学习算法,样本复杂度等概念.有限假设空间的可分情形都是PAC可学习的.对于不可分情形,可以得到不可知PAC可学习的概念,即在假设空间的所有假设中找到最好的⼀个.对⼆分类问题来说,假设空间中的假设对数据集中⽰例赋予标记的每种可能结果称为对数据集的⼀种对分.若假设空间能实现数据集上的所有对分,则称数据集能被假设空间打散.假设空间的VC维是能被假设空间打散的最⼤数据集的⼤⼩.算法的稳定性考察的是算法在输⼊发⽣变化时,输出是否会随之发⽣较⼤的变化.第13章半监督学习主动学习是指先⽤有标记样本训练⼀个模型,通过引⼊额外的专家知识,将部分未标记样本转变为有标记样本,每次都挑出对改善模型性能帮助⼤的样本,从⽽构建出⽐较强的模型.未标记样本虽未直接包含标记信息,但若它们与有标记样本是从同样的数据源独⽴同分布采样⽽来,则它们所包含的关于数据分布的信息对建模⼤有裨益.要利⽤未标记样本,需要有⼀些基本假设,如聚类假设,流形假设.半监督学习可进⼀步划分为纯半监督学习和直推学习.前者假定训练数据中的未标记样本并⾮待预测的数据,⽽后者则假定学习过程中所考虑的未标记样本恰是待预测数据.⽣成式⽅法是直接基于⽣成式模型的⽅法.此类⽅法假设所有数据都是由同⼀个潜在的模型⽣成的.这个假设使得我们能通过潜在模型的参数将未标记数据与学习⽬标联系起来.半监督⽀持向量机(S3VM)是⽀持向量机在半监督学习上的推⼴.S3VM试图找到能将两类有标记样本分开,且穿过数据低密度区域的划分超平⾯.除此之外,还有图半监督学习,基于分歧的⽅法(如协同训练),半监督聚类等学习⽅法.第14章概率图模型机器学习最重要的任务,是根据⼀些已观察到的证据来对感兴趣的未知变量进⾏估计和推测.⽣成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O).概率图模型是⼀类⽤图来表达变量相关关系的概率模型.若变量间存在显式的因果关系,常使⽤贝叶斯⽹.若变量间存在相关性但难以获取显式的因果关系,常使⽤马尔可夫⽹.隐马尔可夫模型(Hidden Markov Model,HMM)是结构最简单的动态贝叶斯⽹.主要⽤于时序数据建模,在语⾳识别,⾃然语⾔处理等领域有⼴泛应⽤.隐马尔可夫模型中有状态变量(隐变量)和观测变量两组变量.马尔可夫链:系统下⼀时刻的状态仅有当前状态决定,不依赖于以往的任何状态.马尔可夫随机场(Markov Random Field,MRF)是典型的马尔可夫⽹.每⼀个结点表⽰⼀个或⼀组变量,结点之间的边表⽰两个变量之间的依赖关系.条件随机场是判别式模型,可看作给定观测值的马尔可夫随机场.概率图模型的推断⽅法⼤致分为两类.第⼀类是精确推断,代表性⽅法有变量消去和信念传播.第⼆类是近似推断,可⼤致分为采样(如MCMC采样)和使⽤确定性近似完成近似推断(如变分推断).第15章规则学习规则学习是指从训练数据中学习出⼀组能⽤于对未见⽰例进⾏判别的规则.规则学习具有较好的可解释性,能使⽤户直观地对判别过程有所了解.规则学习的⽬标是产⽣⼀个能覆盖尽可能多的样例的规则集,最直接的做法是序贯覆盖,即逐条归纳:每学到⼀条规则,就将该规则覆盖的训练样例去除.常采⽤⾃顶向下的⽣成-测试法.规则学习缓解过拟合的常见做法是剪枝,例如CN2,REP,IREP等算法.著名的规则学习算法RIPPER就是将剪枝与后处理优化相结合.命题规则难以处理对象之间的关系,因此要⽤⼀阶逻辑表⽰,并且要使⽤⼀阶规则学习.它能更容易地引⼊领域知识.著名算法有FOIL(First-Order Inductive Learner)等.第16章强化学习强化学习的⽬的是要找到能使长期累积奖赏最⼤化的策略.在某种意义上可看作具有"延迟标记信息"的监督学习问题.每个动作的奖赏值往往来⾃于⼀个概率分布,因此强化学习会⾯临"探索-利⽤窘境",因此要在探索和利⽤中达成较好的折中.ε-贪⼼法在每次尝试时以ε的概率进⾏探索,以均匀概率随机选取⼀个动作.以1-ε的概率进⾏利⽤,选择当前平均奖赏最⾼的动作.Softmax算法则以较⾼的概率选取平均奖赏较⾼的动作.强化学习任务对应的马尔可夫决策过程四元组已知的情形称为模型已知.在已知模型的环境中学习称为"有模型学习".反之称为"免模型学习".从⼈类专家的决策过程范例中学习的过程称为模仿学习.。
《机器学习》PPT课件
6
17.10.2020
重要性：例子—生物信息学
常用技术：
神经网络 支持向量机 隐马尔可夫模型 k近邻 决策树 序列分析 聚类
…… ……
7
重要性（续）
机器学习在过去十年中发展极为迅速，今后会快速稳定地 发展、对科学做出更大贡献的领域 [E.Mjolsness & D. DesCoste, Science 01]
17.10.2020
21
6.1 机器学习概述
学习可能只是一个简单的联想过程，给定了特定 的输入，就会产生特定的输出。如：狗
命令“坐” 行为“坐”
17.10.2020
22
学习的成功是多种多样的：
学习识别客户的购买模式以便能检测出信用卡 欺诈行为，
对客户进行扼要描述以便能对市场推广活动进 行定位，
共性问题：
几乎所有的领域，都希望越准越好
提高泛化能力是永远的追求
目前泛化能力最强的技术：
支持向量机（SVM） 产生途径：理论->实践
集成学习（ensemble learning） 产生途径：实践->理论
17.10.2020
10
挑战问题(1)：泛化能力（续）
第一个挑战问题： 今后10年
能否更“准”？
如果能，会从哪儿来？
17.10.2020
11
挑战问题(2)：速度
共性问题：
几乎所有的领域，都希望越快越好
加快速度也是永远的追求
“训练速度” vs. “测试速度
训练速度快的往往测试速度慢：k近邻 测试速度快的往往训练速度慢：神经网络
17.10.2020
12
挑战问题(2)：速度（续）
第二个挑战问题： 今后10年
第1章 人工智能概述
第1章 人工智能概述 章
1.2.3 行为模拟，控制进化 除了上述两种研究途径和方法外，还有基于感知-行 为模型的研究途径和方法——行为模拟法。 这种方法是模拟人在控制过程中的智能活动和行为特 性，如自寻优、自适应、自学习、自组织等，来研究和 实现人工智能。 典型代表:MIT的R.Brooks.研制的六足行走机器人(亦 称为人造昆虫或机器虫)，曾引起人工智能界的轰动。这 个机器虫可以看作是新一代的“控制论动物”，它具有 一定的适应能力，是一个运用行为模拟即控制进化方法 研究人工智能的代表作。
第1章 人工智能概述 章
1.1 人工智能的概念
1.1.1 什么是人工智能 人工智能(Artificial Intelligence, AI)探讨人类思维、行动中那 些尚未算法化的功能行为;使机器 Thinking 、Acting
like
human。
人工智能下一个准确的定义很困难，至今尚无统一的定义。 狭义概念： 人工智能是计算机科学中涉及研究，设计和应用智能机器 的一个分支，是对智能计算机系统的研究。 智能机器: 能够在各类环境中自主地或交互的执行各种拟人 任务的，与人智力相当或相近的机器。具体地说是能够对人类
第1章 人工智能概述 章 2. 机器联想 联想是人脑思维过程中最基本、使用最频繁的功能。例如，当听到 一段乐曲，我们头脑中可能会立即浮现出几十年前的某一个场景，甚 至一段往事，这就是联想。 特点：按内容组织记忆 当前，对机器联想功能的研究中就是利用这种按内容记忆原理，采用 “联想存储”技术实现联想功能。其特点是： (1)可以存储许多相关（激励，响应）模式对; (2)通过自组织过程可以完成这种存储; (3)以分布、稳健的方式（可能出现高冗余）存储信息; (4)可以根据接收到的相关激励模式产生并输出适当的响应模式; (5)即使输入激励模式失真或不完全时，仍然可以产生正确的响应 模式; (6)可在原存储中加入新的存储模式。
《机器学习MachineLearning》教学大纲
《机器学习（Machine Learning）》教学大纲学分：5学时：90开课单位：软件学院任课教师及职称（学位）：汪浩教授、龙浩副教授、李第平博士教学内容及要求1、课程简介：世界的本质是数据（参见维克托·迈尔·舍恩伯格《大数据时代》），数据挖掘的任务是从大量数据中发现隐藏的、未知的和潜在的知识或模式的过程。
机器学习(Machine Learning, ML)是数据挖掘的基础，为数据挖掘提供了基本工具，是大数据时代重要的课程。
机器学习涉及概率论、统计学、最优化理论、算法复杂性理论等多门课程，本课程将讨论机器学习方法背后的基本数学原理，机器学习方法的基本数学模型，以及机器学习的基本方法和算法。
2、教学目的与要求：了解和掌握回归分析、分类、聚类、降维等机器学习的基本算法，同时掌握这些方法背后的数学原理，学习这些算法的基本原理，并能利用对应的软件包进行数据分析和挖掘。
3、主要内容第一章引言（10课时）教学目的和基本要求：了解机器学习的基本内容，机器学习的分类，机器学习的三要素，机器学习的模型评估和选择。
教学重点、难点：机器学习三要素，机器学习模型评估与选择教学基本内容：1.1.什么是机器学习1.2.机器学习分类●有监督学习●无监督学习●半监督学习1.3.机器学习三要素●模型●策略●算法1.4.机器学习模型评估与选择●训练误差与测试误差●过拟合与模型选择第二章回归分析（12课时）教学目的和基本要求：了解回归分析的作用，掌握回归分析的基本方法。
教学重点、难点：最小二乘法、最大似然法。
教学基本内容：1.1线性建模：最小二乘法1.2回归分析用于预测1.3正则化最小二乘法1.4线性建模：最大似然法第三章机器学习的贝叶斯方法（12课时）教学目的和基本要求：学习掌握共轭模型和非共轭模型等两种贝叶斯推理的基本方法。
教学重点、难点：图模型、共轭模型、最大后验估计MAP，拉普拉斯近似等。
教学基本内容：3.1 图模型3.2 贝叶斯估计的共轭模型●硬币游戏●后验概率●三个场景●边缘似然估计3.3 贝叶斯计的非共轭模型●非共轭模型●二值响应●最大后验估计MAP●拉普拉斯近似●抽样技术第四章分类（12课时）教学目的和基本要求：了解什么是分类，学习机器分类概率分类器和非概率分类器。
人工智能概论第1章-绪论
1956年的达特茅斯会议是由麦卡锡、明斯基、罗彻斯特和香农等一批有远 见卓识的青年科学家共同研究和讨论用机器来模拟智能的一系列相关问题，并 首次提出了“人工智能”这一术语。
该术语标志“人工智能”新学科的正式诞生。此外会议给了“人工智能” 的第一个准确的描述。
2006年，达特茅斯会议50年后，当事人重聚(左起：摩尔、麦卡锡、明斯基、 塞弗里奇、所罗门诺夫)
22
➢人工智能的应用发展期
20世纪80年代机器学习取代逻辑计算，“知识处理”成为了主流AI研究的焦点。
卡内基·梅隆大学为数字设备公司设计了一个名为 XCON 的专家系统
B
人工智能的应用发展 期
（1980-1989）
D c
A
人工智能的诞生 （1943-1956）
人工智能的第一个 低谷
（1974-1980）
E
人工智能的第二个 低谷
(1989-1993)
人工智能的稳步发 展期
（1993-2006）
F
人工智能的蓬勃 发展期
（2006-至今）
G
14
➢人工智能的诞生
在20世纪40年代到20世纪50年代，一群来自不同领域（数学，心理学，工 程学，经济学和政治学）的科学家开始探索如何实现用生命体外的东西模拟人 类的智慧。
12
➢人工智能的发展现状
从人工智能的应用场景来看，目前的人工智能仍是以具体应用领域为主的弱人工 智能。 其内容和相关领域包括机器视觉，专家系统，智能工厂，智能控制，智能搜索， 机器人，自动规划，无人驾驶，定理证明，棋类博弈，遗传编程，语言识别，自然 语言处理等。 1997年，打败了世界围棋冠军的IBM公司“深蓝”超级计算机也是IA，不是AI。 尽管这一事件被一些被戏称为“人工智能的历史上的里程碑事件”。
第1章人工智能概述1.1人工智能基础-高中教学同步《信息技术-人工智能初步》(教案)
教学内容规划
设计教学流程和时间分配，确保每个教学环节（如讲授、互动讨论、案例分析）都有充足的时间。
制定详细的教学大纲，明确每个部分的教学内容和重点。
互动和讨论准备
准备课堂讨论的问题和主题，如人工智能定义的多样性、人工智能对生活和工作的影响等。
跟随教师讲解，理解人工智能的基本特征，并思考这些特征在实际应用中的体现。
参与讨论，发表自己对人工智能模拟和扩展人的智能的看法。
通过呈现不同定义，帮助学生全面了解人工智能的概念。
讲解基本特征，深化学生对人工智能的理解。
通过讨论，培养学生的思考能力和表达能力。
活动三：
调动思维
探究新知
案例分析：分析一些具体的人工智能应用案例，如智能家居、医疗诊断等，展示人工智能如何改变生活和工作方式。
在介绍人工智能的基本特征时，我采用了教材内容与实际案例相结合的方式，帮助学生更好地把握这些抽象的概念。通过实例，如自动化的个性化推荐系统等，学生们能够更清楚地看到人工智能技术是如何在现实生活中被应用的。然而，我也发现这部分内容的深度与学生的预备知识之间存在一定的差距，一些学生在理解“如何通过数据的采集、加工、处理来形成有价值的信息流和知识模型”时遇到了困难。因此，在未来的教学中，我计划增加更多具体示例，并可能引入一些基础的数据科学概念，以帮助学生构建起更扎实的基础。
《信息技术-人工智能初步》教案
课题
第1章人工智能概述1.1人工智能基础
课型
班课
课时
1
授课班级
高一1班
学习目标
理解人工智能的定义及其重要性。
学生能够描述人工智能的发展历程，包括其在信息技术、互联网等领域的应用。