人工智能复习参考0511

人工智能、学派、知识、谓词

人工智能，是对人的意识活动、思维过程的模拟，它是一门研究、开发用于模拟、延伸和扩展人的智能的理论及应用系统的技术科学。该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等，除了计算机科学以外，人工智能还涉及信息论、控制论、自动化、仿生学、生物学、心理学、数理逻辑、语言学、医学和哲学等多门学科。

人工智能的基本技术：（1）知识表示技术（2）知识推理、计算和搜索技术（3）系统实现技术。

AI的基本内容（1）从人工智能的定义出发，基本内容可包括：感知与交流的模拟，记忆、联想、计算、思维的模拟，输出效应或行为模拟等。（2）从知识工程的角度出发，人工智能的基本内容是:知识的获取、知识的处理以及知识的运用。AI的研究目标：近期目标：实现机器智能。即先部分地或某种程度地实现机器智能，从而使现有的计算机更灵活好用和更聪明有用。////终极目标：人工智能的终极目标是要实现通用人工智能。人类智能+计算智能+数据智能=通用人工智能AI的学派：符号学派：使用基于规则的符号系统做推理，Lisp 和Prolog 的方法。连接学派：认为智能起源于高度互联的简单机制，神经网络，深度学习。进化学派：应用进化的过程，例如交叉和突变以达到一种智能行为，遗传算法。贝叶斯学派：使用概率规则及其依赖关系进行推理。概率图模型（PGM）是这一派通用的方法，主要的计算机制是用于抽样分布的蒙特卡罗方法。这种方法与符号学方法的相似之处在于，可以以某种方式得到对结果的解释。优点是存在可以在结果中表示的不确定性的量度。核保守派：利用核方法，使非线性分离问题变成线性问题，SVM。

现代的划分方法：1.符号智能流派2.计算智能流派3.群体智能流派

AI的诞生和发展：1956年达特茅斯会议：人工智能学诞生。1956-1974年一发。1974-1980年一低。1980-1987年二发。1987-1993年二低。1993-2010年复苏。2010至今高速增长。

人工智能新一轮的增长源于大数据、云计算和算法（深度学习）三个核心要素。

2-1. 什么是知识？知识的要素有哪些？知识的表示方法有哪些？

知识要素：事实（有关问题环境的一些事物的知识，常以“…是…”的形式出现）。规则（有关问题中与事物的行动、动作相联系的因果关系知识，是动态的，常以“如果…那么…”形式出现）。控制（有关问题的求解步骤、技巧性知识，告诉怎么做一件事）。元知识（有关知识的知识，是知识库中的高层知识。包括怎样使用规则，解释规则、校验规则、解释程序结构等知识）。

知识表示方法：一阶逻辑表示法，产生式知识表示法，框架表示法，语义网络表示法，面向对象表示法

一阶谓词逻辑表示法：一种重要的知识表示方法，它以数理逻辑为基础，是到目前为止能够表达人类思维和推理的一种最精确的形式语言。它的表现方式和人类自然语言非常接近，它能够被计算机作精确推理。谓词公式既可表示事物的状态、属性和概念等事实性的知识，也可表示事物间具有因果关系的规则性知识。

联结词：

?：“非”或者“否定”。表示对其后面的命题的否定

∧：“合取”。表示所连结的两个命题之间具有“与”的关系。

∨：“析取”。表示所连结的两个命题之间具有“或”的关系

→ ：“条件”或“蕴含”。表示“若…则…”的语义。读作“如果P，则Q”

其中，P称为条件的前件，Q称为条件的后件。

? ：称为“双条件”。它表示“当且仅当”的语义。即读作“P当且仅当Q”。

例如，对命题P和Q，P?Q表示“P当且仅当Q”，

量词：倒A：全称量词，意思是“所有的”、“任一个”反E：存在量词，意思是“至少有一个”、“存在有”

例题：

定义谓词：T (x)：表示x 是教师。S (y)：表示y是学生。TS(x, y)：表示x是y的老师。

表示知识：(倒Ax)( 反E y)(T (x)→ TS(x, y) ∧S (y))

可读作：对所有x，如果x是一个教师，那么一定存在一个个体y，y的老师是x，且y是一个学生。

表示知识“所有的整数不是偶数就是奇数”。

定义谓词：I(x)：x是整数，E(x)：x是偶数，O(x)：x是奇数

表示知识：(倒A x)(I(x) → E(x)∨O(x))

谓词逻辑表示的优缺点：优点（自然、明确、精确、灵活、模块化）缺点（知识表示能力差：只能表示确定性知识，而不能表示非确定性知识、过程性知识和启发式知识。知识库管理困难：缺乏知识的组织原则。存在组合爆炸：由于难

产生式、框架法、语意网络、推理

什么是产生式知识表示法？产生式系统由哪些部分组成？说明各部分的功能。

又称为产生式规则表示法，它和图灵机有相同的计算能力。产生式表示法已成为人工智能中应用最多的一种知识表示方法。产生式系统由三部分组成，数据库（用来存放输入事实、外部数据库输入的事实以及中间结果和最后结果）、规则库（用于描述某领域内知识的产生式集合，是某领域知识（规则）的存储器）和推理机（由一组程序组成，用来控制协调规则库与数据库的运行，包含了推理方式和控制策略）。

事实的表示：确定性知识，可用如下三元组表示：（对象，属性，值）或（关系，对象1，对象2）。非确定性知识，可用如下四元组表示：（对象，属性，值，可信度因子）。

产生式的基本形式：P→Q或者IF P THEN Q。

与蕴涵式的主要区别：(1) 蕴涵式表示的知识只能是精确的，产生式表示的知识可以是不确定的。原因是蕴涵式是一个逻辑表达式，其逻辑值只有真和假。(2) 蕴含式的匹配一定要求是精确的，而产生式的匹配可以是不确定的。原因是产生式的前提条件和结论都可以是不确定的，因此其匹配也可以是不确定的。

与条件语句的主要区别：(1) 前件结构不同，产生式的前件可以是一个复杂的的结构，传统程序设计语言中的左部仅仅是一个布尔表达式。(2) 控制流程不同，产生式系统中满足前提条件的规则被激活后，不一定被立即执行，能否执行将取决于冲突消解策略，传统程序设计语言中是严格地从一个条件语句向其下一个条件语句传递。

产生式推理方式：正向推理：从一组表示事实的谓词或命题出发，使用一组产生式规则，用以证明该谓词公式或命题是否成立。逆向推理：从表示目标的谓词或命题出发，使用一组产生式规则证明事实谓词或命题成立，即首先提出一批假设目标，然后逐一验证这些假设。双向推理：双向推理的推理策略是同时从目标向事实推理和从事实向目标推理，并在推理过程中的某个步骤，实现事实与目标的匹配。

2-6. 如何用框架表示法表示知识？如何用语义网络法表示知识？

框架表示法是以框架理论为基础发展起来的一种结构化的知识表示，它适用于表达多种类型的知识。框架理论的基本观点是：人脑已存储有大量的典型情景，当面临新的情景时，就从记忆中选择一个称作框架的基本知识结构，其具体内容依新的情景而改变，形成对新情景的认识又记忆于人脑中。

语义网络表示知识：一般由一些最基本的语义单元组成。这些最基本的语义单元被称为语义基元，可用如下三元组来表示为（节点1，弧，节点2）AKO:表示一个事物是另一个事物的一种类型。AMO:表示是另一个事物的成员。ISA:表示是另一个事物的实例。用语义网络系统主要有两大部分组成，一部分是由语义网络构成的知识库，另一部分是用于问题求解的推理机。语义网络的推理过程主要有两种：继承推理和匹配推理。继承是指把对事物的描述从抽象结点传递到具体结点。通过继承可以得到所需结点的一些属性值，它通常是沿着ISA、AKO、AMO等继承弧进行的。所谓匹配就是在知识库的语义网络中寻找与待求问题相符的语义网络模式。

用语义网络表示知识的步骤

1 确定问题总所有对象和各对象的属性。

2 确定所讨论对象间的关系。

3 根据语义网络中所涉及的关系，对语义网络中的节点及弧进行整理，包括增加节点、弧和归并节点等。

4 将各对象作为语义网络的一个节点，而各对象间的关系作为网络中各节点的弧，连接形成语义网络。

语意网络的特点：结构性、联想性、非严格性、自然性、自索引性。

第3部分知识推理推理是按某种策略由已知事实出发推出结论的过程。

推理所用的事实：初始证据：推理前用户提供的。中间结论：推理过程中所得到的。推理过程：由推理机来完成。

分类：

演绎推理：从已知的一般性知识出发，去推出蕴含在这些已知知识中的适合于某种个别情况的结论。是一种由一般到个别的推理方法，其核心是三段论，如假言推理、拒取式和假言三段论。

归结推理：一种由个别到一般的推理方法。按照所选事例的广泛性可分为完全归纳推理和不完全归纳推理按照推理所使用的方法可分为枚举、类比、统计和差异归纳推理等。

类比归纳推理：是指在两个或两类事物有许多属性都相同或相似的基础上，推出它们在其他属性上也相同或相似的一种归纳推理。

演绎推理与归纳推理的区别

演绎是在已知领域内的一般性知识的前提下，通过演绎求解一个具体问题或者证明一个结论的正确性。它所得出的结论实际上早已蕴含在一般性知识的前提中，演绎推理只不过是将已有事实揭露出来，因此它不能增殖新知识。

归纳所推出的结论是没有包含在前提内容中的。这种由个别事物或现象推出一般性知识的过程，是增殖新知识的过程。推理过程不仅依赖于所用的推理方法，同时也依赖于推理的控制策略：是指如何使用领域知识使推理过程尽快达到目标

谓词表示、自然演绎推理、归结演绎推理、Skolem

谓词的知识表示

※a比他哥学习努力。定义谓词：SH(x,y)：x比y学习努力定义函数：B(x) ：x的哥谓词公式表示为：SH(a,b(a))

※对所有自然数都有x+y≥x 定谓：N(x):x是自然数，GE(x,y):x大于等于y 定函：sum(x,y):x与y的和谓词公式表示为：?x?y(N(x)∧N(y) →GE(sum(x,y),y))

※某些人对食物过敏。定谓：M(x):x是人;F(x):x是食物;定函S(x,y):x对y过敏

谓词公式：彐x彐y(M(x)∧F(y)∧S(x,y))

※例 3.4设在房里，a和b是两桌子，a桌放有盒子box，c处有一个机器人R，让机器人从c出发把盒子从a拿到b 桌，再回到c，用谓词逻辑描述从初始状态到目标状态的机器人操作过程。

解：定义谓词Table(x)：表示x是桌子 * Empty(R)：表示机器人R手是空的 * At(R,x)：表示机器人R在x处

Holds(R,Box)：机器人R拿着Box * On(Box,x)：积木块在x上

初态：Empty(R),Table(a),Table(b),On(Box,a) 目标：Table(a),Table(b),On(Box,b)

机器人拿起a：条件：On(Box,a),At(R,a)Empty(R) 删除：Empty(R),On(Box,a) 增加：Holds(R,Box)

自然演绎推理:利用一阶谓词推理规则的符号表示形式，可以把关于自然语言的逻辑推理问题，转化为符号表达式的推演变换。这种推理十分类似于人们用自然语言推理的思维过程，因而称为自然演绎推理

优点：定理证明过程自然，易于理解，并且有丰富的推理规则可用。缺点：是容易产生知识爆炸，推理过程中得到的中间结论一般按指数规律递增，对于复杂问题的推理不利，甚至难以实现。

归结演绎推理是一种基于鲁宾逊归结原理（亦称为消解原理）的机器推理技术。是一种基于逻辑的“反证法”。在人工智能中，很多的问题都可以转化为一个定理证明问题。定理证明的实质，就是要对前提P和结论Q，证明P→Q永真。

要证明P→Q永真，就是要证明P→Q在任何一个非空的个体域上都是永真的。这将是非常困难的，甚至是不可实现的。为此，人们进行了大量的探索，后来发现可以采用反证法的思想，把关于永真性的证明转化为关于不可满足性的证明。即要证明P→Q永真，只要能够证明P∧﹁Q是不可满足的就可以了(原因是﹁ (P→Q) ?﹁(﹁P∨Q) ?P∧﹁ Q 。这方面最有成效的工作就是鲁宾逊归结原理。它使定理证明的机械化成为现实。

3-2. 什么是替换？什么是合一？什么是归结？

置换：置换可简单的理解为是在一个谓词公式中用置换项去替换变量。当用g(y)置换x,用f(g(y))置换y 时，既没有消去x，也没有消去y。若改为{g(a)/x, f(x)/y}即可，原因是用g(a)置换x ，用f(g(a))置换y ，则消去了x 和y。

合一：合一可理解为是寻找项对变量的置换，使两个谓词公式一致。

归结：在谓词公式，某些推理规则以及置换合一等概念的基础上，能够进一步研究消解

原理，有些专家把它叫做归结原理。问题:为什么受全称量词约束的要用Skolem函数替换?而不能用常量替换？

实际上，引入Skolem函数，是由于存在量词在全称量词的辖域之内，其约束变元的取值完全依赖于全称变量的取值。而Skolem函数反映了这种依赖关系。但Skolem标准型与原公式一般并不等价。

消去存在量词(Skolem化）,同时进行变元替换

原则：①若该存在量词不在任何全称量词的辖域内，则用一个常量符号代替该存在量词辖域内的相应约束变元，这个常量叫Skolem常量；②若该存在量词在全称量词的辖域内，则用这些全称量词指导变元的一个函数代替该存在量词辖域内的相应约束变元，这样的函数称为Skolem函数

谓词公式与子句集有哪些区别（子句集的特征）？没有蕴含词、等值词；“?”作用原子谓词；没有量词( ?、? )；合取范式；元素之间变元不同；集合形式

3-3. 化为子句形有哪些步骤? 请结合例子说明之。

1消去蕴含词和等值词：A->B《=》~AVB、A<-> B <=> ()

2使否定词仅作用于原子公式；3适当改名使量词间不含同名指导变元；4消去存在量词

5消去全称量词

6化公式为合取范式

7适当改名使子句间无同名变元

8消去合取词以子句为元素组成一个集合S

化子句集、鲁宾逊归结原理、归结法证明、归结策略

要证明一个谓词公式是不可满足的，只要证明其相应的标准子句集是不可满足的就可以了。至于如何证明一个子句集的不可满足性，由下面的海伯伦理论和鲁宾逊归结原理来解决

鲁滨逊归结原理基本思想：首先把欲证明问题的结论否定，并加入子句集，得到一个扩充的子句集S'。然后设法检验子句集S'是否含有空子句，若含有空子句，则表明S'是不可满足的；若不含有空子句，则继续使用归结法，在子句集中选择合适的子句进行归结，直至导出空子句或不能继续归结为止。

鲁滨逊归结原理包括：命题逻辑归结原理；谓词逻辑归结原理

归结原理又称消解原理,1965年鲁滨逊提出，从理论上解决了定理证明问题。归结原理提出的是一种证明子句集不可满足性，从而实现定理证明的一种理论及方法。

3-5. 简述用归结法证明定理的过程（消解反演求解过程）。

给出一个公式集S和目标公式L，通过反证或反演来求证目标公式L，其证明步骤如下：

（1）否定L，得到~L；（2）把~L添加到S中去；（3）把新产生的集合{~L，S}化成子句集F；

（4）反复归结子句集F中的子句，若出现了空子句，则停止归结，此时就证明了L永真

归结策略：归结演绎推理时，如果盲目的全面进行归结的方法，不仅会产生许多无用的归结式，更严重的是会产生组核爆炸问题。因此，需要有效的归结策略来解决这些问题。目前，常用的归结策略可分为两大类，一类是删除策略，另一类是限制策略。删除策略是通过删除某些无用的子句来缩小归结范围；限制策略是通过对参加归结的子句进行某些限制，来减少归结的盲目性，以尽快得到空子句。

3-7. 与/或形演绎推理有哪几种推理方式? 简述推理过程

与/或形演绎推理推理方式：正向演绎、逆向演绎、双向演绎；

正向演绎：从已知事实出发，正向地使用蕴含式(F规则)进行演绎推理，直至得到某个目标公式的一个终止条件为止。推理过程：

1用与/或树把已知事实表示出来

2用F规则的左部和与/或树的叶节点进行匹配，并将匹配成功的F规则加入到与/或树中

3重复第(2)步，直到产生一个含有以目标节点作为终止节点的解图为止

逆向演绎推理：从待证明的问题(目标)出发，通过逆向地使用蕴含式(B规则)进行演绎推理，直到得到包含已知事实的终止条件为止。推理过程：

1用与/或树把目标公式表示出来

2用B规则的右部和与/或树的叶节点进行匹配，并将匹配成功的B规则加入到与/或树中

3重复进行第(2)步，直到产生某个终止在事实节点上的一致解图为止

与/或形双向演绎推理：由表示目标及表示已知事实的两个与/或树结构组成，这些与/或树分别由正向演绎的F规则及逆向演绎的B规则进行操作，并且仍然限制F规则为单文字的左部，B规则为单文字的右部。

不确定性、Bayes定理、逆概率、贝叶斯网络、机器学习

3-8. 什么是不确定性?有哪几种不确定性?

知识和信息中含有的不肯定、不可靠、不准确、不精确、不严格、不严密、不完全甚至不一致的成分。按性质、产生的原因及表现形式分类：随机不确定性；模糊不确定性；不完全性；不一致性

（课件）意义：使计算机对人类思维的模拟更接近于人类的真实思维过程。

不确定性推理是一种建立在非经典逻辑基础上的基于不确定性知识的推理，它从不确定性的初始证据出发，通过运用不确定性知识，推出具有一定程度的不确定性的和合理的或近乎合理的结论。

有两种不确定性，即关于证据的不确定性和关于结论的不确定性。

在什么情况下需要采用不确定推理?

选择不确定性表示方法时应考虑的因素：充分考虑领域问题的特征；恰当地描述具体问题的不确定性；满足问题求解的实际需求；便于推理过程中对不确定性的推算。

简述确定性理论（可信度方法）的特点。

优点：通过简单的计算，就可以使用系统各方面的不确定性得到传播，最终得到系统的结果

Bayes定理，逆概率求不确定性

求P(肺炎|咳嗽)可能比较困难，但统计P(咳嗽|肺炎)可能比较容易(因为要上医院)

假设先验概率P(肺炎)=1|10000，而P(咳嗽)=1|10，

90%的肺炎患者都咳嗽，P(咳嗽|肺炎)=0.9,

则：P(肺炎|咳嗽)= （P(咳嗽|肺炎)* P(肺炎)）/（P(咳嗽)）=0.0009

主观Bayes推理方法

主观贝叶斯方法是Duda等人1976年提出的一种不确定性推理模型，并成功地应用于地质勘探专家系统PROSPECTOR。其核心思想是：

根据：Ⅰ.证据的不确定性（概率）P(E);

Ⅱ.规则的不确定性（LS，LN）；

LS：E 的出现对H 的支持程度，

LN：E 的出现对H 的不支持程度。

把结论H 的先验概率更新为后验概率P(H|E)；

简述主观Bayes方法中，LS和LN的意义。

LN表示必要性因子，它表示~E 对Ｈ的支持程度。LS表示充分性因子，它表示E 对H 的支持程度。

什么是贝叶斯网络？按推理方向不同，贝叶斯网络推理包括哪几种推理模式？掌握贝叶斯网络的推理计算方法。

贝叶斯网络是一种以随机变量为节点，以条件概率为节点间关系强度的有向无环图

推理模式: 因果推理、诊断推理、辩解推理、混合推理

贝叶斯网络的构造方法：确定包含哪些结点；建立反映条件独立的有向无环图；指派局部概率分布，即CPT。

如果CPT包含了足够的条件概率，可以计算出任何联合概率，则称此网络是可计算的

贝叶斯网络不允许包含循环因果关系！

6-1 什么是学习和机器学习?为什么要研究机器学习?

机器学习：机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究及其获取新知识和新技能，并识别现有知识的学问。

机器学习的重要性：机器学习是人工智能的主要核心研究领域之一, 也是现代智能系统的关键环节和瓶颈；很难想象: 一个没有学习功能的系统能被称具有智能的系统；来自生物、金融与网络等各领域的数据，迫切需要分析或建立模型。

6-2 试述机器学习系统的基本结构，并说明各部分的作用。

基本结构：环境，（学习环节，知识库，执行环节）。

环境：包括工作对象和外界条件。学习环节：通过对环境的搜索取得外部信息，然后经分析、综合、类比、推理等思维过程获得知识，并将这些知识送入知识库，供执行环节使用。知识库：系统学习得到的信息。

环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。在具体的应用中，环境、知识库和执行部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述三部分确定。

6-7 主要的机器学习算法有哪些？（1）决策树（2）回归和分类（3）SVM支持向量机（4）Apriori 算法，关联规

决策树、ID3、信息增益、回归和分类、贝叶斯分类、朴素贝叶斯分类器、K近邻、集成学习boosting

6-4 简述决策树的概念、决策树学习方法及其使场合；在构造决策树的过程中，测试属性的选取采用什么原则？如何实现？决策树也称判定树，它是由对象的若干属性、属性值和有关决策组成的一棵树。其中的节点为属性（一般为变量），分枝（边）为相应的属性值（一般为变量值）。决策树学习是一种逼近离散值目标函数的方法，在这种方法中学习到的函数被表示为一棵决策树。学习得到的决策树也能再被表示为多个if-then 的规则，以提高可读性。

决策树对给定实例的分类过程是按照实例各属性取值情况，在已建好的决策树上从根节点到叶子节点的匹配过程。具体步骤如下：步1 从树的根节点开始，测试当前节点指定的属性；步2按照给定实例该属性的取值对应的树枝向下移动，到达下一个节点；步3 在以新节点为根的子树上重复步1、2，直到到达叶子节点，得到该实例的正确分类。

给定一些训练样本，应该生成什么样的决策树？选择与数据匹配的最小的决策树（树的深度最浅或树的节点最少）

基本的ID3学习算法是通过自顶向下构造决策树来完成的：首先，按照某标准选取一个属性，以该属性作为根节点，以这个属性的全部不同取值作为根节点的分枝，向下增长树，同时按这个属性的不同取值将实例集划分为子集，与相应的分支节点相关联。然后，考察所得的每一个子类，看其中的所有实例的目标值是否完全相同：如果完全相同，则以这个相同的目标值作为相应分枝路径末端的叶子节点；否则，选取一个不同于祖先节点的属性，重复上面过程，直到每个子集中的全部实例的目标值完全相同，得到所有的叶子节点为止。ID3最关键的问题就是属性选择问题，整个构建过程是从“哪一个属性将在根节点被测试？”开始的。信息增益是用信息论中广泛使用的一个度量标准“熵”来定义的

用熵度量样例的均一性：熵是无序性（或不确定性）的度量指标。信息熵刻画了任意样例集的纯度，熵越小表示样本对目标属性的分布越纯，反之熵越大表示样本对目标属性分布越混乱。样例集中只有正例或只有反例时，熵为0，正反例各占一半时，熵为1。通常情况下，熵为0到1之间的值

ID3算法优缺点：优点：理论清晰，方法简单，学习能力较强。缺点：(1)算法只能处理离散型数据，无法处理连续型数据；

(2)算法对测试属性的每个取值相应产生一个分支，且划分相应的数据样本集,这样的划分会导致产生许多小的子集。随着子集被划分得越来越小，划分过程将会由于子集规模过小所造成的统计特征不充分而停止；

(3)ID3算法中使用信息增益作为决策树节点属性选择的标准，由于信息增益在类别值多的属性上计算结果大于类别值少的属性上计算结果，这将导致决策树算法偏向选择具有较多分枝的属性，因而可能导致过度拟合。

回归和分类的区别：他们都有预测的功能，但是：分类预测的输出为离散或标称的属性；回归预测的输出为连续属性值；例子：预测未来某银行客户会流失或不流失，这是分类任务；预测某商场未来一年的总营业额，这是回归任务。

贝叶斯分类方法是一种利用概率统计知识进行学习分类的方法。基于如下的假定：待考察的量遵循某概率分布，且可根据这些概率及已观察到的数据进行推理，以作出最优的决策。

主要算法有：朴素贝叶斯分类算法；贝叶斯信念网络分类算法等。

例题：AB两队足球比赛：假设过去的比赛中，65%的比赛A对取胜，35%的比赛B对取胜。A对胜的比赛中只有30%是在B队的主场，B队取胜的比赛中75%是在主场。如果下一场比赛在B队的主场进行，哪支球队最有可能胜出？

解答：根据贝叶斯定理,假定：随机变量X代表东道主，X取值范围为{A,B}；随机变量Y代表比赛胜者，取值范围为{A,B}。已知：A取胜的概率为0.65，表示为：P(Y=A)=0.65；B对取胜的概率为0.35 ，表示为：P(Y=B)=0.35

B取胜时作为东道主的概率是0.75，示为：P(X=B|Y=B) = 0.75；A取胜时B作为东道主的概率是0.3,示为:P(X=B|Y=A) = 0.3, 计算：下一场比赛在B主场，同时A胜出的概率表示为：P(Y=A|X=B)

P(Y=A|X=B) = P(X=B|Y=A)*P(Y=A)/P(X=B)= (0.3*0.65)/0.4575=0.4262

下一场比赛在B主场，同时B胜出的概率表示为：P(Y=B|X=B)

P(Y=B|X=B)=P(X=B|Y=B)*P(Y=B)/P(X=B)=(0.75*0.35)/0.4575=0.5737

根据计算结果，可以推断出，下一场最有可能是B胜出。

朴素贝叶斯分类器：是一种实用性很高的贝叶斯学习器/ 某些应用中性能与神经网络和决策树相当。按照极大后验概率取值的原则，其输出目标值应满足最大后验概率公式

朴素贝叶斯优缺点：优点：容易实现；在大多数情况下所获得的结果比较好。缺点：算法成立的前提是假设各属性之间互相独立；当数据集满足这种独立性假设时，分类准确度较高；而实际领域中，数据集可能并不完全满足独立性假设

K-最近邻分类算法是一种基于实例的学习算法，它不需要先使用训练样本进行分类器的设计，而是直接用训练集对数据样本进行分类，确定其类别标号。基本思想是：对于未知类标号的样本，按照距离找出它在训练集中的k个最近邻，将未知样本赋予k最近邻中出现次数最多的类别号。

K近邻优缺点：优点：算法思想简单，易于实现。缺点：最近邻分类对每个属性指定相同的权重，而数据集中的不同属性可能需要赋予不同的权值；由于K-NN存放所有的训练样本，直到有新的样本需要分类时才建立分类，因此当训练样本数量很大时，该学习算法的时间复杂度为n2。

Boosting、人工神经网络、BP神经网络、深度学习、遗传算法、强化学习

构建集成分类器的方法：Boosting是一种最广泛使用的集体学习方法，其核心思想是加权训练（1）一般的学习算法获得的结果通常包含不少错误(甚至可以要求仅强于随机猜想即只要>1/2的正确率)—该算法可以被称为“弱学习”或者“基本学习”算法。（2）Boosting算法多次调用这个弱学习算法，用不同的训练子集(每个样例赋予不同权值)每次从被调用算法获得一个弱假设（3）算法最终把上述弱假设组合起来，产生一个更加精确的单一假设，以获得更好的预测结果。Boosting是一个迭代的过程，用于自适应地改变训练样本的分布，使得基分类器聚焦在那些很难分的样本上。给每一个训练样本赋予一个权值，而且可以在每一轮提升过程结束时自动地调整权值。

Boosting两个基本问题：(1)每次调用弱学习算法，如何选择训练子集？选择那些被弱学习算法分类错误的实例，增加其权值. (2)如何把弱假设组合为一个单一规则？采用简单多数表决的原则

装袋和Boosting的区别① bagging的训练集是随机的，各训练集是独立的；而boosting训练集的选择不是独立的，每一次选择的训练集都依赖于上一次学习的结果。② bagging的每个预测函数都没有权重；而boosting根据每一次训练的训练误差得到该次预测函数的权重。③ bagging的各个预测函数可以并行生成；而boosting只能顺序生成。（对于神经网络这样极为耗时的学习方法，bagging可通过并行训练节省大量时间开销）

什么是人工神经网络ANN：是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

人工神经网络算法学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整。学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。

BP神经网络的特点：非线性映射能力：能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。泛化能力：当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。容错能力：输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

BP算法作为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想。存在的问题：

（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；（3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习；

深度学习训练过程：1）使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）：

2）自顶向下的监督学习（就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调）：

6-6 遗传算法的基本操作。遗传算法的构成要素？什么是选择，交叉和变异？

基本操作：复制：从当前群体中选择一定比例的个体直接进入下一代群体。交叉：将两个双亲染色体中对应的某些基因进行交换，从而产生新的后代。变异：对染色体的某一基因或某些基因取反，得到新的染色体。

构成要素：（1）染色体编码方法（2）个体适应度评价（3）遗传算子：基本遗传算法使用下述三种遗传算子：

①选择运算:使用比例选择算子；②交叉运算:使用单点交叉算子；③变异运算:使用基本位变异算子或均匀变异算子。（4）基本遗传算法的运行参数。有下述4个运行参数需要提前设定：M：群体大小，即群体中所含个体的数量，一般取为20~100；G：遗传算法的终止进化代数，一般取为100~500；Pc：交叉概率，一般取为0.4~0.99；Pm：变异概率，一般取为0.0001~0.1。

强化学习：又称为增强学习，是种从环境状态到行为映射的学习，目的是使动作从环境中获得的累积回报值最大。强化学习围绕如何与环境交互学习的问题，在行动——评价的环境中获得知识，从而改进行动方案以适应环境达到预想的目的。强化学习系统：基本框架主要由两部分组成，即环境和智能体（Agent）。智能体可以通过传感器（Sensor）感知所处环境，并通过执行器（Actuator）对环境施加影响。

强化学习原理：如果智能体（Agent）的某个行为策略导致环境对智能体正的奖赏（Reward），则智能体以后采取这个行为策略的趋势会加强。反之，若某个行为策略导致了负的奖赏，那么智能体此后采取这个动作的趋势会减弱。

强化学习的特点：（1）强化学习是一种弱的学习方式，体现为：Agent 通过与环境不断的试错交互来进行学习；强化信息可能是稀疏且合理延迟的；不要求（或要求较少）先验知识；Agent在学习中所使用的反馈是一种数值奖赏形式，不要求有提供正确答案的教师；（2）强化学习是一种增量式学习，并可以在线使用；（3）强化学习可以应用于不确定性环