人工智能(机器学习)

第5章 机器学习

§5.2 神经网络学习

§5.3 因果信念网络学习

第5章 机器学习

什么是机器学习？

归纳学习

能够学习的程序S ：

任务T ，性能度量P ，经验E ，

S 能够通过经验E ，改善执行任务T 的性能（用P 来度量）

通过 实例集{（x1,y1）,…, (xk,yk)} 求函数y=f(x)使得y1 ≈ f(x1),

yi ≈ f(xi), …,yk ≈ f(xk)

§5.1 归纳式学习 Inductive Learning

什么是归纳学习？和演绎推理（保真）的比较

例子，训练实例集合:

1.(乌鸦w1，羽毛黑);

2.(乌鸦w2，羽毛浅黑);

3.(麻雀w3，羽毛灰);

4.(鸽子w4，羽毛白);

5.( 乌鸦w1，羽毛白);

6.(偶数8,两素数3,5之和)…

根据训练实例集合提出假说HYPOTHESIS:

GOAL (乌鸦,黑色的羽毛)

)

()()

()()()(x ￣x ￣x x x ￣x x x 乌鸦黑黑乌鸦亦即，黑乌鸦→∀∨→∀

1.支持性正例;

2.灰色支持的正例;

3. 支持性负例;

4.支持性负例

5.否定性反例;

6.无关实例

要求归纳得到简洁的规则, 并使得规则的可信度高

归纳的可信度:规则的可信度是0.99%其含义为,10000个乌鸦中大约可能有1个否定性反例(非黑的乌鸦)

决策树学习。

从数据取样(Xi,Yi), 利用外推插值方法,求函数.

决策树学习,适用于离散性样点(Xi,Yi), Xi∈离散集合,Yi∈离散集合

从数据例子中提出有规律的假设,使其符合数据实例, 挖掘数据中的Pattern模式,规律 Ockham‘s Razor: 最简单的是最好的.

决策树

F=F（A，B，C）

挑选主要分类属性，

1．分别挑选能够把F=0，1的肯定,或否定例集合分开的决策属性C, 使C的某种取值覆盖F肯定集合或F否定集合的大小尽可能地小（方法: 布尔0，1合并法）

2．对C属性的每一种取值,列出它对F肯定集合或F否定集的覆盖集合(它们分别是F肯定集合和F否定集的子集合), 进一步从其他属性中挑选能够把正反例分开的属性(递归算法)；

直到

3．某覆盖集合为空，DONE

4．决策属性集已经全部挑完，但正反例集合非空：有NOISE

F=A∧￣B ∨C

F=TRUE的取值元组集合：

+正集合 {001,011,100,101,111}→0&1,&01,&11,10&,1&1→&&1,

因此，C是决策分类F=TRUE的第一侯选变量；

F=FALSE的取值元组：

-负集合 { 000，010，110} → 0&0,&10

因此，￣A ￣C 或 B ￣C 是决策分类F=FALSE的第一侯选变量；

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

当C选定后, C=1把 F的肯定实例集合划分为覆盖集{001,011,101,111} ( 和非覆盖集合{100}) C=1把F的否定集划分为{ }空集和( 和非覆盖集合{000，010，110})

C=0把 F的肯定实例集合划分为覆盖集{100} ( 和非覆盖集合{001,011,101,111})

C=0把F的否定集划分为{ 000，010，110}集和( 和非覆盖集合{}空集)

举例2

学习目标:根据数据集, 总结出影响客户愿意排队等待的因素

GOAL: 愿意排队等待

Training Set and DT representation

例附近地方大星期肚子饿人多菜价格正在预定饭店等待

编还有 5，6 不多下雨位置类型时间

号

Ex Alt Bar Fri Hun Pat Price Rain Res Type Est Wait? X1 Y N N Y Some high N Y French 0-10 Y

x2 Y N N Y Full low N N Thai 30-60 N

x3 N Y N N Some low N N Burger 0-10 Y

x4 Y N Y Y Full low N N Thai 10-30 Y

x5 Y N Y N Full high N Y French >60 N

x6 N Y N Y Some med Y Y Italian 0-10 Y

x7 N Y N N None low Y N Burger 0-10 N x8 N N N Y Some med Y Y Thai 0-10 Y

x9 N Y Y N Full low Y N Burger >60 N

x10 Y Y Y Y Full high N Y Italian 10-30 N

x11 N N N N None low N N Thai 0-10 N

x12 Y Y Y Y Full low N N Burger 30-60 Y

从数据例子中提出有规律的假设,使其符合数据实例, 挖掘数据中的Pattern模式,规律

Ockham‘s Razor: 最简单的是最好的.

决策树的构成法: 首先挑选最重要的属性变量来划分数据集

1.根据目标把数据集合划分为两个子集合, 肯定集 GOAL=YES

和否定集GOAL=NO

2.选择一个主要属性, 使得它的每一个取值分支, 所覆盖的肯定集 GOAL=YES 和否定集GOAL=NO 有存在空集的覆盖集合

3.对它的每一个取值分支,所对应的GOAL肯定集和否定集,递归地重复

以上第2步,直到某覆盖集合为空DONE 或决策属性集已经全部挑完，

但正反例集合非空：有NOISE