模糊决策树2

熵(Entropy)
ID3算法的核心问题:如何选取属性? ID3算法的核心问题:如何选取属性? { Outlook, Temperature, Humidity, Wind} 一组样本S 一组样本S对于二元分类的熵为:
Entropy ( S ) = p+ log 2 ( p+ ) p log 2 ( p )
信息增益
属性的信息增益是按该属性分割后熵的消减期望值: 属性的信息增益 Sv Gain(S, A) = Entropy(S) ∑ Entropy(S v ) v∈Values(A) S 其中Sv是S中属性A值为v的子集. ID3算法选择信息增益最大的属性来分裂当前结点.
连续值属性
连续属性的离散化: 连续属性的离散化:对于连续值的属性A,算法可动态 地创建一个新的布尔属性Ac,如果A<c,那么为Ac真, 否则为假. 例子: 例子:
Outlook Sunny Overcast Rain
把上面的值分别代入,计算模糊 信息熵或不可指定性的公式.可以 计算出Sunny这个模糊子集的模糊熵 或者是不可指定性. Gain(S, A) = Entropy(S)
v∈Values(A)
∑
Sv S
Entropy(Sv )
(2)归纳建立决策树
Outlook Sunny Overcast Rain
(2)归纳建立决策树
Outlook Day D1 D2 … Sunny 1 1 … Overcast 0 0 … Rain 0 0 … Volleyball 0.0 1.0 … Plan Swimming 0.8 0.7 … W-lifting 0.2 0.0 …
模糊决策树
主讲人:高相辉 河北大学机器学习中心
主要内容
清晰决策树 属性 两种不确定性及其度量 模糊决策树 模糊规则 模糊推理
分类问题
分类问题示例:Aldo进行水上运动的日子 分类问题示例:Aldo进行水上运动的日子
Example 1 2 3 4 Sky Sunny Sunny Rainy Sunny AirTemp Warm Warm Cold Warm Humidity Normal High High High Wind Strong Strong Strong Strong Water Warm Warm Warm Cool Forecast Same Same Change Change EnjoySport Yes Yes No Yes
离散的 模糊的
Day D1 D2 D3 D4 D5 D6 D7 D8 D9 D10 D11 D12 D13 D14 Outlook Sunny Sunny Overcast Rain Rain Rain Overcast Sunny Sunny Rain Sunny Overcast Overcast Rain Temperature Hot Hot Hot Mild Cool Cool Cool Mild Cool Mild Mild Mild Hot Mild Humidity High High High High Normal Normal Normal High Normal Normal Normal High Normal High Wind Weak Strong Weak Weak Weak Strong Strong Weak Weak Weak Strong Strong Weak Strong Play Tennis No No Yes Yes Yes No Yes No Yes Yes Yes Yes Yes No
Yes
IF-THEN规则: 规则: 规则 Rain IF Outlook = Sunny Wind AND Humidity = High THEN Strong Weak PlayTennis = No No Yes ……
基本的决策树学习算法
主要内容: (1)ID3算法 ID3算法 (2)熵(Entropy) )熵(Entropy) (3)信息增益(Information Gain) )信息增益(Information
属性:身高{175} 身高{175}
身高{0.6,0.4} 身高{0.6,0.7}
实验数据
(2)归纳建立决策树
Outlook Day D1 D2 … Sunny 1 1 … Overcast 0 0 … Rain 0 0 … Volleyball 0.0 1.0 … Plan Swimming 0.8 0.7 … W-lifting 0.2 0.0 …
模糊集合 用模糊集合来描述模糊概念 属性:身高 属性值:高,矮----语言术语
两种不确定性
一般认为,不确定性可以分为两大类: 一类是统计上的不确定性(Statistical Uncertainty), 一类是人类认识,思维,感觉,推理等上的不确定性 (Cognitive Uncertainty). 人类认知上的不确定性还能够深入分为两个子类: 模糊性 (Vagueness) 不可指定性(Ambiguity)
模糊决策树的归纳过程
模糊决策树的归纳过程由以下步骤组成: (1)数据预处理; (2)归纳建立决策树; (3)把得到的模糊决策树转换成一组模糊规则; (4)把得到的模糊规则应用于分类.
(1)数据预处理
数据预处理,包括噪声检查,缺失属性处理,数据 离散化,数据模糊化,训练数据和测试数据的划 分等操作. 重点是数据模糊化: 一般数据库属性都是:离散的和连续的很少有以 模糊集形式给出的. 离散的 模糊的 连续的 模糊的 把数据的分布信息转化成数据的模糊程度. 把数据的分布信息转化成数据的模糊程度.
Outlook Day D1 D2 … Sunny 1 1 … Overcast 0 0 … Rain 0 0 … Volleyball 0.0 1.0 … Plan Swimming 0.8 0.7 … W-lifting 0.2 0.0 …
权重
W ( Sunny ) = M ( Sunny ) Sunny M ( Sunny ) + M (Overcast ) + M ( Rain)
其中p 其中p+和 p-为S中的正例,反例所占比例. 中的正例,反例所占比例. 例子:S中有9个正例,5 例子:S中有9个正例,5个负例
9 9 5 5 Entropy ( S ) = log 2 ( ) log 2 ( ) = 0.940 14 14 14 14
熵(Entropy)
Entropy ( S ) = p+ log 2 ( p+ ) 1 p+) 2 (1 p+ ) ( log
S(Sunny,Volleyball) S(Sunny,Swimming) S(Sunny,W-lifting) S(Overcast,Volleyball) S(Overcast,Swimming) S(Overcast,W-lifting) S(Rain,Volleyball) S(Rain,Swimming) S(Rain,W-lifting)
离散的 模糊的
Day D1 D2 Outlook Sunny Sunny Temperature Hot Hot Humidity High High Wind Weak Strong Play Tennis No No
Outlook Day Sunny D1 D2 1 1 Overcast 0 0 Rain 0 0
连续的 模糊的
把数据的分布信息转化成数据的模糊程度. 把数据的分布信息转化成数据的模糊程度. 指定隶属函数和隶属函数的参数. 指定隶属函数和隶属函数的参数. 常用的隶属函数有: 常用的隶属函数有: 三角隶属函数 梯形隶属函数 高斯隶属函数
连续的 模糊的
属性:身高 属性值:高,矮----语言术语
可供选择的阈值(48+60)/2=54,(80+90)/2=85 c=54所对应的信息增益大.所以选择Temperture54 对于连续属性的关键问题是如何选取最佳的阈值c.
属性
属 性:条件属性,决策属性. 属性值:离散的,连续的,模糊的. 离散的:形状{三角,圆形} 颜色{红,黄} Crisp Decision Tree 连续的:身高 {175cm} Binary Decision Tree 模糊的:身高{高,矮} Fuzzy Decision Tree
Outlook Overcast Rain
Gain(S, A) = Entropy(S)
不确定性度量
(2)归纳建立决策树
Outlook Day D1 D2 … Sunny 1 1 … Overcast 0 0 … Rain 0 0 … Volleyball 0.0 1.0 … Plan Swimming 0.8 0.7 … W-lifting 0.2 0.0 …
S(Sunny, Volleyball) = 0.38 S(Sunny, Swimming) = 0.67 S(Sunny, Weight_lifting) = 0.20. The normalized possibility distribution is {0.56, 1,0.29}.
日常生活中的模糊概念
在人类的认知世界中,有很多概念是模糊的,没有明 确的两极边界,例如在日常生活中的厚薄,快慢,大小, 长短,轻重,高低,稀稠,贵贱,强弱,软硬,锐钝,深 浅,美丑等等都是模糊概念. 传统的集合理论对这类概念的划分显得无能为力. 1965年,美国工程师L.A.Zadeh提出了模糊集合论,有了 模糊集合论,计算机就可以跨越两极的黑白边界,在"灰 色"中间地带发挥作用,从而提供更符合现实情况的答案 .
决策树简介
Outlook Sunny Overcast Humidity High Normal No
Yes
结点: 结点:属性
Rain Wind