第04讲智能决策理论与方法176

❖ 这时，传统的决策数学模型已经难以胜任求解复杂度过高的 决策问题、含有不确定性的决策问题以及半结构化、非结构 化的决策问题，因而产生了智能决策理论、方法及技术。
第04讲智能决策理论与方法176
智能决策理论与方法—AI的应用模式
❖ 智能决策方法是应用人工智能(Artificial Intelligence, AI)相 关理论方法，融合传统的决策数学模型和方法而产生的具有 智能化推理和求解的决策方法，其典型特征是能够在不确定、 不完备、模糊的信息环境下，通过应用符号推理、定性推理 等方法，对复杂决策问题进行建模、推理和求解。AI应用于 决策科学主要有两种模式： ✓ 针对可建立精确数学模型的决策问题，由于问题的复杂 性，如组合爆炸、参数过多等而无法获得问题的解析解， 需要借助AI中的智能搜索算法获得问题的数值解； ✓ 针对无法建立精确数学模型的不确定性决策问题、半结 构化或非结构化决策问题，需要借助AI方法建立相应的 决策模型并获得问题的近似解。
xk U (k1,2, ,n)
若其属性ci 的取值在区间 [cij1,cij)(j(1,2, ,ki))内，则将属
性值重新标记为j。这样就把原来含有连续属性的样本数据集 A转换成离散化的数据集 A P 。因此离散化问题本质上可归结 为利用选取的分割点对属性的值域空间进行划分的问题。
第04讲智能决策理论与方法176
R是实数集，则 c i
为连续属性。设P i
是V
上
i
的分割点集合，记为 Pi {c0i,c1i, ,ckii}
其中 si c 0 i c 1 i c 2 i c k ii e i ，k i 为一整数，表示离散
化程度，可以看作按属性将论域中的对象分成k i 类。
第04讲智能决策理论与方法176
第04讲智能决策理论与方法176
数据预处理—连续属性离散化
假设某个属性的最大属性值为xmax，最小属性值为xmin，用 户给定的分割点参数为k，则分割点间隔为δ=(xmax-xmin)/k， 所得到的属性分割点为xmin+i，i=1,2,…,k。 (2)等信息量离散化方法 等信息量分割首先将测量值进行排序，然后将属性值域分成 k个区间，每个区间包含相同数量的测量值。假设某个属性 的最大属性值为xmax ，最小属性值为xmin ，用户给定的分割 点参数为k，样本集中的对象个数为n，则需要将样本集中的 对象按该属性的取值从小到大排列，然后按对象数平均划分 为k段即得到分割点集，每两个相邻分割点之间的对象数均 为n/k。
第04讲智能决策理论与方法176
智能决策理论与方法
1、智能决策理论的形成背景 2、知识发现 3、粗糙集理论 4、机器学习
第04讲智能决策理论与方法176
知识发现—动机
❖ 智能决策的核心是如何获取支持决策的信息和知识。
推理机
推理结果
问题请求
决策者
知识库
知识工程师 领域专家
❖ 问题 ✓ 知识获取是基于知识的系统(KBS)的最大瓶颈
第04讲智能决策理论与方法176
KDD过程
（1）缺失值处理 （2）剔除噪声或异常数据
第04讲智能决策理论与方法176
KDD过程
（1）维数约简(特征选择与 抽取，数据采样) （2）属性转换 (离散化和泛 化) （3）数据编码
第04讲智能决策理论与方法176
KDD过程
(1)确定数据挖掘类型，如分类、 聚类、回归； (2) 选择特定的 方法； (3) 执行数据挖掘算法。
第04讲智能决策理论与方法176
数据预处理—连续属性离散化
问题描述
1 23
ki-1 ki
……Leabharlann c sici 0ci 1
i 2
c c e i
i
ki 1
ki
i
设 AU ,CD为一样本数据集，U{x1,x2, ,xn}为非空有限
集合，C是条件属性集，D是决策属性集。假设对于任意ci C
有
Vi [si,ei)R，
数据预处理—连续属性离散化
对于需要离散化的连续属性集C C ，其分割点集合记为
P c i C { i } c P i c i C { c i,c ( 0 i) ( c i , ,c 1 i) ( c i , ,c 2 i) , ,( c i,c k i i)}
将ci属性的连续取值映射到离散空间，即对于任意
❖ 解决问题的主要理论方法：人工智能与不确定性理论
第04讲智能决策理论与方法176
智能决策理论与方法
1、智能决策理论的形成背景 2、知识发现 3、粗糙集理论 4、机器学习
第04讲智能决策理论与方法176
智能决策理论与方法—形成背景
❖ 人类面临越来越复杂的决策任务和决策环境： ✓ 决策问题所涉及的变量规模越来越大； ✓ 决策所依赖的信息具有不完备性、模糊性、不确定性等 特点，使得决策问题难以全部定量化地表示出来； ✓ 某些决策问题及其目标可能是模糊的、不确定的，使得 决策者对自己的偏好难以明确，随着决策分析的深入， 对决策问题的认知加深，自己原有的偏好/倾向得到不断 地修正，使得决策过程出现不断调整的情况，
第04讲智能决策理论与方法176
参考书推荐
第04讲智能决策理论与方法176
为什么要开展数据挖掘？
❖ 信息技术的广泛应用产生了大量的数据：
✓ 流数据（生产数据、监控数据、传感数据） ✓ 各种(时间)序列数据（证券交易，基因序列） ✓ 对象关系数据（社交网络，分子结构） ✓ 管理数据（MIS，ERP：财务、人力资源、客户关系） ✓ 空间数据（GIS、GPS） ✓ 多媒体数据（视频监控，视频分享） ✓ 文本数据（学术论文，新闻，微博，博客） ✓ 万维网数据（内容，结构，使用，交易数据） ✓ ……
✓ 第四，处理速度（Velocity）快。1秒定律。
We are drowning in data, but starving for knowledge!
第04讲智能决策理论与方法176
KDD & DM
❖ 知识发现(Knowledge Discovery in Databases ,KDD) 是 指从大量数据中提取有用的(useful)、新颖的(novel)、有效 的(valid)并最终能被人理解(understandable)的模式 (patterns)的处理过程(process)。
分割点。
第04讲智能决策理论与方法176
Taxonomy of Data Mining Methods
第04讲智能决策理论与方法176
Taxonomy of Data Mining Methods
❖ Verification-oriented (the system verifies the user‘s hypothesis): including the most common methods of traditional statistics, like goodness of fit(拟合优度) test, tests of hypotheses (假设检验，e.g., t-test of means), and analysis of variance (ANOVA，方差分析或F-检验).
数据中心
❖ 优点 ✓ 知识独立于问题本身 ✓ 知识的获取主要通过数据挖掘实现 ✓ 有创造性收获
第04讲智能决策理论与方法176
Data Mining within the DSS
第04讲智能决策理论与方法176
知识发现—动机
❖ KDD带来的新问题 ✓ 知识发现问题：如何从数据中将知识挖掘出来？ 面临许多技术问题：如数据异构问题、数据具有 噪音且信息不完整、使用什么样的挖掘算法、知 识如何表示等 ✓ 知识评价问题：数据本身具有权威性、客观性， 但知识不具备。知识如何评价？
决策理论与方法
——智能决策理论与方法(1)
合肥工业大学管理学院 2020年11月24日
第04讲智能决策理论与方法176
不确定性决策
❖ 不确定性决策：指难以获得各种状态发生的概率，甚至对未 来状态都难以把握的决策问题。
❖ 特点：状态的不确定性。 ✓ 不确定性：不确定性来自人类的主观认识与客观实际之 间存在的差异。事物发生的随机性、人类知识的不完全、 不可靠、不精确和不一致以及自然语言中存在的模糊性 和歧义性，都反映了这种差异，都会带来不确定性。不 确定性就造成了具有相同描述信息的对象可能属于不同 概念。
第04讲智能决策理论与方法176
为什么要开展数据挖掘？
❖ Big Data——大数据时代
✓ 第一，数据体量（Volume）巨大 。从TB级别，跃升到 PB级别。
✓ 第二，数据类型繁多（Variety） 。网络日志、视频、图 片、地理位置信息等等。
✓ 第三，价值（Value）密度低。以视频为例，连续不间断 监控过程中，可能有用的数据仅仅有一两秒。
第04讲智能决策理论与方法176
KDD过程
评估和解释所挖掘的模式， 重点是可理解性、有用性.
第04讲智能决策理论与方法176
KDD过程
与原有知识系统合并。 挑战: 动态与增量挖掘问题。
第04讲智能决策理论与方法176
数据预处理—空值估算
❖ 空值是指属性值未知且不可用、与其它任何值都不相同的符 号。在样本数据集中，空值在所有非主码属性中都可能出现。 空值出现的主要原因： ✓ 在信息收集时忽略了一些认为不重要的数据或信息提供 者不愿意提供，而这些数据对以后的信息处理可能是有 用的； ✓ 某些属性值未知； ✓ 数据模型的限制。
知识发现—动机
决策者
决策支持查询 查询结果
数据分析师
不一定满意的决策
数据中心
❖ 问题 ✓ 数据分析师与决策者之间对问题的理解存在偏差 ✓ 缺少有创造性的决策建议 ✓ 技术问题：如查询效率(RDBMS)