Data Mining：Outlier Analysis
资料采矿DataMining技术简介
資料採礦(Data Mining)技術簡介＊鄧家駒近年來，商業統計軟體的設計有個新的趨勢，就是專為當前發展得已經相當成熟的資料庫與資料倉儲(data base & data warehouse)技術，針對使用這一類技術所儲存的鉅量電子化資訊，發展出一套套分類與解析的數值技術分析軟體。
一般而言，資料採礦所分析的資料，例如就金融相關的申請貸款資料而言，不外乎以下的數種類型：（一）個別資料：例如個人資料的年齡、性別、地址、所得、教育水準、婚姻狀況等，或者是公司行號資料的行業別、財務報表、經營績效、市場佔有等等；（二）行為資料：例如帳戶的貸款額度、利率、款項動支情形、還款狀態、還款餘額、累積利息等等；（三）背景資料：例如個人或公司的當前負債總額、信用額度、申請信用審查頻率、信用情形、壞帳記錄等等；（四）經濟資料：例如申請當時的利率水準、物價指標、房地產等標的物的物價水準、景氣循環指數、與其他經濟指標等等；（五）其他資料：與活動相關的其他資訊，例如抵押品資訊、保證人資訊、聯貸資訊等。
為何不對資料庫使用一般的統計軟體來作分析呢？這裡有兩個主要的原因。
在過去統計軟體的缺點之一，就是軟體設計者從來就沒有預期會使用到這麼龐大的資訊。
當資料量增大到一個程度時，這些傳統的統計軟體，配置在一般PC之下的可運算容量與運算速度都會產生嚴重的問題。
例如，JCIC（聯合徵信中心）每年都會接受所有金融單位許多的資訊，這些每年或每季傳過來的資訊不僅極端的龐大，另外在時間演進之下也會不斷的累積。
其結果是總資料量的龐大決不是一般人所能想像的。
同樣的，我們也可以設想我們的健保資料，也會在時間的進程當中，因為不斷的有人到各類醫院診所看各種疾病因而不斷的累積。
這當然是因為當前發生的疾病資料固然重要，過去的疾病與用藥歷史資料也是不可忽視的。
於是乎時間越久，各種資料的累積當然就越多。
另外，如果我們希望儲存的資訊細節越是詳細的話，資料的科目（變數）項目當然也就越多，其資訊密度也就越密集，當然所涵蓋的資料量也自然而然的更為龐大。
数字化 常用名词
1、绝对数和相对数绝对数：是反应客观现象总体在一定时间、一定地点下的总规模、总水平的综合性指标，也是数据分析中常用的指标。
比如年GDP，总人口等等。
相对数：是指两个有联系的指标计算而得出的数值，它是反应客观现象之间的数量联系紧密程度的综合指标。
相对数一般以倍数、百分数等表示。
相对数的计算公式：相对数=比较值（比数）/基础值（基数）2、百分比和百分点百分比：是相对数中的一种，它表示一个数是另一个数的百分之几，也称为百分率或百分数。
百分比的分母是100，也就是用1%作为度量单位，因此便于比较。
百分点：是指不同时期以百分数的形式表示的相对指标的变动幅度，1%等于1个百分点。
3、频数和频率频数：一个数据在整体中出现的次数。
频率：某一事件发生的次数与总的事件数之比。
频率通常用比例或百分数表示。
4、比例与比率比例：是指在总体中各数据占总体的比重，通常反映总体的构成和比例，即部分与整体之间的关系。
比率：是样本(或总体)中各不同类别数据之间的比值，由于比率不是部分与整体之间的对比关系，因而比值可能大于1。
5、倍数和番数倍数：用一个数据除以另一个数据获得，倍数一般用来表示上升、增长幅度，一般不表示减少幅度。
番数：指原来数量的2的n次方。
6、同比和环比同比：指的是与历史同时期的数据相比较而获得的比值，反应事物发展的相对性。
环比：指与上一个统计时期的值进行对比获得的值，主要反映事物的逐期发展的情况。
7、变量变量来源于数学，是计算机语言中能储存计算结果或能表示值抽象概念。
变量可以通过变量名访问。
8、连续变量在统计学中，变量按变量值是否连续可分为连续变量与离散变量两种。
在一定区间内可以任意取值的变量叫连续变量，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。
如:年龄、体重等变量。
9、离散变量离散变量的各变量值之间都是以整数断开的，如人数、工厂数、机器台数等，都只能按整数计算。
离散变量的数值只能用计数的方法取得。
高中英语数据处理单选题30题
高中英语数据处理单选题30题1.The researcher is conducting a survey to collect data. He needs to ask questions that are _____.A.clear and specificB.vague and generalC.confusing and complexD.ambiguous and difficult答案：A。
本题考查形容词的辨析。
进行调查收集数据时，问题需要清晰具体，这样才能得到有效的数据。
选项B 模糊和笼统不利于收集数据；选项C 令人困惑和复杂会让被调查者难以回答；选项D 模棱两可和困难也不利于数据收集。
2.In an experiment, the scientist wants to collect accurate data. He should use _____ instruments.A.old and inaccurateB.damaged and faultyC.modern and preciseD.outdated and unreliable答案：C。
考查形容词的用法。
要收集准确的数据，需要使用现代且精确的仪器。
选项 A 老旧且不准确、选项B 损坏且有故障、选项D 过时且不可靠的仪器都无法收集到准确数据。
3.When collecting data through questionnaires, it's important to make sure the questions are _____.A.easy to understandB.difficult to comprehendC.confusing and ambiguousplicated and hard to answer答案：A。
通过问卷收集数据时，问题应易于理解。
选项B 难以理解、选项 C 令人困惑且模棱两可、选项 D 复杂且难以回答都不利于收集到有效的数据。
DataMining分析方法
如有你有帮助，请购买下载，谢谢！数据挖掘Data Mining第一部 Data Mining的觀念............... 错误！未定义书签。
第一章何謂Data Mining ..................................................... 错误！未定义书签。
第二章Data Mining運用的理論與實際應用功能............. 错误！未定义书签。
第三章Data Mining與統計分析有何不同......................... 错误！未定义书签。
第四章完整的Data Mining有哪些步驟............................ 错误！未定义书签。
第五章CRISP-DM ............................................................... 错误！未定义书签。
第六章Data Mining、Data Warehousing、OLAP三者關係為何. 错误！未定义书签。
第七章Data Mining在CRM中扮演的角色為何.............. 错误！未定义书签。
第八章Data Mining 與Web Mining有何不同................. 错误！未定义书签。
第九章Data Mining 的功能................................................ 错误！未定义书签。
第十章Data Mining應用於各領域的情形......................... 错误！未定义书签。
第十一章Data Mining的分析工具..................................... 错误！未定义书签。
第二部多變量分析....................... 错误！未定义书签。
第一章主成分分析(Principal Component Analysis) ........... 错误！未定义书签。
信用分析中常用数据挖掘算法
信用分析中常用数据挖掘算法作者：吴昌钱来源：《硅谷》2011年第06期0 引言随着商务、科技和政府等事务的信息化步伐加快，数据的形成速度也在加快，形成瞬间数据的爆炸性增长势态。
与此同时，人们收集数据的能力也在迅速提高。
现在，internet已经真正成为了一个全球的信息系统，人们都已经淹没在了数据和信息的海洋中，都在这数据的汪洋中寻找有利的信息，寻找商机，寻找利润增长点。
那么，人们在海量数据中又如何才能快速获得有效数据信息呢，这就需要采用智能处理方式来发现数据中的知识，也就是要采用数据挖掘的技术来处理发现数据中隐含的模式，隐含的知识。
数据库数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程[1]。
该定义包含着以下几个含义：①被处理的数据必须是真实的、大量的；②发现的是有用的，是用户感兴趣的知识；③被发现的知识要可接受、可理解、可运用；④被发现的知识并不要求具有通用性，而是面向特定问题的有用知识。
数据挖掘还被认为是一种商业信息处理技术，主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。
没有数据挖掘技术的发展，数据库中的大量数据不能得到充分分应用，不能发现数据库中数据所隐含的有用知识。
那么，数据库中的数据不管有多么的完整，量有多么的大，只要不能提供给经营决策，不能带来经济效益，数据最终只能是“垃圾数据”。
数据挖掘是一个涉及到多学科的领域。
这些相关领域学科包括数据库技术、机器学习、模式识别、统计学、模式识别、信息检索、神经网络、人工智能等。
数据挖掘已经成为了目前国际上数据库和信息决策系统最前沿的研究方向之一。
与此同时，适合于各种环境，各种应用的数据挖掘算或改进算法层出不穷，可谓复杂至极。
本文就目前较为权威的，应用较广泛的挖掘算法进行分析，目的在于今后面对具体的数据，具体的目的，如何灵活选择可行的挖掘算法。
物联网中的智能决策概述
本章内容
13.1 数据挖掘概述
13.2 数据挖掘的基本类型和算法* 13.3 智能决策与物联网
什么是数据挖掘？数据挖掘有哪三个步骤？
13.1 数据挖掘概述
数据挖掘（Data Minin模式的过程
•是一个反复迭代的人机交互和处理的过程，历经多个步骤，
第13章 物联网中的 智能决策
内容提要
智能决策是物联
网“智慧”的来源。
本章将介绍数据挖掘的 基本流程，基本类型和 典型算法。
内容回顾
•第12章介绍了搜索引擎的相关知识 •搜索引擎的基本组成 •搜索引擎的体系结构（信息采集，索引技术，搜索服 务） •物联网中搜索引擎的挑战
•本章介绍数据挖掘的基本流程（预处理，数据挖掘， 知识评估与表示），重点介绍几种典型的数据挖掘算 法，最后讨论物联网中智能决策的新特点。
精准农业 市场行销 智能家居 金融安全 产品制造和质量
监控 互联网用户行为
分析
金融安全
•由于金融投资的风险很大，所以在进行投资决策时， 需要通过对各种投资方向的数据进行分析，以选择最佳 的投资方向。数据挖掘可以通过对已有数据的处理，找 到数据对象之间的关系，然后利用学习得到的模式进行 合理的预测 •金融欺诈识别主要是通过分析正常行为和诈骗行为的 数据和模式，得到诈骗行为的一些特性，这样当某项业 务记录符合这样的特征时，识别系统可以向决策人员提 出警告
聚类分析
聚类分析的方法（续）
•基于网格的方法：把对象空间量化为具有规则形状的单元格，从而形成一 个网格状结构。在聚类的时候，将每个单元格当作一条数据进行处理。优点 是处理速度很快，因处理时间与数据对象数目无关，而只与量化空间中的单 元格数目相关
•基于模型的方法：如果事先已知数据是根据潜在的概率分布生成的，基于 模型的方法便可为每个聚类构建相关的数据模型，然后寻找数据对给定模型 的最佳匹配。主要分两类：统计学方法和神经网络方法
Data Mining：Concepts and Techniques
Types of Outliers (I)
Three kinds: global, contextual and collective outliers Global Outlier Global outlier (or point anomaly) Object is Og if it significantly deviates from the rest of the data set Ex. Intrusion detection in computer networks Issue: Find an appropriate measurement of deviation Contextual outlier (or conditional outlier) Object is Oc if it deviates significantly based on a selected context o Ex. 80 F in Urbana: outlier? (depending on summer or winter?) Attributes of data objects should be divided into two groups Contextual attributes: defines the context, e.g., time & location Behavioral attributes: characteristics of the object, used in outlier evaluation, e.g., temperature Can be viewed as a generalization of local outliers—whose density significantly deviates from its local area Issue: How to define or formulate meaningful context?
Data Mining是什么意思
简单来说Data Mining就是在庞大的数据库中寻找出有价值的隐藏事件，籍由统计及人工智能的科学技术，将资料做深入分析，找出其中的知识，并根据企业的问题建立不同的模型，以提供企业进行决策时的参考依据。
举例来说，银行和信用卡公司可籍由Data Mining的技术将庞大的顾客资料做筛选、分析、推演及预测，找出哪些是最有贡献的顾客，哪些是高流失率族群，或是预测一个新的产品或促销活动可能带来的响应率，能够在适当的时间提供适当适合的产品及服务。
也就是说，透过Data Mining企业可以了解它的顾客，掌握他们的喜好，满足他们的需要。
近年来，Data Mining已成为企业热门的话题。
愈来愈多的企业想导入Data Mining的技术，美国的一项研究报告更是将Data Mining 视为二十一世纪十大明星产业，可见它的重要性。
一般Data Mining 较长被应用的领域包括金融业、保险业、零售业、直效行销业、通讯业、制造业以及医疗服务业等。
国立高雄应用科技大学电机工程系资料探勘实验室解读
班級：博電一甲 學號：1097404103 姓名：鍾翔航
實驗室首頁：.tw/
利用文件探勘技術，針對萃取癌症知識之生物資訊研究
跨語言與單一語言文件抄襲偵測之研究方法
Data Mining 是什麼？
• Data Mining是從資料中找出有用珍貴知識的一個過程
1.計畫應用 應用導入計畫 2.專案監督維護 監督與維護計畫 3.結案報告 結案報告或簡報 4.檢視專案 經驗傳承及技術文件
18
Evaluate Results
Plan Deployment Plan Monitering & Maintenance Produce Final Report Review Project
Assess Situation
Determine Data Mining Goals Produce Project Plan
交叉通路銷售 顧客終身價值及利潤價值 維持顧客模型 詐欺理賠分析
目標客戶分析
客戶區隔 需求預測分析
Copyright 2003-12, SPSS Taiwan Corp.
DM處理流程 (1997年於阿姆斯特丹正式誕生CRISP-DM SIG)
1.
定義企業問題
2.
資料準備
整合性服務
6.
分析服務 報表服務
良率分析 製程改善 需求預測
醫療業
病人流失管理 潛在新病人分析 病人屬性區隔
Copyright 2003-12, SPSS Taiwan Corp.
各產業的應用層面
銀行 風險管理 行銷回應預測 維持顧客模型 顧客終身價值及利潤價值 多通路行為管理 信用卡冒用偵測 保險業 生命科學 基因抗藥反應分析 基因序列分析 藥物區隔分析 藥物市場風險評估 娛樂業 客戶流失管理
我所知道的一点DataMining-电子邮件系统
◎我所知道的一點Data Mining1.前言2.定義3.方法4.工具5.應用6.結論◎以上內容提供者:趙民德中央研究院統計科學研究所◎◎資料採礦（Data Mining）連載之一‧何謂DATA MINING‧DATA MINING和統計分析的不同‧為什麼需要DATA MINING何謂DATA MINING？資料採礦的工作（Data Mining）是近年來資料庫應用領域中，相當熱門的議題。
它是個神奇又時髦的技術，但卻也不是什麼新東西，因為Data Mining使用的分析方法，如預測模型（迴歸、時間數列）、資料庫分割（Database Segmentation）、連接分析（Link Analysis）、偏差偵測（Deviation Detection）等；美國政府從第二次世界大戰前，就在人口普查以及軍事方面使用這些技術，但是資訊科技的進展超乎想像，新工具的出現，例如關連式資料庫、物件導向資料庫、柔性計算理論（包括Neural network、Fuzzy theory、Genetic Algorithms、Rough Set等）、人工智慧的應用（如知識工程、專家系統），以及網路通訊技術的發展，使從資料堆中挖掘寶藏，常常能超越歸納範圍的關係；使Data Mining成為企業智慧的一部份。
Data Mining是一個浮現中的新領域。
在範圍和定義上、推理和期望上有一些不同。
挖掘的資訊和知識從巨大的資料庫而來，它被許多研究者在資料庫系統和機器學習（Machine learning）當作關鍵研究議題，而且也被企業體當作主要利基的重要所在。
有許多不同領域的專家，對Data Mining展現出極大興趣，例如在資訊服務業中，浮現一些應用，如在Internet之資料倉儲和線上服務，並且增加企業的許多生機。
隨著資訊科技的進步以及電子化時代的來臨，現今企業所面對的是一個與以往截然不同的競爭環境。
在資訊科技的推波助瀾下，不僅企業競爭的強度與速度倍數於以往，激增的市場交易也使得各企業所需儲存與處理的資料量越來越龐大。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Types of Outliers (II)
Collective Outliers
A subset of data objects collectively deviate significantly from the whole data set, even if the individual data objects may not be outliers Applications: E.g., intrusion detection:
Collective Outlier
When a number of computers keep sending denial-of-service packages to each other
Detection of collective outliers Consider not only behavior of individual objects, but also that of groups of objects Need to have the background knowledge on the relationship among data objects, such as a distance or similarity measure on objects. A data set may have multiple types of outlier One object may belong to more than one type of outlier
Data Mining:
Concepts and Techniques
1
Chapter 12. Outlier Analysis
Outlier and Outlier Analysis
Outlier Detection Methods
Statistical Approaches Proximity-Base Approaches Clustering-Base Approaches Classification Approaches Mining Contextual and Collective Outliers Outlier Detection in High Dimensional
What Are Outliers?
Outlier: A data object that deviates significantly from the normal objects as if it were generated by a different mechanism Ex.: Unusual credit card purchase, sports: Michael Jordon, Wayne Gretzky, ... Outliers are different from the noise data Noise is random error or variance in a measured variable Noise should be removed before outlier detection Outliers are interesting: It violates the mechanism that generates the normal data Outlier detection vs. novelty detection: early stage, outlier; but later merged into the model Applications: Credit card fraud detection Telecom fraud detection Customer segmentation Medical analysis
3
Types of Outliers (I)
Three kinds: global, contextual and collective outliers Global Outlier Global outlier (or point anomaly) Object is Og if it significantly deviates from the rest of the data set Ex. Intrusion detection in computer networks Issue: Find an appropriate measurement of deviation Contextual outlier (or conditional outlier) Object is Oc if it deviates significantly based on a selected context o Ex. 80 F in Urbana: outlier? (depending on summer or winter?) Attributes of data objects should be divided into two groups Contextual attributes: defines the context, e.g., time & location Behavioral attributes: characteristics of the object, used in outlier evaluation, e.g., temperature Can be viewed as a generalization of local outliers—whose density significantly deviates from its local area Issue: How to define or formulate meaningful context?