代价敏感决策树讲解
基于欠采样和代价敏感的不平衡数据分类算法
2021‑01‑10计算机应用,Journal of Computer Applications 2021,41(1):48-52ISSN 1001‑9081CODEN JYIIDU http ：//基于欠采样和代价敏感的不平衡数据分类算法王俊红1，2*，闫家荣1，2（1.山西大学计算机与信息技术学院，太原030006；2.计算智能与中文信息处理教育部重点实验室（山西大学），太原030006）（∗通信作者电子邮箱wjhwjh@ ）摘要：针对不平衡数据集中的少数类在传统分类器上预测精度低的问题，提出了一种基于欠采样和代价敏感的不平衡数据分类算法——USCBoost 。
首先在AdaBoost 算法每次迭代训练基分类器之前对多数类样本按权重由大到小进行排序，根据样本权重选取与少数类样本数量相当的多数类样本；之后将采样后的多数类样本权重归一化并与少数类样本组成临时训练集训练基分类器；其次在权重更新阶段，赋予少数类更高的误分代价，使得少数类样本权重增加更快，并且多数类样本权重增加更慢。
在10组UCI 数据集上，将USCBoost 与AdaBoost 、AdaCost 、RUSBoost 进行对比实验。
实验结果表明USCBoost 在F1-measure 和G -mean 准则下分别在6组和9组数据集获得了最高的评价指标。
可见所提算法在不平衡数据上具有更好的分类性能。
关键词：不平衡数据；分类；代价敏感；AdaBoost 算法；欠采样中图分类号：TP18文献标志码：AClassification algorithm based on undersampling andcost -sensitiveness for unbalanced dataWANG Junhong 1，2*，YAN Jiarong 1，2（1.School of Computer and Information Technology ，Shanxi University ，Taiyuan Shanxi 030006，China ；2.Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education （Shanxi University ），Taiyuan Shanxi 030006，China ）Abstract:Focusing on the problem that the minority class in the unbalanced dataset has low prediction accuracy bytraditional classifiers ，an unbalanced data classification algorithm based on undersampling and cost -sensitiveness ，called USCBoost （UnderSamples and Cost -sensitive Boosting ），was proposed.Firstly ，the majority class samples were sorted from large weight sample to small weight sample before base classifiers being trained by the AdaBoost （Adaptive Boosting ）algorithm in each iteration ，the majority class samples with the number equal to the number of minority class samples were selected according to sample weights ，and the weights of majority class samples after sampling were normalized and a temporary training set was formed by these majority class samples and the minority class samples to train base classifiers.Secondly ，in the weight update stage ，higher misclassification cost was given to the minority class ，which made the weights of minority class samples increase faster and the weights of majority class samples increase more slowly.On ten sets of UCI datasets ，USCBoost was compared with AdaBoost ，AdaCost （Cost -sensitive AdaBoosting ），and RUSBoost （Random Under -Sampling Boosting ）.Experimental results show that USCBoost has the highest evaluation indexes on six sets and nine sets of datasets under the F1-measure and G -mean criteria respectively.The proposed algorithm has better classification performance on unbalanced data.Key words:unbalanced data;classification;cost -sensitiveness;AdaBoost algorithm;undersampling引言分类是数据挖掘领域中一个重要的分支，普通的分类模型通常假设数据集中各类别的样本数量差距很小且对于每个类别的误分代价相等，而使用不平衡数据集训练传统的分类器会导致模型对于少数类的预测精度很低，因此不平衡数据学习一直是机器学习领域的研究热点［1］。
风险管理之决策树
风险管理之决策树风险管理是企业管理中至关重要的一个方面，它涉及到识别、评估和应对各种可能影响企业目标实现的潜在风险。
为了更有效地应对风险，企业通常会采用决策树作为一种决策支持工具，帮助管理者在面临复杂情况下做出明智的决策。
什么是决策树决策树是一种模拟人类决策过程的树形结构模型，它通过节点、分支和叶子节点的形式对决策进行建模。
决策树的根节点代表一个决策问题或情景，分支代表选择或决策的可能路径，叶子节点表示最终的决策结果或结论。
在风险管理中，决策树可以帮助管理者分析不同决策选项的风险和收益，以便做出最优的决策。
利用决策树进行风险管理步骤一：确定决策问题在利用决策树进行风险管理时，首先需要明确当前所面临的决策问题。
这可能涉及到投资决策、项目选择、风险防范等方面的问题。
在确定决策问题后，可以开始构建决策树。
步骤二：构建决策树构建决策树的过程包括定义决策变量、确定决策树节点、设置节点之间的关系等步骤。
在这一步中，需要考虑潜在的风险因素和可能的决策选择，以及它们之间的关系。
通过建立决策树，管理者可以清晰地展示决策路径，有助于分析各种选择对企业风险的影响。
步骤三：评估风险和收益一旦决策树建立完成，接下来就是评估不同决策路径的风险和收益。
这可能涉及到制定风险评估标准、收益估算等工作。
通过对每种决策路径的风险和收益进行评估，管理者可以更清晰地了解各种选择的优劣势，有助于做出理性的决策。
步骤四：制定决策策略最后一步是制定具体的决策策略。
在制定决策策略时，管理者需要考虑到不同决策路径的风险和收益，并根据企业的战略目标和风险承受能力做出最终的决策。
决策策略应该能够最大化企业的利益，并有效管理风险。
通过以上步骤，企业可以利用决策树实现更有效的风险管理，提高决策质量，降低潜在风险。
然而，应该意识到决策树只是一种工具，最终的决策还是需要结合管理者的经验和判断力来做出。
因此，在风险管理过程中，建议不仅仅依赖于决策树，还应结合实际情况综合考虑，以达到更好的决策效果。
基于关联度和代价敏感学习的决策树生成法
感学 习的决策树生成法。该 方法利用粗糙集理论对条件属性进行约减 ， 在构 建决策树过程 中， 把属 性的关联程度和 性价 比作
为选择分裂结点 的依据 ， 利用 改进 的信 息增 益方法构建代价敏感决策树。试 验结果表 明， 该方 法在分 类准确度和 生结点 总数 量 上比常用决策树 生成方法优越。 关键词 关联度 中图法分类号 决策树 代价敏感学 习 文献标志码 属性约简 Ａ Ｔ Ｐ ３ ０ １ ． １ ；
第１ ３卷
第 ５期
２ ０ １ ３年 ２月
科
学
技
术
与
工
程
Ｖｏ ｌ ＿１ ３ Ｎｏ ． ５ Ｔｅ ｂ． ２ ０１ ３
１ ６ ７ １ — １ ８ １ ５ （ ２ ０ １ ３ ） ０ ５ — １ １ ９ ６ — ０ ４
Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｔｅ ｃ ｈ ｎｏ ｌ ｏ ｇ ｙ ａ ｎｄ Ｅｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ
⑥
２ ０ １ ３ Ｓ ｃ ｉ ． Ｔ ｅ ｃ ｈ ． Ｅ ｎ ｇ ｒ ｇ ．
计算机技术
基于关联度和代价敏感学 习的决 策树生成法
孟 光 胜
（ 河南科技大学 林业职业学院 ， 洛阳４ ７ １ ０ ０ ２ ）
摘 要Biblioteka 针对 Ｉ Ｄ ３决策树 生成 法中存在 的缺 点， 通过 引用属性关联度和代价敏感 学 习， 提 出了一种基 于属性关联度 和代 价敏
Ｐ
， ａ ）＝ Ｙ ， ａ ） ｝ ．由不 可 区分关 系 ｉ ｎ ｄ （ Ｐ）产 定 义 ３ 等 价关 系 设 ，＝ （ Ｕ， Ｒ）， Ｐ Ｒ，
，
生 的所有 等价 类用 Ｕ ／ ｉ ｎ ｄ （ Ｐ）表示 ， 简记 为 Ｕ ／ Ｐ。
基于相对等待时间的代价敏感决策树
I SSN1673—9418C O D E N JK Y T A8Jour nal of C o m p ut er S c i e nce a nd Fr ont i er s1673—941812007／01(03)-0314-11基于相对等待时间的代价敏感决策树水袁鼎荣，张师超+，朱晓峰，张晨Y U A N D i ngr ong，Z H A N G Shi chao+，Z H U X i aof eng，Z H A N G C hen E-m ai l：fcs t@pu bl i c2．bt a．net．cn —ht t p：／／w w w．ce aj．or gT e l：+86一l o-51616056广西师范大学计算机科学与信息工程学院。
广西桂林541004C o U e g e of C o m pu t er S c i e nceand Tec hnol ogy。
G uangxi N o r m al U n i ve r s i t y，G ui l i n，G uan gxi541004，C h i na+Cor r esp on di n g aut hor：E-m ai l：zha ngsc@m ai l box．gxn u．e du．caY U A N D i ngr ong，Z H A N G Shi chao，Z H U X i ao f eng，et a1．C ost-s en s i t i ve deci s i o n t re es bas ed on r e l a-t i ve w ai t i ng t i m e．Jour nal of C om p ut er Sci ence a nd Fr ont i er s，2007，1(3)：314-324．A bs t r ac t：The pape r def i nes a‘r el at i ve w ai t i ng t i m e co s t’，an d com bi nes i t w i t h‘t est cost’as‘t angi b l e c os t’．T hen a pr i nci pl e i s pr es ent ed f or se l e ct i ng spl i t t i ng a t t r i but e s，i n w hi ch t hose at t ri but e s t ha t m axi m al l y decr ease i nt angi bl e cos t(i．e．，‘m i scl a ssi fi cat i on cos t’)i n an uni t of t a ngi bl e c os t，w i l l be f i r st l y s el ect ed a sspl i t t i ng at t r i but es．Furt herm or e，cos t-sens i t i ve deci si on t r ees w i t h r el at i vew ai t i ng t i m e cos t i s pr opos ed bycom bi ni ng t he s eque nt i al t es t st r a t eg y w i t h bat ch t es t s t rat eg y．Ex per i m ent al r e sul t s dem ons t r at e t ha t t he m et hod outper for m s t he exi s t i ng m et h ods not on l y at t he decr eas e of i nt a ngi bl e cost，b ut al s o at t he quant i t y of t he t angi bl e cos t．O n t he ot her hand，t he r e sul t s sho w t h at it is nec e ss a ry t o co ns i der t he r el at i ve w ai t i ng t i m e cos t w hen bui l di ng c ost-se ns i t i ve deci si on t r ees．K ey w or d s：cos t-s ens i t i v e；deci si on bee s；s pl i t t i ng a t t ri but es；w ai t i ng t i m e；t i m e-s en s i t i v e摘要：首先引入相对等待时间代价，将它与测试代价一起称为有形代价，利用单位有形代价中无形代价(即误分类代价)降低最多的原则选择分裂属性；然后结合序列测试策略和批量测试策略建立相对等待时间代价敏感决策树。
代价敏感学习方法综述
代价敏感学习方法综述代价敏感学习方法是一种机器学习方法，它可以根据错误分类的代价来调整模型的权重。
通过将不同类别的错误分类赋予不同的代价值，代价敏感学习方法可以使得模型更加关注于重要的错误分类。
本文将综述代价敏感学习方法的原理、应用领域和研究进展。
代价敏感学习方法的原理是基于一个假设：不同类别的错误分类对应的代价是不同的。
例如，在医学诊断中，将正常病人错误分类为患有重大疾病的错误可能会造成严重的后果，而将患有重大疾病的病人错误分类为正常病人的错误可能相对较轻微。
因此，我们希望模型能更加关注于将患有重大疾病的病人正确分类，并降低将正常病人错误分类的概率。
代价敏感学习方法可以用于多种机器学习算法，包括决策树、支持向量机、神经网络等。
其中，决策树是最常用的方法之一、在决策树中，代价敏感学习方法可以通过调整树的划分过程来使得不同类别的错误分类具有不同的代价。
具体而言，代价敏感学习方法可以通过调整划分准则来使得错误分类代价较高的类别更容易被划分到更高层的节点，从而减少错误分类的概率。
除了决策树，代价敏感学习方法还可以与其他机器学习方法相结合。
例如，在支持向量机中，代价敏感学习方法可以通过调整不同类别样本的权重来改变模型的决策边界，从而降低错误分类的概率。
在神经网络中，代价敏感学习方法可以通过调整不同类别样本的损失函数权重来改变模型的学习规则，从而使得模型更加关注于重要的错误分类。
目前，代价敏感学习方法在研究领域有许多进展。
一方面，研究人员正在开发新的代价敏感学习算法，以提高模型的性能和效率。
例如，一些研究人员正在研究如何自动选择不同类别的错误分类代价，而不是人工设定代价值。
另一方面，研究人员还在研究如何应用代价敏感学习方法于更复杂的场景，如多类别分类和迁移学习。
此外，一些研究人员还在探索如何结合代价敏感学习方法和其他机器学习方法，以进一步提高模型的性能。
综上所述，代价敏感学习方法是一种可以根据错误分类的代价来调整模型权重的机器学习方法。
决策树算法原理(三种最优属性划分方法)
决策树算法原理（三种最优属性划分方法）决策树是一种用于分类和回归的机器学习算法，其原理是基于历史数据进行学习，并通过一系列判断条件将数据集划分为不同的类别或者预测目标值。
决策树的主要思想是通过一系列属性值来对数据进行逐层划分，直到达到终止条件为止。
在每一次划分时，决策树需要选择最优的属性来进行划分，以使得划分后的数据纯度最高或者信息增益最大。
三种最优属性划分方法包括信息增益、增益率和基尼指数。
1.信息增益：信息增益是用来衡量划分后数据集纯度提高的程度。
它基于信息论中的熵的概念，计算的是划分前后数据集的信息熵之差。
信息熵可以衡量数据集的不确定性，即数据集中的混乱程度。
在选择划分属性时，我们希望划分后的数据集的不确定性最小，即使得信息增益最大。
2.增益率：增益率是信息增益的一种改进，用于解决信息增益在选择具有较多取值的属性上的偏好问题。
增益率通过考虑属性的分裂信息来衡量属性的纯度提升程度。
分裂信息反映了数据集分裂后的数据集的不确定性。
3.基尼指数：基尼指数是通过测量在给定数据集中随机选择一些样本后，错误分类该样本的概率。
基尼指数可以用于二分类或多分类问题。
在选择划分属性时，我们希望划分后的数据集的基尼指数最小，即使得纯度提高的程度最大。
以上三种最优属性划分方法在决策树学习的过程中都有着重要的应用。
在实际应用中，决策树算法可以通过先验知识或者经验来选择最优属性划分方法。
此外，由于决策树算法在高维数据上容易过拟合的问题，可以通过剪枝等技术来避免过拟合。
决策树算法的优势在于易于理解和解释，但也存在局限性，比如对于处理缺失数据、处理连续数据和处理类别不平衡等问题仍然存在挑战。
《决策树例题》课件(2024)
基于信息增益的决策树
通过计算每个特征的信息增益来选择 最佳划分特征，构建决策树。例如， 在二分类问题中，可以使用ID3算法 来构建决策树。
基于基尼指数的决策树
通过计算每个特征的基尼指数来选择 最佳划分特征，构建决策树。例如， 在二分类问题中，可以使用CART算 法来构建决策树。
剪枝策略
针对决策树过拟合问题，可以采用预 剪枝或后剪枝策略来优化决策树性能 。
输入 欠标采题样
从多数类样本中随机选择一部分样本，减少其样本数 量，使得正负样本数量平衡。例如Random UnderSampler算法。
过采样
代价敏感学 习
通过集成多个基分类器的结果来提高整体性能。例如 Bagging和Boosting方法。
集成学习方 法
为不同类别的样本设置不同的误分类代价，使得模型 在训练过程中更加关注少数类样本。例如AdaCost算 法。
剪枝策略
通过预剪枝或后剪枝策略，可以优化决策 树的性能，减少过拟合。
19
过拟合问题解决方案讨论
增加训练数据
更多的训练数据可以让模型学习 到更多的模式，减少过拟合。
使用集成学习方法
去除不相关或冗余的特征，可以 减少模型的复杂度，降低过拟合
风险。
2024/1/30
特征选择
通过添加正则化项，可以惩罚模 型的复杂度，防止过拟合。
模型构建：选择合适的 模型优化：针对不平衡
决策树算法（如ID3、 数据集问题，可以采用
C4.5、CART等）构建分 过采样、欠采样或代价
类模型，并采用交叉验 敏感学习等方法优化模
证等方法评估模型性能 型性能。同时，也可以
。
通过调整决策树参数（
如最大深度、最小样本
处理类别不平衡数据的机器学习方法
处理类别不平衡数据的机器学习方法在机器学习中，类别不平衡数据是指训练集中各个类别的样本数量存在较大的不平衡性。
这种情况在许多现实世界的问题中都很常见，例如罕见疾病的诊断、网络异常行为检测等。
由于数据不平衡可能导致模型的预测结果存在偏见，因此需要采用一些机器学习方法来处理这类问题。
本文将介绍一些常用的处理类别不平衡数据的机器学习方法。
一、采样方法采样方法是一种常见的处理类别不平衡数据的方法，它通过增加少数类样本或减少多数类样本的方式来平衡数据集。
常见的采样方法有过采样和欠采样。
1. 过采样过采样通过增加少数类样本的数量来平衡数据集。
其中一种常见的过采样方法是SMOTE（Synthetic Minority Over-sampling Technique），它通过在少数类样本之间进行插值来产生新的合成样本。
通过SMOTE生成的合成样本可以增加训练集的多样性，使得模型更好地识别出少数类样本。
此外，还有一些改进的SMOTE算法，如Borderline-SMOTE和ADASYN，它们都是在原始SMOTE算法的基础上做了改进，进一步提高了生成合成样本的质量。
2. 欠采样欠采样通过减少多数类样本的数量来平衡数据集。
一种常见的欠采样方法是随机欠采样，它从多数类样本中随机地删除一些样本使得多数类样本和少数类样本的数量接近。
然而，随机欠采样可能会导致丢失一些重要的多数类样本信息。
为了解决这个问题，我们可以使用一些基于聚类或决策边界的欠采样方法，例如NearMiss和ENN（Edited Nearest Neighbor）。
这些方法通过选择具有代表性的多数类样本来减少多数类样本的数量，从而保留了重要的多数类样本信息。
二、集成方法集成方法是将多个学习器进行组合以提高预测性能的方法。
在处理类别不平衡数据时，集成方法可以通过将少数类样本的重要性增加来提高预测模型对少数类样本的识别能力。
常见的集成方法有Bagging、Boosting和Stacking等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
用于欺诈检测的一种代价敏感决策树方法Yusuf Sahin a, Serol Bulkan b, Ekrem Duman ca Department of Electrical & Electronics Engineering, Marmara University, Kadikoy,34722 Istanbul, Turkeyb Department of Industrial Engineering, Marmara University, Kadikoy, 34722 Istanbul,Turkeyc Department of Industrial Engineering, Ozyegin, Cekmekoy, 34794 Istanbul, Turkey 关键词：代价敏感建模信用卡欺诈检测决策树分类可变误分类代价摘要：随着信息技术的发展，欺诈行为遍布世界各地，这导致了巨大的经济损失。
虽然诸如CHIP&PIN等欺诈预防机制已经被开发应用于信用卡系统，但这些机制并不能阻止一些最常见的欺诈类型，比如在虚拟POS机上的信用卡欺诈使用，或者是所谓的在线信用卡欺诈邮购。
所以，欺诈检测成为了一种必不可少的工具，并且可能是阻止此类欺诈类型的最佳方法。
在此次研究中，提出了一种全新的代价敏感决策树方法，它将在每个非叶节点选择分裂属性时最小化误分类代价之和，其在现实世界信用卡数据集上的性能可以与那些众所周知的传统分类模型相比较。
在这种分类方法中，误分类代价将取不同的值。
结果表明，在给定的问题集上使用已知的性能指标，比如准确度和真阳性率，此代价敏感决策树算法胜过现有公知的方法，而且针对特定的信用卡欺诈检测领域，还新定义了一种代价敏感指标。
因此，通过在欺诈检测系统中实施该方法，可以更好的减少由于欺诈交易造成的金融损失。
1.引言欺诈可以被定义为为了取得财务或个人利益的非法或刑事欺骗。
两种避免由于诈骗活动导致欺诈和损失的机制是欺诈预防以及欺诈检测系统。
欺诈预防是以防止欺诈行为发生为目标的主动机制。
欺诈检测系统在诈骗者越过欺诈预防系统并且开始一个欺诈交易时发挥作用。
有关欺诈领域以及检测技术的综述可以在Bolton and Hand (2002), Kou, Lu, Sirwongwattana, and Huang (2004), Phua, Lee, Smith, and Gayler (2005), Sahin and Duman (2010)的研究中找到。
其中最知名的欺诈领域是信用卡系统。
可以通过许多方法进行信用卡欺诈，如简单盗窃，申请欺诈，伪造卡片，从未达卡问题（NRI）以及在线诈骗（在持卡人不存在的情况下）。
在网络诈骗中，交易是通过远程完成的，并且只需要信用卡信息。
由于网络的国际可用性和易用性，用户可以在互联网交易中隐藏自身位置以及身份，所以通过该媒介发生的欺诈行为正在快速增长。
信用卡欺诈检测有很多以前已经完成的研究。
关于信用卡系统以及欺诈领域非技术性知识的一般背景可以分别从Hanagandi, Dhar, and Buescher (1996) and Hand and Blunt (2001)学习。
在这个领域中，最常用的欺诈检测方法有规则归纳技术，决策树，人工神经网络（ANN），支持向量机（SVM），逻辑回归以及诸如遗传算法的启发式算法。
这些技术可以单独使用，也可以通过集成以及元学习技术协同使用来构建分类器。
大多数信用卡欺诈检测系统在使用监督算法，比如神经网络（Brause, Langsdorf, & Hepp, 1999; Dorronsoro, Ginel, Sanchez, & Cruz, 1997; Juszczak, Adams, Hand, Whitrow, & Weston, 2008; Quah & Sriganesh, 2008; Schindeler, 2006; Shen, Tong, & Deng, 2007; Stolfo, Fan, Lee, Prodromidis, & Chan, 1997; Stolfo, Fan, Lee, Prodromidis, & Chan, 1999; Syeda, Zhang, & Pan, 2002; Prodromidis, Chan, & Stolfo, 2000），ID3、C4.5和C&RT一类的决策树技术（Chen, Chiu, Huang, & Chen, 2004; Chen, Luo, Liang, & Lee, 2005;Mena, 2003;Wheeler & Aitken, 2000）以及支持向量机（Gartner Reports, 2010; Leonard, 1993）。
信用卡欺诈检测是一个非常困难，但也很受欢迎的亟待解决的问题。
总是仅有有限数量有关犯罪交易的数据。
同时，也有可能存在诈骗者进行符合正常（合法）行为模式（Aleskerov, Freisleben, & Rao, 1997）的交易通过的情况。
此外，该问题还有很多限制。
首先，正常和诈骗行为的表现不断地改变。
其次，新欺诈检测方法的发展变得更加困难是由在欺诈检测中交换思想的事实造成的，尤其是信用卡欺诈检测因为安全和隐私问题被严格限制。
第三，数据集不一定是可用的，其结果往往是截尾的，这使得它们难以评估。
甚至，一些研究使用合成产生的数据进行（Brause等, 1999; Dorronsoro 等, 1997）。
第四，信用卡欺诈数据集是高度倾斜集。
最后，该数据集正在不断发展，使得正常和诈骗行为的表现总是在变化（Bolton & Hand, 2002; Kou等, 2004; Phua et al., 2005; Sahin & Duman, 2010）。
因此，信用卡欺诈检测仍然是一个流行的，具有挑战性以及困难的研究课题。
Visa关于欧洲国家的信用卡欺诈报告指出在2008年，大约50%的信用卡欺诈损失是由于在线欺诈（Ghosh & Reilly, 1994）。
许多文献报道了大量不同国家的损失（Bolton & Hand, 2002; Dahl, 2006; Schindeler, 2006）。
因此，新方法提高了在这一领域的分类器性能兼有经济意义与研究贡献。
基于这个领域的特性，定义一个新的代价敏感方法是改善的最佳途径之一。
虽然传统的机器学习技术在许多分类问题上一般是成功的，但是具有高准确度或最小化误分类误差并不总是开发分类器的目标。
在现实世界的机器学习问题领域的应用中，有各种类型的代价参与，Turney定义了其中的九种主要类型（Turney, 2000）。
然而，大多数机器学习文献并不采取任何这些代价的考虑，仅仅剩下的一小部分考虑了误分类代价。
Turney还指出误分类误差的代价在分类中具有独特的地位（Turney, 2000）。
而根据ML-netll项目（European Network of Excellence in Machine Learning）的技术路线图，代价敏感学习据称是在机器学习研究的未来中一个非常流行的课题（Saitta, 2000; Zhou & Liu, 2006）。
因此，通过构建代价敏感分类器来改善分类器在欺诈检测系统中的性能是一个使大量经济损失恢复的最好办法。
此外，客户的忠诚度和信任度也将有所增加。
并且代价敏感分类器已经被证明能够有效处理类不平衡问题（Thai-Nghe, Gantner, & Schmidt-Thieme, 2010; Zhou & Liu, 2006）。
大量过去的研究是在恒定的误分类代价矩阵或者由一些恒定的合成误分类代价组成的代价矩阵上进行的；然而，每个假阴性（FN）具有它固有的独特的误分类代价。
因此，每个假阴性（FN）应当以某种方式排列来显示误分类代价的差异。
例如，具有较大交易量的或者更大可用额度的欺诈交易应该比具有较小数量或可用额度的更需要被检测。
恒定代价矩阵或者不变代价矩阵的组合不能描述这个场景。
所以，本研究是在可变误分类代价的分类问题工作中，将这样的情况纳入考虑的开拓者之一。
这项研究的目的是填补信用欺诈检测文献的一项空白。
在此研究中，开发了一个新的代价敏感决策树归纳算法，它将在树的每个非叶节点选择分裂属性时最小化误分类代价之和，并且分类性能可以与那些无论是代价不敏感还是代价敏感的具有固定误分类代价率的传统分类方法相比较，比如传统决策树算法，人工神经网络和支持向量机。
结果表明，就诈骗交易的辨别和防止可能的损失量而言，这个代价敏感决策树算法在我们现实世界数据集上的表现优于现有公知的方法。
在信用卡欺诈检测中，误分类代价以及欺诈的优先序基于个人记录来区别不同。
其结果是，常见的性能指标，如准确率，真阳性率（TPR）或者甚至曲线下面积（AUC）并不适合评估模型的性能，因为它们接受每个欺诈是具有相同优先级，不管欺诈交易量或者当时交易中用卡的可用信用额度是多少。
应该使用一个使用有意义的方式按序排列欺诈交易以及检查模型在最小化总经济损失时性能的全新性能指标。
一旦诈骗者得到使用信用卡进行诈骗交易的机会，他们通常消耗完一张信用卡的可用信用额度。
因此，一个欺诈交易的经济损失可以假定为交易前卡的可用信用额度，而不是交易的数量。
这样，模型在测试集上的性能比较可以使用新定义的代价敏感性能指标挽回损失率（SLR），也就是从欺诈交易中信用卡可用额度之和的潜在经济损失中挽回的百分比。
为了显示我们观点的正确性，在模型性能的比较中，代表模型性能的真阳性率（TPR）的值也会给出。
本文的其余部分安排如下：第二章节给出机器学习中代价敏感方法的回顾；第三章节给出对于信用卡数据的结构的一些见解；第四章节给出新开发的代价敏感决策树算法的细节；第五章节给出结果以及对结果的简短讨论；第六章节总结本研究。
2.机器学习中的代价敏感方法有不同方法用于构建将代价敏感性考虑在内的分类模型。
第一个通过改变过采样或欠采样的训练数据分布来建立代价敏感分类模型，使得该集合中数据的代价可以表现出例子的形态。
一些研究试图通过分层来克服误分类代价问题；以及当数据集不平衡时复制或丢弃样本（Japkowicz, 2000; Kubat & Matwin, 1997）。
然而，这些研究人员假设代价矩阵的内容是固定的数字，而不是依赖记录的值。
研究人员如Domingos 试图建立像MetaCost的机制去将代价不敏感分类器转换为代价敏感分类器（Domingos, 1999; Elkan, 2001）。