基于逻辑回归的信用评分卡建模研究
如何使用逻辑回归模型进行信用评分(Ⅲ)
信用评分是金融领域中一个重要的课题。
通过对个人或机构的信用状况进行评估，可以帮助金融机构更好地管理风险，提供更精准的信贷服务。
逻辑回归模型是一种常用的统计分析方法，可以用来对信用评分进行建模和预测。
本文将介绍如何使用逻辑回归模型进行信用评分，并探讨其应用和局限性。
数据准备在使用逻辑回归模型进行信用评分之前，首先需要进行数据准备。
通常，我们需要收集个人或机构的各种信息，比如年龄、收入、负债情况、征信记录等。
这些信息将作为自变量，用来预测被评估对象的信用状况。
此外，我们还需要有一个标签变量，即被评估对象的信用等级或分类。
通过收集大量的数据，并进行清洗和处理，我们就可以开始建立逻辑回归模型了。
模型建立在数据准备工作完成后，接下来就是建立逻辑回归模型。
逻辑回归是一种广泛应用于分类问题的统计方法，它可以用来预测某个事件发生的概率。
在信用评分中，我们可以将逻辑回归模型应用于评估个人或机构的信用等级。
通过对历史数据进行训练，模型可以学习到不同变量对信用等级的影响，并进行预测。
模型应用建立好逻辑回归模型后，我们就可以将其应用于实际的信用评分工作中。
通过输入被评估对象的各项信息，模型可以计算出其信用等级的预测概率。
这将帮助金融机构更准确地评估风险，对不同的客户提供个性化的信贷服务。
同时，逻辑回归模型还可以帮助机构监测信用状况，及时发现风险，做出相应的应对措施。
模型评估在使用逻辑回归模型进行信用评分时，我们还需要对模型进行评估。
这包括模型的准确性、稳定性和可解释性等方面。
通过对模型进行评估，我们可以了解其对信用评分的预测能力，并进行必要的调整和优化。
在评估模型时，我们还需要注意模型的局限性，比如数据样本的不平衡、变量的缺失等问题，这些都可能影响模型的准确性和稳定性。
应用与局限逻辑回归模型在信用评分中有着广泛的应用，但也存在一定的局限性。
比如，逻辑回归模型假设自变量与因变量之间是线性关系，这在实际情况下并不一定成立。
基于AHP-Logistic模型的信用卡客户信用评分系统设计与应用研究
风险管理
Abstract
At present, China's credit card business is developing rapidly. The scale of card issuance is increasing. The credit card business has gradually become an important source of profit for commercial banks. The credit card business still has a large market waiting for development in China. The future development potential is huge. With the rapid development of credit card business, the credit card risk problem has become increasingly serious, including credit card fraud, malicious overdrafts and theft of credit cards and other criminal events. This directly affects the further development of the credit card business. Therefore, how to improve credit card risk management, including the establishment of a scoring model and a scientific risk management system has become the first problem to be solved in the development of credit card business in China. At present, China’s financial market has entered a free market state. Major banks have focused their competition on retail banking business. Among them, the credit card business is particularly fiercely competitive. The characteristics of credit card business are high risk and high returns, so how to control risk? To the minimum, to maximize profits is a key issue in China's credit card business.
基于逻辑回归的信用评级模型研究
基于逻辑回归的信用评级模型研究近年来，随着互联网金融的发展，人们越来越关注个人信用评级。
在金融业中，信用评级是非常重要的一环。
因此，金融机构一直在寻找有效的方法来评估个人的信用水平。
最近，基于逻辑回归的信用评级模型受到研究者的关注。
本文将介绍逻辑回归、信用评级以及基于逻辑回归的信用评级模型的研究。
一、逻辑回归逻辑回归是从线性回归衍生而来的一种分类算法。
在逻辑回归中，我们通过构建一个逻辑函数来将数据分为两个不同的类别。
逻辑函数通常采用Sigmoid函数：$$g(z)=\frac{1}{1+e^{-z}}$$其中，z是一个实数。
Sigmoid函数的范围在[0,1]之间，可以用来表示概率。
在逻辑回归中，我们假设将超过0.5的样本标签分类为1，将小于0.5的样本标签分类为0。
逻辑回归的决策边界是一条（n-1）维超平面，其中n是特征数量。
逻辑回归具有以下优点：1.简单易懂，易于实现2.计算速度快，可以处理大规模数据3.可以输出具有概率意义的结果逻辑回归的缺点是：1.容易受到噪声和异常值的影响2.只能处理线性可分的数据二、信用评级信用评级是一种评估个人信用水平的方法。
在金融机构中，信用评级可以用来确定借款人是否有能力偿还贷款。
信用评级中通常包括以下指标：1.个人收入和资产情况2.个人借贷历史3.个人支付记录4.个人个人身份信息信用评级的目的是为了判断个人是否能够承担特定的风险。
因此，评级与贷款利率息息相关。
通常来说，信用评级越高，利率就越低。
三、基于逻辑回归的信用评级模型基于逻辑回归的信用评级模型是一种通过逻辑回归算法来评估个人信用水平的模型。
预测个人信用水平是一个二元分类问题，所以逻辑回归模型是最适合的。
在构建模型之前，我们需要进行数据预处理。
通常采用特征筛选和特征缩放方法，去除冗余信息和缩小不同特征之间的影响。
对于筛选的特征，我们可以采用相关性和互信息等方法进行评估。
对于缩放的特征，我们可以采用标准化和归一化等方法，将所有的特征统一到相同的尺度。
基于Logistic回归模型的中小企业信用评分研究的开题报告
基于Logistic回归模型的中小企业信用评分研究的开题报告研究背景与意义：随着科技进步和市场经济的发展，中小企业在社会经济生活中扮演着越来越重要的角色，对于推动经济社会的发展具有不可替代的作用，而这些中小企业的信用评分则是判断中小企业能否获得银行贷款、是否具备合作伙伴资格、招标标的的重要依据。
然而，当前中小企业信用评分的研究成果并不多，而且目前的评分也主要是通过经验判断和人工评估两种方式得出，这种方法带有更多主观性和不可控性，评分结果的不确定性很高。
因此，基于Logistic回归模型的中小企业信用评分研究应运而生。
研究内容：该研究将选取一些中小企业的信用评分数据，并对数据进行收集整理。
之后，将运用Logistic回归模型对这些数据进行建模研究，确定出对中小企业信用评分有影响的主要因素，例如公司的管理情况、经济状况、法律责任情况等等。
最后，将得出该模型的精确度和可靠性，并且比较该模型所得的中小企业信用评分与传统的信用评分方法的差异。
研究方法：本研究将采用文献资料调研法和问卷调查法来收集和整理中小企业的信用评分数据，并运用Logistic回归模型来建立中小企业信用评分预测模型。
文献资料调研法通过大量阅读、归纳和总结相关文献和材料，了解中小企业信用评分的状况和研究现状，反映业内对中小企业信用评分的基本认识。
问卷调查法则对企业进行实地考察，采用多个问题对企业进行访问，收集中小企业的实际情况。
通过对这些数据的分析，可以进一步提高模型的可信度，得出更精准的评分结果。
研究预期结果：本研究预计将得出一套基于Logistic回归模型的中小企业信用评分预测模型，并从各个方面来验证其准确度和可靠性。
最终，将得出一些结论和建议，以便于现实中的中小企业更好的应对信用评分的风险和挑战，同时同样可以对金融机构、政府监管机构提出一些改善和完善信用评分机制的建议。
基于XGBoost_机器学习模型的信用评分卡与基于逻辑回归模型的对比
第 42 卷第 6 期2023年 11 月Vol.42 No.6Nov. 2023中南民族大学学报（自然科学版）Journal of South-Central Minzu University（Natural Science Edition）基于XGBoost机器学习模型的信用评分卡与基于逻辑回归模型的对比张利斌，吴宗文（中南民族大学经济学院，武汉430074）摘要分别基于逻辑回归模型和XGBoost机器学习模型构建了信用评分卡，比较了两种模型在个人信用评分上的表现，指出XGBoost机器学习模型在“AUC、KS、F1和Accuracy值”上表现更加优秀.首先，从数据的包容性、可解释性以及模型的准确性方面对两个模型进行了对比；其次，使用住房贷款违约风险预测的竞赛数据，分别构建了基于逻辑回归模型和XGBoost机器学习模型的信用评分卡，并使用了AUC、KS、F1和Accuracy来评估这两个模型的分类效果和预测准确程度；最后，通过对比两个模型的评估结果，分析了XGBoost机器学习模型相较于逻辑回归模型更加优秀的原因.结论指出：XGBoost机器学习模型在测试集上的AUC、KS、F1和Accuracy值比逻辑回归模型分别提升了19.9%、17.5%、15.4%和11.9%，其原因在于XGBoost机器学习模型纳入了更多的维度信息、更加科学的缺失值处理方式以及考虑了正则化项的算法原理.关键词逻辑回归模型；XGBoost机器学习模型；信用评分卡中图分类号TP181；F832.51 文献标志码 A 文章编号1672-4321（2023）06-0846-07doi：10.20056/ki.ZNMDZK.20230616Credit scoring card based on XGBoost machine learning modelCompared with logistic regression modelZHANG Libin，WU Zongwen（School of Economics， South-Central Minzu University， Wuhan 430074， China）Abstract A credit scoring card based on logistic regression model and XGBoost machine learning model are constructed respectively. The performance of the two models are compared in personal credit scoring，and it is pointed out that XGBoost machine learning model performs better in “AUC， KS， F1 and Accuracy values”. Firstly， a comparative analysis of the two models is made from the aspects of data inclusiveness， interpretability and model accuracy. Secondly， using the competition data of housing loan default risk prediction，credit scoring cards based on logistic regression model and XGBoost machine learning model are constructed respectively， and AUC， KS， F1 and Accuracy are used to evaluate the classification effect and prediction accuracy of the two models. Finally，by comparing the evaluation results of the two models，the reason why XGBoost machine learning model is better than logistic regression model is analyzed. The conclusion points out that the values of AUC， KS， F1 and Accuracy of XGBoost machine learning model in the test set are increased by 19.9%， 17.5%， 15.4% and 11.9% respectively compared with logistic regression model. The reason is that XGBoost machine learning model includes more dimensional information， more scientific missing value processing method and better algorithm principle considering regularization term.Keywords logistic regression model； XGBoost machine learning model； credit score card在金融风控领域，如何根据贷款客户的基本信息和行为数据等，利用一定的分类模型，将贷款客户区分为违约客户和非违约客户，从而减少贷款机构的信用风险，是金融贷款机构孜孜不倦的追求.收稿日期2022-03-15作者简介张利斌（1973-），男，教授，博士，研究方向：产业经济学，E-mail：*****************基金项目中南民族大学研究生创新基金项目资助项目（3212021sycxjj195）第 6 期张利斌，等：基于XGBoost机器学习模型的信用评分卡与基于逻辑回归模型的对比当前有两种主流分类模型——统计学模型和机器学习模型.逻辑回归模型是最常用的统计学模型，其优点主要体现在：第一，理论基础成熟，适合二分类问题［1］；第二，可解释性较强，易于理解［2］；第三，模型训练时间短［3］.缺点主要体现在：第一，容易产生过拟合，泛化能力弱［4］；第二，特征空间很大时，分类性能不好［5］.近年来，XGBoost机器学习模型在分类问题中表现优秀，受到越来越多风控人员的青睐，其优点主要体现在：第一，计算复杂度低，运行速度快，准确度高［6］；第二，可处理数据量大［7］.缺点主要体现在：第一，建模过程不透明，模型较难解释［8］；第二，理论基础不够成熟，布置上线较困难［9］.在分类模型的评价方面，当前学者主要使用AUC、KS、F1和Accuracy值等来评价逻辑回归模型和XGBoost机器学习模型的效果，并指出XGBoost 机器学习模型比逻辑回归模型在AUC、KS、F1和Accuracy值上表现更加优秀，但是并未解释更加优秀的原因.本文拟从维度信息的损失程度、缺失值的处理方式以及模型的算法原理三方面来解释其中的原因.1 模型对比1.1 逻辑回归模型逻辑回归模型［10］是线性回归模型的改进，是一种“广义的线性回归模型”，该模型是分类问题中最常用的统计学模型.逻辑回归模型的一般形式见式（1）所示，如下：f(x)=11+e-()β0+β1x1+β2x2+⋯+βn x n，（1）其中，β0~βn为模型的估计参数，x1~x n为模型的变量.在金融风控领域，以贷款客户的违约与否作为逻辑回归模型的因变量，一般称为“非违约客户”和“违约客户”，用0或1来表示，即f(x)<0.5为0；f(x)>0.5为1.1.2 XGBoost机器学习模型XGBoost机器学习模型［11］比传统的GBDT （Gradient Boosting Decision Tree，以下简称GBDT）更加进步的原因在于：传统的GBDT只利用了一阶的导数信息，而XGBoost机器学习模型对损失函数进行了二阶的泰勒展开，求得模型最优解的效率更高.具体如下：将XGBoost机器学习模型进行t次迭代之后，此时的目标函数为：L()t=∑i=1n l()yiyit-1+f t(x i)+Ω(f t)，（2）将目标函数进行泰勒二阶展开可得：L t≈∑i=1néëêêùûúúl()yi，y i(t-1)+g i f t(x i)+12h i f2t()x i+Ω(f t)，（3）gi=∂y(t-1)l(y t，y∧(t-1))为每个样本的一阶导数，12h i=12∂2y(t-1)l(y i，y∧(t-1))为每个样本的二阶导数.1.3 模型优缺点逻辑回归模型和XGBoost机器学习模型的优缺点如表1所示.相较于XGBoost机器学习模型，逻辑回归模型更加方便实现，并且可解释强；XGBoost 机器学习模型在处理大数据时精度更高，并且可以有效防止过拟合.2 实证分析本文的实证分析思路如下：首先，分别运用逻辑回归模型和XGBoost机器学习模型来构建信用评分卡，并运用AUC、KS、F1和Accuracy这四个指标评估模型的效果.其次，从维度信息的损失程度、缺失值的处理方式以及模型的算法原理三个方面对比两个模型，分析XGBoost机器学习模型比逻辑回归表1 逻辑回归模型和XGBoost机器学习模型的优缺点Tab. 1 Advantages and disadvantages of logistic regression model and XGboost machine learning model模型逻辑回归模型XGBoost机器学习模型优点适用于二分类问题简单易理解，可解释性强训练速度快精度高能有效处理缺失值能有效防止过拟合缺点对自变量的多重共线性表现敏感特征空间很大时，分类性能不好容易产生过拟合，分类精度不高建模不透明，不易理解处理低偏差、高方差的数据效果不好847第 42 卷中南民族大学学报（自然科学版）模型更加优秀的原因.2.1 逻辑回归模型2.1.1 数据介绍实验数据来自于kaggle 官网（https ：//www./c/home -credit -default -risk/overview ）的住房贷款违约风险预测的竞赛数据.本文的实验数据集包括20000个训练数据和5000个测试数据，其中实验数据集共有121列，包括个人基本信息、所在地区情况、借贷信息状况以及公司相关状况等.本文为更好地解释实证部分，将实验数据集的英文变量翻译为中文变量，如表2所示.2.1.2 数据预处理（1） 无效值处理原始数据表中的SK_ID_CURR 变量在实际建模中的用处不大，且包含用户的隐私信息，故需直接删除.（2） 缺失值处理根据jupyter 分析软件可得，121个变量中共有65个有缺失值.其中，共有57个变量的缺失比例大于10%，将其直接删除，对剩余的缺失变量做相应的填充处理，具体处理方式如表3所示.2.1.3 入模变量筛选对逻辑回归模型来说，入模变量的选择至关重要.本文选择WOE 分箱、IV 值筛选法以及相关性检测相结合的方法筛选入模变量，具体思路如下：首先，根据变量的阈值以及业务趋势进行WOE 分箱；其次，根据WOE 分箱计算变量的IV 值，筛选IV 值大于0.3的变量（IV 值大于0.3有较高的预测能力）；最后，对IV 值大于0.3变量进行相关性检测，剔除相关性大于0.5中IV 值较小的那个变量.一般来说，建立逻辑回归模型只需选择10~12个变量［12］.本文选择IV 值排名靠前且通过相关性检测的11个变量作为入模变量，具体如表4所示.2.1.4 逻辑回归模型的建立根据SPSS 软件，确定x 1~x 11各变量的估计参数，从而建立逻辑回归模型，具体表达式如（4）式所示：f (x )=11+e -()-1.132+0.535x1+0.462x 2+0.769x 3+0.713x 4+0.976x 5+0.875x 6+0.568x 7+0.760x 8+0.375x 9+0.179x 10+0.268x 11，（4）表2 变量解释表Tab. 2 Variable interpretation英文变量名称TARGETNAME_EDUCATION_TYPE AMT_INCOME_TOTAL DAYS_EMPLOYED DAYS_BIRTH FLAG_OWN_REALTYREGION_RATING_CLIENTREG_CITY_NOT_WORK_CITYFLAG_OWN_CAR FLAG_MOBILNAME_INCOME_TYPENAME_FAMILY_STATUSREGION_RATING_CLIENT_W_CITYCODE_GENDER AMT_CREDITNAME_HOUSING_TYPEDEF_30_CNT_SOCIAL_CIRCLE…DEF_60_CNT_SOCIAL_CIRCLE REG_CITY_NOT_LIVE_CITY BASEMENTAREA_AVG ORGANIZATION_TYPE中文变量名称违约情况教育程度收入就业年数年龄不动产拥有情况所在地区评级常驻地址和工作地址匹配情况车辆情况家庭电话提供情况收入类型家庭状况所在城市的评级性别贷款金额住房情况违约60天的天数…违约30天的天数常驻地址和联系地址匹配情况房屋的面积大小公司的组织情况解释0：正常还款；1：违约客户受教育程度客户的年总收入申请人就业年数客户申请贷款时的年龄Y ：有；N ：没有1：最高；2：中等；3：较差1：相同；0：不相同（城市级别匹配）Y ：有；N ：没有1：有；0：没有客户的收入类型客户的家庭状况1：最高；2：中等；3：较差F ：女；M ：男客户的贷款金额客户的住房情况（租房or 与父母同住）客户违约30天的次数…客户违约60天的次数1：相同；0：不相同（城市级别匹配）客户居住房屋的面积大小客户工作的组织类型848第 6 期张利斌，等：基于XGBoost 机器学习模型的信用评分卡与基于逻辑回归模型的对比其中x i (i =1⋯11)为11个入模变量；f (x )为预测结果.2.1.5 信用评分卡的建立根据传统的信用评分机制，可以制作信用评分卡，标准的信用评分卡如表5所示.表中，A 、B 为假设的基础分值，本文设为500和50，θ0~θn 为x 1~x n 的估计参数，ω11~ωnk n为x 1~x n 各分量的WOE 值.根据评分转换原理，计算出11个入模变量的各分量得分值，具体结果如表6所示.利用表6的信用评分卡对5000个测试集样本进行评分转换，得测试集样本的最终得分情况见表7.从表7的得分情况可以看出，随着用户得分的上升，高分段的坏样本占比呈现出不断下降的趋势，这也说明了信用评分卡可以较好地识别信用风险.2.1.6 模型的效果评价对于分类模型而言，可以从分类能力和预测的准确程度来评价模型的效果.一般来说，使用AUC 和KS 来评估模型的分类能力以及F1和Accuracy 来评估模型的预测准确程度［13］.通过对训练集和测试集的样本测试，得到相关的评价指标如表8所示.从表8可以看出该模型在测试集上拥有0.7294的AUC 和0.5378的KS ，这表示模型具有较好的分类能力.同时该模型在测试集上拥有0.8218的F1和0.8325的Accuracy ，这表示模型具有较高的预测准确程度.2.2 XGBoost 机器学习模型2.2.1 朴素的XGBoost 机器学习模型首先，用训练数据来建立默认参数下的XGBoost 机器学习模型；其次，对所构建的XGBoost 机器学习模型进行效果评价.具体结果如表9所示.由表9可知，在没有超参数约束的情况下，XGBoost 机器学习模型在训练集上完全拟合，而在测试集上的表现相对一般，这表明该模型的泛化能力较弱.造成这种现象的原因是XGBoost 机器学习模型是基于决策树的集成模型，如果不限制其增表3 缺失变量处理表Tab. 3 Missing variable processing table 变量名称COMMONAREA_AVGCOMMONAREA_MODE COMMONAREA_MEDINONLIVINGAPARTMENTS_AVGNONLIVINGAPARTMENTS_MODE …AMT_REQ_CREDIT_BUREAU_HOUR AMT_REQ_CREDIT_BUREAU_DAYAMT_REQ_CREDIT_BUREAU_WEEK NAME_TYPE_SUITEOBS_30_CNT_SOCIAL_CIRCLE DEF_30_CNT_SOCIAL_CIRCLE OBS_60_CNT_SOCIAL_CIRCLEDEF_60_CNT_SOCIAL_CIRCLEEXT_SOURCE_2AMT_GOODS_PRICEDAYS_LAST_PHONE_CHANGE缺失比例0.699250.699250.699250.693550.69355…0.134700.134700.134700.004150.003600.003600.003600.003600.002500.000750.00005处理方式删除变量删除变量删除变量删除变量删除变量…删除变量删除变量删除变量众数填充中位数填充中位数填充中位数填充中位数填充中位数填充中位数填充中位数填充表5 标准评分卡Table. 5 Standard score card变量基准点x 1x 2…x n WOE 分箱—12…k 112…k 2 (12)…k n分值(A -Bθ0)-(Bθ1ω11)-(Bθ1ω12)…-(Bθ1ω1k)-(Bθ2ω21)-(Bθ2ω22)-(Bθ2ω2k)…-(Bθn ωn 1)-(Bθnωn 2)…-(Bθn ωnk)表4 入模变量表Table. 4 Molding variables变量教育程度（x 1）收入（x 2）就业年数（x 3）年龄（x 4）不动产拥有情况（x 5）所在地区评级（x 6）常驻地址和工作地址匹配情况（x 7）车辆情况（x 8）家庭电话提供情况（x 9）收入类型（x 10）家庭状况（x 11）IV0.96300.92130.89760.84320.81340.75030.74180.72120.70190.68180.6745相关性检测全部变量均通过相关性检测849第 42 卷中南民族大学学报（自然科学版）长，它可以学习到适应所有训练样本的规则.但是如何提高该模型在测试集上的表现，才是我们真正所关心的，因此需要对模型进行调参优化.2.2.2 调优的XGBoost机器学习模型XGBoost的超参数可以归为三个核心部分：通用参数，Booster参数和任务参数［14］.本文在通用参数、Booster参数以及学习目标参数这三类参数的具体选择如表10所示.本文使用网格搜索交叉验证得到的最优超参数为：eta为0.02，min_child_weight为2，gamma=0.2，max_depth为5，num_boost_round为110.使用该参数组合的XGBoost机器学习模型对训练数据和测试数据进行效果评价，具体结果如表11所示.从表11可以看出，该模型在测试集上拥有0.8746的AUC和0.6318的KS，这表示模型具有很好的分类能力.同时该模型在测试集上拥有0.9487的F1和0.9318的Accuracy，这表示模型具有很高的预测准确程度.将该模型与朴素的XGBoost机器学习模型在测试集上的表现进行对比，得到的结果如表12所示.从表12可知，调优的XGBoost机器学习模型相表8 模型结果评估Tab. 8 Evaluation of model results数据集训练集测试集分类能力评价AUC0.76820.7294KS0.55360.5378预测准确程度评价F10.83790.8218Accuracy0.84190.8325表9 朴素的XGBoost机器学习模型结果Tab. 9 Results of simple XGBoost machine learning model数据集训练集测试集分类能力评价AUC0.99620.8362KS0.99740.5546预测准确程度评价F10.99540.8871Accuracy0.99130.8916表6 基于逻辑回归模型的信用评分卡Tab. 6 Credit scoring card based on logistic regression model变量名称基础分值教育程度年龄常驻地址和工作地址收入类型WOE分箱—Lower secondarySecondary /secondary specialIncomplete higherHigher education20~4040~6060~80不相同相同WorkingCommercial associatePensionerState servantElse分值5576111419510133935321变量名称基础分值收入不动产拥有情况车辆情况家庭状况WOE分箱—<100000100000~200000200000~300000>300000有无无有MarriedSingle / not marriedCivil marriageSeparatedWidow分值55771013154112842431变量名称基础分值就业年数所在地区评级家庭电话提供情况WOE分箱—0~1010~2020~3030~50123否是分值5576101214491037表7 测试集样本得分情况统计Tab. 7 Statistics of sample scores of test set得分区间［599，609）［609，619）［619，629）［629，639）［639，649）［649，659）［659，669）［669，672］好样本132140645712865778712678坏样本3525535663473524总计167165698768928825747702好样本占比79%84.8%92.4%92.7%93.2%94.3%95.3%96.6%坏样本占比21%15.2%7.6%7.3%6.8%5.7%4.7%3.4%总体占比3.34%3.3%13.96%15.36%18.56%16.5%14.94%14.04%信用等级DCBA说明信用风险很高，不建议贷款有一定的信用风险，需要对资产和信誉做进一步评估后考虑是否贷款信用风险较低，需要对贷款的流向关注后考虑贷款信用风险极低，建议贷款850第 6 期张利斌，等：基于XGBoost 机器学习模型的信用评分卡与基于逻辑回归模型的对比比于朴素的XGBoost 机器学习模型，AUC 、KS 、F1和Accuracy 都有所提升，这说明调优后的XGBoost 机器学习模型更加优秀.2.2.3 信用评分卡的构建为了更加具体地观察调优的XGBoost 机器学习模型输出结果，本文考虑引入传统的信用评分机制，进而将机器学习模型输出的概率值转换为常见的信用评分值.通过对测试集样本的信用评分统计，具体的信用评分卡如表13所示.从表13可以看出，XGBoost 机器学习模型输出的概率值可以通过信用评分机制转换为信用评分值.随着得分的提高，好样本的占比逐渐提升，坏样本的占比逐渐降低，这说明所建立的信用评分卡能够较好地识别信用风险.2.3 模型对比分析根据上文的实验结果，将逻辑回归模型和调优的XGBoost 机器学习模型在测试集上的AUC 、KS 、F1和Accuracy 进行比较，如表14所示.从表14可以看出，XGBoost 机器学习模型在测试集上的AUC 、KS 、F1和Accuracy 均高于逻辑回归模型.通过对两种建模方式的比较，XGBoost 机器学习模型更加优秀的原因主要有以下三点：（1） 维度信息损失程度更低在建立逻辑回归模型，运用WOE 分箱、IV 值筛选法以及相关性检测相结合的方法从121个原始变量中挑选出11个变量来建立逻辑回归模型，该方法损失了较多的维度信息，仅列出Ⅳ最高的11个变量.然而，在建立XGBoost 机器学习模型时，将121个变量经过数据处理后全部输入到模型中，几乎没有原始数据的信息损失.单从数据维度来看，XGBoost 机器学习模型纳入更多的维度信息是机器学习模型相对于逻辑回归模型更加优秀的原因之一.（2） 缺失值的处理方式更加科学在建立逻辑回归模型时，一般删除缺失比例超表10 XGBoost 的调参参数Tab. 10 Adjusted parameters of XGBoost超参数通用参数Booster 参数学习目标参数参数标签booster=tree etamin_child_weight gamma max_depth num_boost_roundobject=binary ：logisticeval_metric ：auc ，ks ，f1，accuracy参数含义决策树学习率最小叶节点样本权值gamma 值基决策树最大深度迭代轮数逻辑回归算法误差评判标准参数作用使用决策树作为基学习器控制基学习器的特征权重更新大小控制基学习器的叶子节点分裂情况控制基学习器的叶子节点总数控制基学习器的最大深度控制算法的迭代次数控制每次迭代的目标损失函数评估模型的分类性能表12 朴素的XGBoost 与调优的XGBoost 机器学习模型对比结果Tab. 12 Comparison results of simple XGboost and optimizedXGboost machine learning models模型朴素的XGBoost 机器学习模型调优的XGBoost 机器学习模型AUC0.83620.8746KS0.55460.6318F10.88710.9487Accuracy 0.89160.9318表11 调优的XGBoost 机器学习模型结果Tab. 11 Results of optimized XGboost machine learning model 数据集训练集测试集分类能力评价AUC0.88690.8746KS0.65280.6318预测准确程度评价F10.95380.9487Accuracy 0.94190.9318表13 基于XGBoost 机器学习模型的信用评分卡Tab. 13 Credit scoring card based on XGBoost machine learning model输出概率（0.0，0.5］（0.5，0.6］（0.6，0.7］（0.7，0.8］（0.8，0.9］（0.9，1.0］得分区间（-∞，500］（500，509］（509，528］（528，558］（558，606］（606，+∞）好样本528755876985728660坏样本12510397814715总体6538589731066775675好样本占比/%80.8688.0090.0392.4093.9497.78坏样本占比/%19.1412.009.977.606.042.22总体占比/%13.0617.1619.4621.3215.5013.50信用等级D C B A说明信用风险很高，不建议贷款有一定的信用风险，需要对资产和信誉做进一步评估后考虑是否贷款信用风险较低，需要对贷款的流向关注后考虑贷款信用风险极低，建议贷款表14 逻辑回归模型与调优的XGBoost 机器学习模型对比结果Tab. 14 Comparison results between logistic regression model andoptimized XGboost machine learning model模型逻辑回归模型调优的XGBoost 机器学习模型AUC0.72940.8746KS0.53780.6318F10.82180.9487Accuracy 0.83250.9318851第 42 卷中南民族大学学报（自然科学版）过10%的缺失值，同时用众数填充类别型缺失变量和中位数填充连续型缺失变量，该方法有一定的人工干预，处理缺失值方式不够严谨.然而，XGBoost 机器学习模型采用内置算法处理数据的缺失值，该方法处理缺失值更加科学.单从缺失值的处理方式来看，XGBoost机器学习模型科学地处理缺失值是该模型相对于逻辑回归模型更加优秀的原因之一.（3） 模型的算法原理考虑了正则化项在建立逻辑回归模型时，没有考虑正则化项，导致该模型复杂度较高，有过拟合的风险，评估效果一般.然而，在建立XGBoost机器学习模型时，考虑了正则化项，降低了过拟合风险，评估效果得到了有效提升.单从模型的算法原理来看，XGBoost机器学习模型考虑了正则化项是该模型相对于逻辑回归模型更加优秀的原因之一.3 结论与思考本文比较了逻辑回归模型和XGBoost机器学习模型在信用评分卡构建中的具体表现，通过对比两个模型的AUC、KS、F1和Accuracy值，得出了以下结论：（1）逻辑回归模型在测试集上的分类效果以及预测准确程度不如XGBoost机器学习模型.逻辑回归模型的AUC、KS、F1和Accuracy均低于XGBoost 机器学习模型，这表明XGBoost机器学习模型在分类效果以及预测准确程度上均表现更优.（2）逻辑回归模型建模过程较XGBoost机器学习模型更易于理解.在建立逻辑回归模型时，通过特征筛选从121个变量中筛选出11个变量建立逻辑回归模型，该方法建模过程透明，易于理解.然而，XGBoost机器学习模型以编程和调整参数的形式来建立模型，具有一定的不透明性，不易于理解.（3）维度信息损失程度更低、缺失值的处理方式更加科学以及模型的算法原理更加科学（考虑了正则化项）是XGBoost机器学习模型相较于逻辑回归模型在分类效果以及预测准确程度上更加优秀的原因.如何融合逻辑回归模型和XGBoost机器学习模型，使其两者在风控领域可以优势互补，在提高模型效果的同时又增强解释能力？是值得我们下一步深入研究的问题.参考文献［1］WIGINTON，J C. A note on the comparison of logit and discriminant models of consumer credit behavior［J］. TheJournal of Financial and Quantitative Analysis， 1980， 15（3）： 757-770.［2］涂艳，王翔宇. 基于机器学习的P2P网络借贷违约风险预警研究——来自“拍拍贷”的借贷交易证据［J］. 统计与信息论坛， 2018， 33（6）： 69-76.［3］毛毅，陈稳霖，郭宝龙，等. 基于密度估计的逻辑回归模型［J］. 自动化学报， 2014， 40（1）： 62-72.［4］COSTA S E， LOPES I C， CORREIA A， et al. A logistic regression model for consumer default risk［J］. Journal ofApplied Statistics， 2020， 47（13-15）： 2879-2894.［5］周毓萍，陈官羽. 基于机器学习方法的个人信用评价研究［J］. 金融理论与实践， 2019（12）： 1-8.［6］CHEN T，GUESTRIN C. XGBoost：A scalable tree boosting system［J］. IEICE Transactions on Fundamentalsof Electronics， Communications and Computer Sciences，2016：785-794.［7］严武，冯凌秉，蒋志慧，等. 基于机器学习模型的P2P 网贷平台风险预警研究［J］. 金融与经济， 2019 （9）：18-25.［8］黄卿，谢合亮. 机器学习方法在股指期货预测中的应用研究——基于BP神经网络、SVM和XGBoost的比较分析［J］. 数学的实践与认识， 2018， 48（8）： 297-307.［9］WANG Kui，LI Meixuan，CHENG Jingyi；et al.Research on personal credit risk evaluation based onXGBoost［J］. Procedia Computer Science Volume， 2022，199： 1128-1135.［10］洪文洲，王旭霞，冯海旗. 基于Logistic回归模型的上市公司财务报告舞弊识别研究［J］. 中国管理科学，2014，22（S1）：351-356.［11］王重仁，韩冬梅. 基于超参数优化和集成学习的互联网信贷个人信用评估［J］. 统计与决策， 2019，35（1）：87-91.［12］刘志惠，黄志刚，谢合亮. 大数据风控有效吗——基于统计评分卡与机器学习模型的对比分析［J］. 统计与信息论坛， 2019， 34（9）： 18-26.［13］张佳倩，李伟阮，素梅. 基于机器学习的贷款违约风险预测［J］. 长春理工大学学报（社会科学版）. 2021，34（4）：105-111.［14］周庆岸. 基于遗传XGBoost模型的个人网贷信用评估研究［D］. 南昌：江西财经大学，2019.（责编&校对雷建云）852。
基于机器学习的个人信用评分模型研究与优化
基于机器学习的个人信用评分模型研究与优化随着金融行业的发展和普及，个人信用评分模型日益重要。
准确预测个人的信用风险，对于商业机构能够更好地进行风险管控和决策制定至关重要。
因此，基于机器学习的个人信用评分模型的研究与优化成为了近年来的热点之一。
本文将介绍基于机器学习的个人信用评分模型的研究进展，并进行相关优化的探讨。
一、机器学习在个人信用评分模型中的应用个人信用评分模型的主要目的是根据个人的基本信息和历史数据，预测该个人未来的信用表现。
机器学习作为一种强大的预测建模工具，被广泛应用于个人信用评分模型中。
常见的机器学习算法包括逻辑回归、支持向量机、决策树、随机森林和神经网络等。
逻辑回归是一种广泛应用于分类问题的机器学习算法。
在个人信用评分模型中，逻辑回归可以根据个人的历史数据和基本信息，生成一个代表个人信用分数的预测模型。
支持向量机则是一种可以解决线性和非线性分类问题的机器学习算法，它可以通过构建一个最优的超平面，将不同类别的样本分开。
决策树和随机森林则是一种基于树结构的机器学习算法，它们可以根据一系列特征对个人进行分类。
神经网络则是一种模拟人脑神经网络结构的机器学习算法，可以通过训练来学习和预测个人信用。
二、个人信用评分模型的优化方法尽管机器学习在个人信用评分模型中的应用已经取得了一定的成功，但仍然面临许多挑战和问题。
为了进一步提高个人信用评分模型的准确性和效果，可以采用以下优化方法。
1. 特征工程特征工程是个人信用评分模型中的重要环节。
通过选择合适的特征，可以提高模型对于个人信用的预测能力。
在特征选择时，应该关注与个人信用相关的因素，例如个人的收入、工作稳定性、还款记录等。
同时，还可以使用统计方法或者领域经验来筛选和组合特征，构建更加有意义和有效的特征集合。
2. 数据预处理数据预处理是个人信用评分模型中的另一个关键步骤。
由于原始数据可能存在缺失值、异常值、不平衡等问题，需要对数据进行处理，以确保模型的准确性和稳定性。
logistics回归模型评分卡原理 -回复
logistics回归模型评分卡原理-回复Logistic回归模型评分卡原理在信用风险评估领域，评分卡是一种常见的评估工具，用于确定个体客户的信用风险等级。
而Logistic回归模型是用于预测二元因变量的统计模型，可以将这两者结合使用，构建Logistic回归模型评分卡。
本文将详细介绍Logistic回归模型评分卡的原理及其应用步骤。
一、Logistic回归模型原理Logistic回归模型是用于解决二分类问题的一种机器学习模型，其基本思想是通过拟合一个回归方程，将输入特征与输出的概率联系起来。
Logistic 回归模型使用的是Logistic函数，也称为Sigmoid函数，将线性函数的输出映射到0到1之间的概率。
二、评分卡原理评分卡是一种常见的信用评分工具，用于根据个体客户的特征来确定其信用等级。
评分卡根据变量的重要性和贡献度，为每个变量赋予一个分值，并将这些分值相加得到最终的信用评分。
三、构建Logistic回归模型评分卡步骤构建Logistic回归模型评分卡主要分为以下几个步骤：1. 数据准备：收集并整理相关数据，包括自变量和因变量。
自变量可以是客户的个人信息、财务状况、历史信用记录等。
因变量是一个二元变量，表示客户的信用风险等级。
2. 数据预处理：对数据进行预处理，包括处理缺失值、离群值、变量标准化等。
特别是对于类别型变量，还需要进行编码处理，将其转化为数值型变量。
3. 模型训练：使用Logistic回归模型对数据进行训练和拟合。
通过最大似然估计求解模型的参数，从而使模型能够准确地预测因变量。
4. 特征选择：选择对因变量有显著影响的自变量，并剔除掉对模型没有贡献的变量。
可以使用统计方法（如t检验、方差分析）或特征选择算法（如递归特征消除、L1正则化）进行特征选择。
5. 模型评估：评估模型的性能和预测准确度。
可以使用混淆矩阵、ROC 曲线、KS统计量等指标评估模型的准确性。
6. 评分卡构建：根据模型的系数，为每个自变量赋予相应的分值。
基于逻辑回归的商业银行客户信用评级研究
学术论坛
科 技资讯 2019 NO.03
SCIENCE & TECHNOLOGY INFORMATION
DOI：10.16661/ki.1Βιβλιοθήκη 72-3791.2019.03.255
函数为：
m
m
∏ ∏ K = p( yi ) = p(xi )yi [1− p(xi )]1−yi
i =1
i =1
(5)
建立对数似然函数：
m
∑ ln K =
(6) [ yi
(β0
+
β1 xi1
+
β2 xi2
+ β p xip
)
−
ln(1 +
eβ0
+
β1
xi1
+
β2
xi
2
+β
p
xip
)]
i =1
上式分别对β0，β1，...，βp求偏导，求得使得对数似然
2011(9):31. [4] (美)RichardO.Duda,著.模式分类[M].北京:机械工业出
版社,2003.
(上接254页）
增加，不共点只共线的开放面2，重复第二种结构第二（或 三）开放面的性质。既不共点也不共线的开放面3，重复开 放面1的属性特征，即重复开放面1的颜色，以此类推，在这 种结构下无论数量多少则最多需要3种颜色。
线性回归分析模型，在数据挖掘、经济预测等领域有着广泛的应用。该文采用统计学建模方法，将逻辑回归模型应用于农
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于逻辑回归的信用评分卡建模研究
一、引言
随着金融业的发展和数据技术的飞速发展，信贷业务已经成为
银行业务中的一个重要组成部分。
而信用评估则成为了信贷业务
中的核心问题。
信用评估不仅能够为银行提供有力的决策支持，
而且还能够提高信贷业务的风险控制水平。
而在信用评估中，信
用评分卡建模是一种广泛采用的方法，其依靠客户历史数据，建
立基于逻辑回归模型的评分卡，对客户进行信用评估。
本文将深
入研究基于逻辑回归的信用评分卡建模方法。
二、信用评分卡建模基本流程
信用评分卡建模的基本流程如下：
1.数据收集：从客户历史记录中收集相关数据，包括个人基本
信息、贷款历史、还款历史等。
2.数据清洗：对数据进行清洗和处理，包括数据修正、剔除异
常值等。
3.特征工程：对数据进行变换和选择，包括变量衍生、变量选
择等。
4.模型建立：选择逻辑回归模型，并进行参数估计和模型选择。
5.模型评估：对模型进行评估，包括模型的准确率、预测能力等。
6.应用实践：将模型应用到实际业务中，对客户进行信用评估。
三、关键方法讲解
1.逻辑回归模型
逻辑回归模型是一种常用的二元分类模型，主要用于解决在二
项式分布下的分类问题。
其通过特定的函数模拟分类结果与自变
量之间的关系。
逻辑回归模型的基本形式为：
其中，P(Y=1|X)表示在给定自变量X的条件下，Y取值为1的
概率，即为模型预测的概率值。
而β0、β1、β2、……、βn则称为
模型的参数，表示每个自变量对于因变量影响的程度。
2.特征工程
特征工程是机器学习中的一个重要环节，其主要目的是对样本
数据进行变换和选择，提取出关键的特征信息供模型使用。
在信
用评分卡建模中，特征工程主要包括变量衍生和变量选择两个部分。
变量衍生：将原有数据进行变换生成新的特征，以达到更好的
建模效果。
例如，在信用评估中，我们可以通过借款人的年龄、
性别等信息计算出其还款能力、稳定性等方面的信息。
变量选择：选择有利于模型建立和评价的变量。
在信用评分卡
建模中，变量选择需要根据先验知识和数据分析的结果，选择与
违约相关性较高的特征。
同时采用正则化等方法，去除对模型贡
献较小的变量。
3.模型评估
模型评估是评价信用评分卡建模效果的重要环节。
在评估时，
主要需要从准确率、预测能力、稳定性等角度进行综合考虑。
准确率评估指标主要包括精确度和召回率等指标，预测能力指
标包括ROC曲线、KS值等指标，稳定性指标主要包括Gini系数
等指标。
四、案例分析
以某银行客户信用评估为例
1.数据收集：从银行系统中收集客户历史数据，包括贷款金额、还款记录、借款人基本信息等。
2.数据清洗：剔除异常数据、处理缺失值、异常值等，确保数
据质量。
3.特征工程：对衍生变量和选择变量进行分析，提取出贷款人的个人稳定性、信用状况、还款能力等相关特征。
4.模型建立：采用逻辑回归模型，对贷款人进行分类。
5.模型评估：通过ROC曲线、AUC、KS值等指标评估模型效果。
6.应用实践：将模型应用于实际业务中，对借款人进行信用评估。
五、结语
基于逻辑回归的信用评分卡建模是一种成熟、有效的信用评估方法。
其通过采用逻辑回归模型，对客户历史数据进行特征工程和模型建立，提高了银行对客户信用状况的评估能力。
同时，通过模型评估，可以对模型的建立和选择进行优化。
信用评分卡建模不仅可以为银行提供决策支持，而且还可以提高信贷业务的风险控制水平。