金融大数据平台的应用场景

金融大数据平台的应用场景

目录

1大数据在银行的应用场景 (5)

1.1 大类应用 (5)

1.1.1营销类模型 (5)

1.1.2风控类模型 (5)

1.1.3综合评价模型 (5)

1.2 细分应用 (5)

1.2.1客户风险画像 (5)

1.2.2客户综合评级 (6)

1.2.3客户综合预授信 (6)

1.2.4客户风险定价 (6)

1.2.5客户利润贡献评价 (6)

1.2.6客户综合营销分析 (6)

1.2.7客户流失分析 (6)

1.2.8贷后实时监控分析 (6)

1.2.9欺诈风险防范 (7)

2大数据建模平台—Data Insight (8)

2.1 概述 (8)

2.1.1体系结构 (8)

2.2 DataInsight主要特性 (9)

2.2.1一体化的大数据挖掘应用平台 (9)

2.2.2并行化大数据挖掘运行平台 (9)

2.2.3高效的大数据挖掘落地平台 (10)

2.3 DataInsight主要功能 (10)

2.3.1模型工作流 (10)

2.3.2可视化数据探索 (11)

2.3.3并行化算法 (12)

2.3.4多建模语言支持 (14)

2.3.5模型应用管理 (15)

2.3.6模型即服务 (16)

3大数据分析展示平台—Discovery (18)

3.1 平台架构 (18)

3.1.1数据引擎 (20)

3.1.2BI Server (21)

3.1.3交互分析模块 (21)

3.1.4API (22)

3.2 平台特性 (22)

3.3 交互式体验 (23)

3.3.1构建数据视图 (23)

3.3.2图表类型 (24)

4案例介绍 (26)

4.1 某大型银行卡收单专业化服务公司 (26)

4.1.1持卡人特征归纳 (26)

4.1.2持卡人交易行为预测 (27)

4.1.3商圈聚类 (27)

4.2 某商业银行 (27)

4.2.1优质不良客户分类 (27)

4.2.2员工账户监测预警 (30)

1大数据在银行的应用场景

1.1大类应用

1.1.1营销类模型

此类模型主要客户细分为基础，建立客户的360度视图，建立应用于客户营销的业务模型，如：商户交易分析模型、商户行业分析模型、商户综合利润贡献模型、客户刷卡交易分析模型、产品推荐模型等。

1.1.2风控类模型

该类模型主要用于信贷业务和欺诈防范，并与目前的征信建设相结合，如：商户评分模型及审批规则、行业风险识别模型、人行征信报告评分模型、个人信用分析模型、风险定价模型、风险客户预警模型、贷后实时监控模型、反欺诈模型等。

1.1.3综合评价模型

该类模型以之前的相关模型为基础，并通过规则引擎整合多个模型，进行加工处理，并根据不同业务需求产生不同的客户综合评价，如：客户综合利润贡献模型、POS商户综合评价模型、综合预授信模型、综合风险判断模型等。

1.2细分应用

1.2.1客户风险画像

依据客户内部数据，结合各种外部数据源，排查不良信息，综合决策，建立客户全方位画像，并进行综合评分，最大程度挖掘优质客户，排除潜在风险客户，从客户前期筛选上进行风险前移

1.2.2客户综合评级

结合客户的交易情况和购买理财产品状况，并结合客户的个人信用综合分析，对商户建立综合评级，并进一步应用于我司的各种贷款产品中。

1.2.3客户综合预授信

针对客户的综合评级，结合不同业务类型，利用大数据评分和决策引擎规则判断，对潜在贷款客户进行预授信额度的试算，方便后期业务营销，同时可将业务风险前置。

1.2.4客户风险定价

针对客户的综合评级，对不同信用级别的客户采取不同的定价策略，以收益覆盖风险为原则，优化我司相关业务产品的定价。

1.2.5客户利润贡献评价

综合分析客户在我行的存量业务，进行利润贡献度评判，方便我行后期深度营销客户。

1.2.6客户综合营销分析

通过客户关系深度挖掘和持有业务深入分析，判断最适合营销给客户的产品，同时结合我司的优势产品政策，加大综合营销力度，为营销客户提供全面支持，避免盲目营销的情况。

1.2.7客户流失分析

通过大数据挖掘，如客户在我司POS业务变动情况，交易频次、交易时间等多种综合指标，对客户的流失情况进行分析和综合预测，判断潜在流失客户，并增加营销力度，采取相应措施，最大程度上挽救客户。

1.2.8贷后实时监控分析

利用内部数据和引入的外部数据，通过规则引擎的实时抓取和判断，对已放款客户的贷后情况进行实时分析，并进行区分高风险、中风险、低风险客户，并进行预警推送。

1.2.9欺诈风险防范

通过建立黑名单、灰名单机会，完善相应的规则引擎，对虚假交易、套现、电商诈骗等欺诈交易行为进行自动分析、挖掘，通过机器学习的方式提高银联商务防范风险业务的能力。

2大数据建模平台—Data Insight

2.1概述

大数据挖掘是大数据中非常重要的一个组成部分。只有从大数据中挖掘出价值，大数据才有意义。明略DataInsight是一款企业级的大数据挖掘平台产品，通过应用先进的大数据技术，帮助企业实现了海量数据上的数据挖掘，获取隐藏在大数据下的知识，为企业创造新的业务价值。

与常见的只能进行单机挖掘的产品不同，明略DataInsight基于Apache Spark架构，使得数据挖掘能够真正并行化起来，能够真正的在海量数据机上进行数据挖掘。突破了传统数据挖掘工具只能在单机上建模的缺陷，使得企业大数据挖掘成为了可能。

2.1.1体系结构

明略DataInsight从上到下分为3层，分别是接口层，调度层和运行层。其中：

接口层：用来与用户和外部系统进行交互。接口层提供了可视化建模工具以及模型应用系统界面，供用户创建模型和对生产环境中的模型进行管理。此外，还提

供了Restful API供其他外部系统进行模型服务调用。

调度层：调度层负责调度模型作业的运行。一个模型作业由若干任务组成，每个任务的执行环境和执行次序都不一样。调度层负责将任务发往合适的执行器中运

行，并负责任务之间的通信和错误处理等功能。

运行层：运行层负责真正的运行一个任务，运行层是基于Spark并行架构的，在Spark中启动了多个运行器（Runner）来负责最终任务的执行。这儿的运行器可

以是普通的Spark任务，也可以是R或者Python的容器。

2.2DataInsight主要特性

2.2.1一体化的大数据挖掘应用平台

明略DataInsight提供高效的建模工具帮助企业在大数据上进行数据挖掘，同时提供模型应用系统帮助企业整合从模型开发到模型上线的大数据挖掘落地的全过程，真正使得大数据挖掘能在企业轻松落地。

明略DataInsight从企业业务落地出发，帮助企业有效的管理大数据挖掘的各个阶段，不单单为企业提供了高效的建模工具，同时也提供模型应用管理系统帮助企业管理已经建立好的模型，降低了模型部署、更新等维护的成本。明略DataInsight是基于大数据平台的产品，这就意味着明略DataInsight的实验环境和生产环境融为一体。在实验环境中建立的模型可以很方便的在生产环境中应用，降低了模型的部署和迁移成本。

2.2.2并行化大数据挖掘运行平台

大数据时代的特点是数据量规模巨大，传统的单机算法已经无法满足大数据时代的需要，因此需要使用并行算法来处理和计算大数据。明略DataInsight是一款基于Apache Spark架构的真正意义上的大数据挖掘平台，其通过Spark提供的高性能内存迭代计算引擎在多个节点上并行挖掘，解决了单机节点无法挖掘海量数据的问题，同时提高了挖掘速度。

明略DataInsight自主研发了大量并行运行在Spark之上的数据挖掘算法。这些算法

覆盖了数据挖掘工作中最常用的算法种类。用户可以非常方便的在明略DataInsight中使用这些算法来创建模型。

在大数据挖掘实践中，使用并行化的数据挖掘算法只是整个挖掘工作中的一部分，更多的工作集中在数据预处理方面。在大数据环境下，单机处理海量数据显然是不现实的。明略DataInsight提供了多种数据预处理的并行化算法，帮助用户高效的对数据进行处理。

2.2.3高效的大数据挖掘落地平台

明略DataInsight专注于提高企业大数据挖掘的效率。在大数据挖掘实践中，往往70%-80%的时间和精力耗费在数据探索和数据处理上面。因此，提高数据探索和数据处理的效率会大大加速整个大数据挖掘的落地速度。

明略DataInsight提供了交互式可视化的数据探索工具。明略DataInsight帮助用户实时对数据进行探索，来指引其寻找更好的解决方法。同时，明略DataInsight提供了大量的图表形式供用户更加直观的感受数据，寻找数据中的规律。

在数据处理方面，明略DataInsight除了提供大量的并行化数据处理算法之外，还对SQL进行了良好的支持。用户可以通过SQL语句对建模的中间结果进行各种操作，这样，具有SQL技能的用户可以零学习成本的使用SQL对数据进行各种探索和处理。

2.3DataInsight主要功能

2.3.1模型工作流

企业大数据挖掘是一项系统性的工程，其涉及到从数据整合、数据探索、数据处理、模型建立、模型评估、模型调优等一系列的过程。因此，单一的步骤是不足以表示大数据挖掘全过程。明略DataInsight中使用工作流的概念来表示整个建模过程。

在明略DataInsight中，每个建模步骤都看做一个算子，每个算子接受若干输入，并且产生若干输出。每个算子的输出都可以作为其他算子的输入，这样，整个建模过程就可以形成一幅有向无环图。建模过程的目的就变成了将原始的输入通过一系列算子组合得到最终的业务结果。

建模过程是一个不断尝试不断探索的过程。用户从原始数据出发，经过对数据的探索和处理，应用合适的算法，最终形成业务上可用的模型。在建模的过程中，会有很多尝试性的步骤，用户可以通过在模型工作流中添加分支的方法来进行不同方法的尝试。

当模型开发完毕后，用户可以从模型中生成应用，这样就可以在生产环境中使用应用来产生业务结果。应用从本质上来看依然是工作流，记录了原始数据如何一步一步的变为最终的业务结果的过程，所不同的是，应用中的工作流只保留了产生业务结果的必要步骤，不再保留用户在建模时所做的尝试性的工作。

2.3.2可视化数据探索

对数据的理解是数据挖掘过程中的重中之重。只有理解数据，才能知道如何从数据中挖掘出有价值的信息。数据探索的过程同时也是数据预处理的过程，用户在探索数据时，需

要将多种数据进行关联，并且对数据进行不同形式的转换，甚至使用多种算法来对数据进行尝试性的挖掘，来探索数据的意义。

在形成最终模型之前，用户需要通过大量的实验来找到一条切实可行的挖掘方法。在用户进行实验时，对实验的时效性要求非常高。用户希望能够尽快试错，排除那些不可靠的方法，快速的找到可行的方法。

明略DataInsight提供了交互式数据探索工具供用户对数据进行实验性的探索工作。明略DataInsight通过先进的大数据技术，缩短了数据探索的时间，帮助用户实时的对数据进行探索和实验。

同时，明略DataInsight通过可视化的方法，提供了常用的数据统计和分析的图表，供用户能够直观的从图形中发掘数据背后的意义。

2.3.3并行化算法

明略DataInsight是基于Spark架构的并行化数据挖掘平台。明略DataInsight自主研发了大量的并行化数据挖掘算法，这些算法解决了单机算法不能挖掘大数据的问题，极大的方便了用户在大数据上的数据挖掘。

此外，明略DataInsight是一款覆盖整个建模过程的产品。除了数据挖掘的算法之外，明略DataInsight还提供了若干数据处理的并行化算法，同样也可以在模型工作流的算子中使用，对数据进行并行化的处理。

明略DataInsight支持的并行化算法列表如下：

2.3.4多建模语言支持

明略DataInsight是一款基于Spark的并行化大数据挖掘产品。用户除了使用DataInsight中提供的算法和模型进行建模之外，还可以使用其他外部语言进行建模。目前，明略DataInsight提供Python和R供用户自定义算子。

明略DataInsight中的模型可以由不同语言的元素组合而成。用户可以使用DataInsight原生的算法或者模型，也可以使用通过Python或R自定义的算法和模型，这

样，极大的提高了建模的灵活性。

此外，由于DataInsight中提供了外部语言，用户可以直接通过这些外部语言来对数据进行探索。Python和R中都包含了大量的优秀的绘图工具，用户可以直接使用这些工具在DataInsight中进行绘图。

2.3.5模型应用管理

明略DataInsight是一款关注企业大数据挖掘落地全过程的产品。除了传统数据挖掘软件提供的建模工具之外，明略DataInsight还对建立完成模型的后续使用进行管理，帮助用户更好的在生产环境中应用模型，以实现期望的业务目标。

在企业生产实践中，模型效果是会随着时间而不断衰减的，而且存在模型失效的问题。为了保持模型的效果，就必须对模型进行有效的维护。在传统数据挖掘实践中，有专门的建模团队来负责模型维护，每一次模型维护都要经历模型重部署，重上线的过程，效率十分低下。

明略DataInsight中，最终应用于生产的模型称为应用。明略DataInsight通过应用更新功能使用新数据重新训练应用，使得衰减效应变缓。应用每次更新完，都会产生一个新的应用版本，这样同一应用会保留多个版本，这些版本的输入输出都保持一致，用户可以任选其中一个版本来产生最终的结果。

应用更新是一种简单而有效的方法，但是当数据发生了较大的变化时，简单的更新应用已不能维持模型效果，此时，需要深入到应用细节对应用进行调整。明略DataInsight 可以将应用还原为工作流，用户可以在开发环境中打开工作流，在已有的工作流之上重新建模，直到模型效果满足业务需求。

2.3.6模型即服务

明略DataInsight作为一款企业级的大数据挖掘平台，通过Restful API向企业其他生产系统提供服务，外部系统可以通过调用Restful API实现模型的运行和更新等操作。这样，明略DataInsight可以作为企业统一的模型服务平台，为企业各个生产系统进行复杂的数据挖掘计算，提供各个生产系统所需的业务数据。例如，明略DataInsight可以通过人群画像模型对客户进行画像，将画像结果提供给企业BI系统，在企业BI系统中结合其他数据一起绘制最终的业务报表。

根据用户在API中指定的输入和输出，明略DataInsight中相应的应用就可以从输入中读取原始数据，进过数据挖掘的复杂计算后，将结果数据存放到用户指定的输出中，这样就完成了一次数据挖掘任务。

明略DataInsight支持多种输入输出，包括基于大数据的HIVE、HBASE、HDFS等，还包括传统关系型数据库，如Oracle、Mysql等，也包括一些NoSQL数据库，如MongoDB、Redis等。

明略DataInsight支持的API如下：

通过明略DataInsight提供的API，用户可以在自己的系统中进行调用。例如，用户将一个应用加入工作流中，通过run命令运行一个应用，然后不断查询状态，直到状态变为已完成，再继续下一步工作。由于输入输出都是由用户指定，因此，用户可以很方便的在工作流中加入数据挖掘的步骤。

3大数据分析展示平台—Discovery 随着大数据时代的带来，急剧膨胀的数据规模、对细粒度数据探索的需求，以及对决策时效性的需求愈加旺盛，传统的BI方案在解决数据规模、分析的时效性、数据粒度方面越发显得困难。传统的BI方案已经很难满足当前业务需求，基于深入分析株洲所大数据分析展示平台的业务需求特点和技术需求的基础上，选择基于海量数据的商务智能解决方案，以满足业务和技术要求。

3.1平台架构

Discovery是基于Hadoop技术框架的大数据商业智能平台，旨在帮助用户挖掘大数据环境下的数据价值，解决传统BI工具在大数据环境下无法使用的困境。

Discovery是B/S架构，基于大数据技术构建，可同时支持大数据平台和传统的RDBMS；提供文本文件、JDBC、Cube、Search等多类型的数据源支持；

Discovery平台架构如下：

Discovery各个部分的主要功能如下：

3.1.1数据引擎

Discovery的数据引擎包括OLAP、Ad-hoc和Search三部分，分别面向基于Cube 的查询、即席查询和明细搜索三种业务场景，并由BI Server进行统一调度。