大数据应用实施过程作业指导书Yhw

数据模型应用过程作业指导书

一、总览

1.数据模型应用过程概述

数据模型应用过程是应用数据科学理论、方法、技术和工具，对外立足于服务政府精准施策和经济发展，对内立足于服务公司经营管理水平提升，依托实际数据应用需求，围绕重点领域开展数据模型应用，深挖数据价值并形成各类高价值数据应用成果的工作过程。

2.数据模型应用过程内容

数据模型标准应用过程主要包括：业务设计、数据准备、模型构建、业务场景验证、模型迭代优化、成果固化、应用评估、推广共享8个阶段。

业务设计。调研厘清要解决的现有业务流程及管理现状痛点问题，提炼确定数据模型应用需求，依据业务实际和关联关系，梳理业务需求实现的关键点，明确建模依据的业务理论，以业务视角凝炼合适的模型思路及技术实现路线。

数据准备。针对数据应用需求涉及的数据项、关联规则、映射关系、来源系统、获取方式等，溯源梳理形成数据需求表。严格按照数据取用流程及脱敏要求提取所需数据，分析数据整体趋势、分布情况、规律特征、变量间相关关系，运用各种技术手段进行数据清洗、转换、集成、规约，形成准确可用的数据分析宽表，将其作为数据模型的输入源。

模型构建。基于业务实现逻辑及数据情况，框定算法范围，通过算法之间优劣对比分析，开展算法择优选型，构建相应的算法模型，提取数据样本，适应性调整测试集、验证集比例以及模型参数，完成模型训练及构建。

业务场景验证。基于全量数据进行模型计算及结果输出，结合业务场景实际，设计数据验证表反馈格式，进行数据验证，收集验证结果，统计模型准确率、召回率，验证评估模型的准确性及适用性。

模型迭代优化。根据模型业务验证的可行性、合理性、准确性等评价反馈，算法人员对算法模型开展迭代优化，以满足模型应用要求。

成果固化。根据数据应用需求、服务对象需求，将数据模型应用过程结果通过不同形式进行输出，形成应用工具类、大数据集类、算法模型类、智慧决策类等应用成果。

应用评估。评估数据模型应用成果对公司运营的效率、效益、质量、社会价值等绩效水平的提升情况，对各专业数据及技术领域的支撑推动情况，对成果本身实际运行的可用性、有效性、实用性以及效率、效益情况等。

推广共享。以发挥数据应用价值为目标，对数据模型应用成果进行优选，提炼总结相应经验方法，形成有价值、可落地的数据应用成果，进行运营推广和价值转化。

3.适用范围

本规范适用于公司各部门及下属单位开展数据模型应用。二、业务设计

业务设计阶段主要包括梳理应用需求、设计建模思路等内容。

1.梳理应用需求

（1）应用需求调研

以确定应用需求为目标，从业务需求及数据需求两方面开展需求调研。

业务调研。调研上下游业务部门，确定现有业务流程及管理现状痛点问题，明确各业务条线的互动关系，调研发现业务人员隐藏的业务需求及瓶颈，最终提炼数据应用需求。

数据调研。调研影响因子、来源系统、数据存储情况、数据采集周期、数据频度、数据量，调研发现数据获取问题、数据质量问题。

（2）明确应用目标

通过应用需求调研情况，确定数据应用要实现的业务目标。包括且不限于业务规模扩大、成本节约、效率提升、安全提升、质量提升等。

2.设计建模思路

（1）业务建模逻辑研讨

根据梳理确定的应用需求，以业务人员为主深入掌握业务主线流程环节、业务规则及其他内在业务关联逻辑，提出建模业务依据，数据应用需求方会同业务人员、算法人员，对建模依据的业务理论、技术方法进行模型化梳理研讨。最终确定建模业务实现逻辑。

（2）确定技术建模路线

依据建模业务实现逻辑，以分析挖掘人员、算法人员、数据

支撑人员为主深入探讨建模技术路线，明确应用需求在数据科学领域的问题分类，框定算法范围，确定技术实现路线。

表1：XXX建模思路示例

1.数据溯源

（1）梳理数据需求

根据业务设计需要，由业务人员、分析挖掘人员、算法人员、数据支撑人员多方研讨，梳理整合形成数据应用需求表。数据需求表须包含数据模型应用所需的所有字段，并注明字段格式及填

写要求（业务含义、内外部数据、来源系统、数据频度、数据类型、数据格式、数据精度、数据取值范围等）。

表2：XXX模型数据需求项划分

内部数据

外部数据

线上数据线下数据

结构化数据非结构

化数据

结构化

数据

非结构

化数据

结构化数据非结构化数据

数据格式、存储路径；

对于线下数据，明确数据格式、管理部门及负责人员；

对于外部数据，通过公司数据归口管理部门掌握的外部数据清册，查询是否存在符合所需内容、统计口径、时间范围的数据，明确数据格式、管理部门及负责人员。

2.数据获取

按照数据溯源情况，数据人员从对应数据来源获取数据。数据获取应遵循安全性、完整性、一致性原则。

（1）数据申请

数据人员根据数据溯源表中的来源系统或管理部门，按照公司信息安全管理等制度要求，申请取得相应系统数据库账号或权限，办理数据申请、资料交接或其它必要手续，以及存储所获取数据的数据库权限和空间。

（2）数据获取

对于结构化数据，数据人员按照已确定的数据获取方式，使用PL/SQL、ETL、Kettle、OGG、定制接口等数据获取工具或各类文件传输技术，进行数据获取。

对于非结构化数据，数据人员需要根据数据格式，使用图像识别、语音识别、自然语言处理等技术，从非结构化数据中提取结构化信息。

对于外部数据，数据人员需严格遵守数据安全相关规定，在法律规定范围内获取外部共享数据。

3.数据探索

源数据获取后，运用统计学相关方法对数据进行初步的剖析和理解，探索数据项统计学特征，分析变量间相关关系，全面掌握熟悉数据特性，以具体提出数据清洗、转换、集成方案，并对建模特征选择提供参考。

（1）统计学特征探索

运用统计学方法，描述性分析数据总体规模、分布、关键字段取值异常等表现，反映数据的集中趋势、离散程度、分布形式，

使用众数、中位数、平均数、极差、平均差、方差、离散系数、峰态系数、偏态系数等方法，从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。通过分析数据整体趋势和数据特征结论，具体提出数据清洗、转换、集成方案。

（2）因子相关性分析

通过皮尔逊、斯皮尔曼等相关性分析方法确定与业务目标相关的数据特征、是否存在某种依存关系，包括单相关（分析两个因素间相关性）、复相关（分析三个以上因素间相关性）、偏相关（假定其他因素不变，分析其中两个因素间相关性）分析。通过分析相关性的结果，研讨是否进行主成分分析、因子分析、特征降维等建模辅助过程。

数据探索做法示例：利用小波变换、DTW、...等方法描述每个台区在历史春节期间的负荷曲线，依据特征差异将其划分为不同台区分类，针对每种分类，分析行业分布、地域分布、时间特征、并量化分析负荷与配抢等客服事件关联规律与重过载的相关关系等，为建模特征选择提供参考。

4.数据清洗

参考业务实际及数据探索结果，算法人员建立数据清洗规则，消除接入的“脏”数据、提升数据质量和可用性，一般包括重复数据处理、异常值处理、缺失值填补等清洗方式。

（1）重复行删除

针对数据核查中发现的所有数据项均重复的数据记录，一般进行整行删除处理。

（2）异常值处理

结合数据项的作用（是否为统计维度、是否参与计算、是否有相关阈值、是否为关联字段等），判断异常值对模型构建的影响程度。按照尽量减少对建模影响的原则选取清洗方式，数据项取值超出正常合理范围，且存在突增、突减则认为是脉冲值，一般先置空再进行补缺处理。

图缺失数据补缺示例

（3）缺失值填补

一般通过其他数据源补充、用其他字段计算得到、凭经验或业务知识估计、简单填充等方式进行缺失值填补，对于连续采集值还可采取均值、环比同期值、热卡填充值、平滑变化值、插值法，按照尽量减少对建模影响的原则选取填补方式。

5.数据转换

将数据转化为易于分析、挖掘的形式，具体包括变量派生、变量转化、分箱转换、数据标准化等措施，需根据分析挖掘需要灵活采用，以增强数据显著性和变化敏感性，让分析人员更好的挖掘业务规律。

（1）变量派生

通过对已有数据进行数学推导，生成新的变量，方便后续计算和使用，例如将出生日期转化为用户年龄、统计用户月均消费

次数等。

（2）变量转换

通过对变量进行直接变换，提升模型自变量预测能力，如取绝对值、取对数、取倒数、取指数、开平方、开平方根等。

（3）分箱转换

通过设置梯度阀值，将连续变量转换为类别变量，以简化数据分析。例如海拔每200米进行一次分箱，由连续型的海拔数值转换为分类变量。

（4）数据标准化

通过数值计算、归一化、标准化处理，以及其他很多算法消除数据量纲差别。例如电量、用户数同样是数值型字段但取值量级差异特别大，通过标准化处理消除因量纲差异造成的分析误差。

6.数据集成

根据数据建模需求和数据清洗转换成果，将同一个建模逻辑中的多数据项集成、关联、整合在一起，建立数据分析挖掘宽表，支撑后续模型构建。

（1）拼接数据分析宽表

针对每一个建模逻辑，研讨数据分析宽表字段构成，按照数据项之间的关联关系，建立关联规则。数据人员使用与数据存储环境相适应的数据处理软件、工具，按照关联规则合并为一张或多张数据分析宽表。

（2）数据准备阶段总结

梳理数据准备各项实施过程操作及结果，形成数据准备报告，作为数据模型应用过程成果。

四、模型构建

模型构建包括算法选型、模型构建以及参数调优三个方面。

1.算法选型

基于业务实现逻辑及数据情况，框定机器学习、深度学习等相关算法范围，通过对算法之间的效果、效率和稳定性等方面进行优劣对比分析，开展算法择优选型。

例如，预测“是否发生重过载”属于分类预测问题范畴，分类预测常用的模型选择方法是交叉验证法（Cross Validation），具体实现：基于宽表数据，通过Python编程调用交叉验证方法，分别求出不同分类算法的F1峰值，F1值最大的即为效果最佳的算法。步骤如下：

①把样本数据随机的分成S份，每次随机的选择S-1份

本例经过算法比优最终选择随机森林作为建模算法。

2.模型构建

按照业务设计阶段确定的建模逻辑，基于数据分析宽表，通

过Python构建相应的算法模型，合理设置测试集、验证集样本比例，完成模型训练及构建。

例1：春节期间负荷预测模型

合理分配训练及验证集比例，以历史用电相似日特性、负荷短期惯性、气象影响、行业负荷占比影响等因素作为模型输入，选用arima、lstm、..等适用的算法分别构建短期预测模型，分别对不同特征台区的负荷进行预测，输出按日的负荷预测结果，通过算法准确率判断指标择优选择最佳算法，并迭代优化模型，最终实现春节负荷高精度趋势预测。

例2：基于图谱聚类的电压波形相似度线变关系检测模型

对于线变拓扑关系异常检测“同一馈线下台区之间电压波动变化趋势一致”的建模逻辑，借助谱聚类分析技术，将96时点电压运行数据转换为“电压波动时序特征曲线”，构建基于谱聚类的电压波动一致性线变关系检测模型，对同一馈线下台区电压时序数据进行波动一致性识别，最终输出馈线下电压波动明显异于其他台区的异动台区清单。

3.参数调整

合理调整影响模型效果的超参数取值，观察模型效果指标变

化，以模型综合效果最优为原则确定各个参数配置。

例如，对于分类问题来说，一般使用Grid Search（网格搜索，在所有候选的参数选择中，通过循环遍历，尝试每一种可能性，表现最好的参数就是最终的结果）技术，对模型参数进行遍历调优，直到测试集的ROC曲线覆盖的区域面积（即AUC值）达到最大时，记录各参数的取值，参数配置完成。以随机森林算法为例，可以调整以下参数：

1）正负样本比例，默认设置为“5：5”；

2）max_features（单棵决策树使用特征的最大数量）：

默认设置为"None",意味着划分时考虑所有的特征数，增大此参数数值一般能提高模型的性能，但也不是绝对的，且随着max_features的增加会降低算法的速度。因此，需要适当的平衡和选择最佳max_features。

3）n_estimators（树的数量）：

默认设置为"100",在利用最大投票数或平均值来预测之前，想要建立子树的数量。较多的子树可以让模型有更好的性能，但同时会让算法运行过慢。

4）min_sample_leaf（最小叶子节点数）：

默认设置为"1",叶是决策树的末端节点，较小的叶子使模型更容易捕捉训练数据中的噪声。实际应用中，应该尽量尝试多种叶子的大小种类，以找到最优值。

五、业务场景验证

业务场景验证主要包括业务交互场景设计、模型输出落地验

证、验证结果收集分析三部分内容。

1.业务交互场景设计

站在数据模型成果实际应用视角，设计业务交互线下验证场景及线上应用场景。

线下验证场景。根据所属的业务或流程环节，协同责任单位（部门），通过协调督办、调研访谈、实地核查等方式验证模型输出结果是否与业务运营实际情况相吻合，业务人员反馈核查结果及异动原因，数据人员收集整理验证核查结果。

场景设计包括明确模型结果的线下验证组织形式、确定验证试点单位、设计标准的下发验证模板及反馈模板、规定反馈时间节点及负责人等。试点单位选取需具有足够泛化性，特征典型、覆盖的维度越广，其验证效果就越好。

线上应用场景。包括模型成果的落地应用形式、服务对象、应用频度等。

示例1：线下验证场景

选择XX作为试点验证单位，以下发业务验证的形式，由XX 互联网部协同营销部，组织基层熟悉线路设备的一线同事配合现场核实变压器所属的实际挂接线路、变电站，开展线变异动的迭代数据验证及校核分析，按反馈模板要求填报现场核实结果。

示例2：线上应用场景

按照业务交互线下验证场景设计的验证方式，将模型结果进行现场业务验证。

3.验证结果收集分析

根据现场验证人员对模型验证结果的评价反馈，算法人员、业务人员重点对模型输出结果的可行性、合理性、普适性、准确

率、召回率等方面进行评估，形成模型验证结果，供数据应用需求人员对数据验证结果进行解读以及存在问题分析。

六、模型迭代优化

在进行模型实际应用之前，需要通过多轮模型验证并跟踪模型效果，通过业务验证情况不断的进行模型改进，以达到实用目标。模型迭代优化主要包括算法层面优化和建模逻辑层面优化两个方面。

1.算法层面优化

算法人员根据业务验证的评价反馈分析，对算法进行调整并重新优化建模，优化内容主要包括算法再选型、多轮迭代训练、超参数调整等。

2.建模逻辑层面优化

建模逻辑层面的优化主要针对业务建模逻辑优化调整。模型成败的关键在于抓住每一个业务逻辑细节，由业务人员根据模型验证结果，分析研讨是否需要调整完善业务建模逻辑，其后续相关数据准备、模型构建、业务验证等工作均需顺序重新开展。七、成果固化

数据模型应用成果固化，指根据应用需求对数据模型成果进行固化配置，形成具有可推广性、复用性的成果形式，主要有应用工具类、大数据集类、算法模型类、智慧决策类等成果。

1.应用工具类成果

主要指实现大数据计算、分析及结果推送的程序、工具、软件等。包含分析工具、可视化看板、APPs、嵌入式程序/微应用

等。

1）分析工具。基于Tableau等数据可视化智能分析类平台，实现某分析功能而配置或开发的分析工具，提供数据计算、结果统计及可视化等功能，例如基于中台架构的**分析工具。

2）可视化看板。基于ABI等一站式数据分析平台，实现某分析主题的可视看板。

3）APPs。基于移动终端构建的实现某数据应用功能的APP 交互软件。

4）嵌入式程序/微应用。实现某数据应用和发布功能的网站功能模块，可向不同用户发布大数据成果。

2.大数据集类成果

数据集指面向分析主题的、高质量的、数据间具有强关联的样本数据集合，是经过数据模型应用价值提炼以后的产物。在数据模型应用过程中，通过对数据对象的处理与特征分析，将一些原本无关或者特征不明显的数据项进行归集，从多维度对数据表、字段进行标签化处理，针对业务应用场景的数据需求进行解析，萃取应用标签，最终形成本应用需求的大数据应用集，支撑相关应用需求方快速调用。

数据集摘要是以卡片形式对数据集的简要介绍，其中数据项定义的字段解释应涵盖数据表中所有字段。数据集摘要形成见下表。

（2）数据集元数据信息

数据项信息和数据溯源信息两部分，详见下表。

序）文件、批处理文件等。

4.智慧决策类成果

将数据模型转换成智慧后，以智慧形式输出的产品或服务，如支持决策、数据洞见等。

例如：1）专题分析报告，基于算法模型的计算结果，结合

业务调研、根因分析形成可供决策层参考的分析结论和建议措施。2）数据分析报表，以简单、易于理解的形式（文本、表格、图表等）提供成品形式的数据图表，一般应包括分析目的、分析过程、分析结果、提请关注的风险、异常影响、管理提升建议等方面内容。

八、应用评估

从数据应用成果实施带来的业务规模扩大、成本节约、效率提升、安全提升、质量提升、社会价值等一个或多个维度进行对比，量化评估数据应用的实际价值。例如：对公司运营的效率、效益、质量、社会价值等绩效水平的提升情况，对各专业数据及技术领域的支撑推动情况，对成果本身实际运行的可用性、有效性、实用性以及效率、效益情况等。

例1：**业务流程平均时长由原来的**小时缩短为现在的**小时，效率提升**%。

例2：**成果给公司带来增供电量**万千瓦，直接经济效益**万元。

例3：通过**挖掘分析，推动了**业务和**业务数据模