电力大数据应用现状及多源异构数据分析技术研究
大数据在电力行业的应用研究
大数据在电力行业的应用研究随着科技的不断发展，大数据技术在各行各业的应用也越来越广泛。
电力行业一直是国民经济发展的重要支柱，而大数据技术的应用则给电力行业带来了许多的机遇和挑战。
本文将探讨大数据在电力行业中的应用研究，并分析其对电力行业的重要意义。
一、大数据在电力企业的生产运营中的应用1. 数据采集与监测电力企业拥有大量的设备和系统，如发电机组、输电线路等，这些设备产生的数据量巨大。
通过大数据技术，电力企业可以对这些数据进行采集、监测和分析，实时了解设备的运行状态和性能，并及时发现和解决潜在问题，提高电力设备的效率和可靠性。
2. 负荷预测与优化调度电力行业的负荷预测与优化调度对供电稳定和能源消耗具有重要意义。
通过大数据技术，电力企业可以收集历史数据和实时数据，利用机器学习和数据分析算法进行负荷预测，帮助企业合理调度发电机组和电力输送，最大程度地满足用户需求，并减少能源的浪费。
3. 能源监控与管理大数据技术可以帮助电力企业实时监控电力的生产、输送和消费情况，提高能源的利用效率。
通过对数据的分析和挖掘，电力企业可以发现能源消耗的规律和瓶颈，从而采取相应的措施来提高能源的利用效率，减少电力损耗和浪费。
二、大数据在电力行业的管理决策中的应用1. 基于大数据的决策支持系统电力行业的管理决策需要考虑众多的因素和变量。
通过大数据技术，可以对电力行业的历史数据、市场需求、电力供应等进行综合分析和挖掘，为电力企业的管理决策提供科学的决策依据和支持。
这些汇总数据可以帮助电力企业准确预测市场需求，合理安排发电计划，并优化供电结构，提高电力企业的竞争力和效益。
2. 安全风险评估与预警电力行业存在着诸多的安全风险，如火灾、设备故障等。
通过大数据技术，可以对电力系统中的数据进行监测和分析，及时发现异常情况，并进行预警和风险评估。
这些安全数据可以帮助电力企业避免事故的发生，保障电力系统的安全稳定运行。
三、大数据在电力行业的市场营销中的应用1. 用户行为分析与个性化营销电力企业可以通过大数据技术对用户的用电行为进行分析和挖掘，了解用户的用电习惯和需求，为用户提供个性化的用电计划和服务。
《电力大数据》2020年1-12期总目录
２０２０年１２月第２３卷第１２期电力大数据２０２０年总目录 Ｄｅｃ ２０２０，Ｖｏｌ ２３，Ｎｏ １２ＰＯＷＥＲＳＹＳＴＥＭＳＡＮＤＢＩＧＤＡＴＡＧｅｎｅｒａｌｃｏｎｔｅｎｔｓｉｎ２０２０《电力大数据》２０２０年１～１２期总目录第１期□大数据专题基于集中器ＳＩＭ卡状态分析的异常检测 董重重，王 吁，夏水斌，孙秉宇，何 欢，王先培（１）…………基于Ｑ－Ｌｅａｒｎｉｎｇ算法用户最优充电站运营研究 刘 燕，贾肇伟，高 虹（８）………………………………………基于倾角传感器及不同杆塔类型的输电线路覆冰监测研究 殷蔚翎，黄 良（１４）………………………………………………基于人工智能的风机塔筒倾覆智能预警系统建设与开发 陈万勋，刘春波，赵坚强（２１）……………………………………基于蛛状网拓扑智能变电站“三层一网”通信系统研究 单梦琦（２８）………………………………………………………基于数据可视化的隔离开关运检辅助决策 门业堃，于 钊，宋 威，侯宇程，钱梦迪，滕景竹（３７）…………基于大数据挖掘的电网监控信息智能监控研究 孙云岭，徐建建，李 飞，李少博，苏玉京，李 芸（４５）…………智能变电站集中式站域测控装置设计与实现 辛明勇，杨 婧，高吉普，王 宇，张 历，汪明媚（５１）…………基于大数据的电力环保数据平台建设 雒 军，唐 坚，赵 喆，王 佩，闫 强，陈 星（５８）…………新能源综合服务平台及在配电网中的应用研究 王建平，李 莎，罗子昀，王永琦（６４）……………………………节能灯谐波指纹的测试研究与分析于 洋，李成升（７０）…………气象模拟仿真技术在电力安全应急培训中的应用与研究 陈肖龙，刘 航，李卓晖，张宝星，潘岐深，张荣鑫（７８）…………基于负荷曲线的配网支线负荷电流计算研究与应用 林 元（８４）………………………………………………………第２期□大数据专题基于ＦＡＨＰ的电网企业配电变压器供应商分级管理评价模型 代 洲，尹 华，李桧禹，毛 磊（１）……………………………贵州省近６０年气温变化特征分析及对输电线路运维的影响 刘发勇，犹珀玉（９）………………………………………………基于大数据平台的点负荷近中期负荷预测及行业负荷增长 特征分析李 健，王琛，林韶生，杜佩仁（１７）……………………智慧能源区块链平台及典型应用分析与设计 裴求根（２６）………………………………………………………大数据技术在火电厂ＳＣＲ脱硝系统中的应用 唐 坚，尹二新，路光杰，陈 鸥，张 军，刘永岩（３２）…………基于电力物联网和ＧＩＳ融合的变电智能运检系统研究 李 飞，赵大兴（３８）………………………………………………电力领域科技查新系统的设计与实现 韦嵘晖，王庆红，孙辛博，王洪俊（４６）……………………………基于ＲｅｔｉｎａＮｅｔ模型的鸟巢智能检测 时 磊，杨 恒，周振峰，杨刘贵，张 辉，杜 浩（５３）…………电网转型背景下地市级智能电网示范区规划研究 唐小璐，赵伟然，古 含，何 鑫（５９）……………………………基于高层气象大数据的风电场中长期风功率预测研究 李 飞，纪 元（６６）………………………………………………基于决策流程的电网强降雨及地质灾害应急信息系统研究 苏华英，唐延婧，夏晓玲，田连杰（７３）……………………………无人机载多载荷输电线路巡检方法研究 陈科羽，王 萍，，石书山，周筑博，杨鹤猛（８０）…………………面向电力物联网的电力大数据应用 王海洋，赵忠强，唐建华（８７）……………………………………第３期□大数据专题基于大数据的台区行业聚合分类方法及分类特征分析 李 健，林韶生，陈 芳，杜佩仁（１）……………………………实时电价下用户侧电力需求响应模型优化策略及数字仿真 谈竹奎，汪元芹，赵 菁，刘 斌，刘 敏（１０）…………………设备监控信息大数据与设备模型的互校验及实用化事件分析 高 志，樊锐轶，米 超，王大海，胡庆博，冯 超（１９）…………利用大数据实现电能计量装置运行状态质量评估 妙红英，李 蒙，王艳芹，王 松，洪 虹，康 强（２７）…………基于稳态波形分解与神经网络的负荷识别方法 陈伟伟，洪彬倬（３４）………………………………………………基于大数据的导线悬垂面脱冰跳跃高速摄影测量方法研究 马晓红，吕乾勇，毛先胤，徐舒蓉，王建国，唐 敏（４０）…………基于ＢＰ神经网络的输电线路隐患预放电识别研究 杨 旗，曾华荣，黄 欢，马晓红，毛先胤，张露松（４７）…………大数据理念下的供应商分析及应用研究 方茂欢，贺绍鹏，陈金猛，李 屹，郝嘉诚（５５）…………………基于Ｈａｄｏｏｐ和ＨＢａｓｅ的输变电设备数据聚合平台 陈 锐，吴应双，曹 杰，刘明顺（６２）……………………………基于用户行为的分时电价时段划分和价格制定 陈巨龙，黄剑平，张 裕，代 江（６９）……………………………智能变电站二次系统组网结构与信息传输优化研究 唐孝舟，刘青红，孙长兰，章叶青，葛立青（７７）…………………电力大数据第２３卷考虑多场景新能源预测的月度机组组合研究 赵 倩，赵翔宇，苏华英，汪明清，游成彬，黄红伟（８５）…………第４期□大数据专题基于故障概率的配电设备排查路径规划 马天佚，朱建明，杨 霖，张 驰（１）……………………………多源信息融合的微服务化电网事故追忆 韦洪波，曹 伟，叶桂南，韦昌福，何伊妮（８）……………………基于人工智能的电网调度操作智能防误系统建设及实践 蔡新雷，齐 颖（１６）………………………………………………电力物联网中５Ｇ边缘计算技术的研究 王 亮，鲜 柯（２４）………………………………………………基于ＬｏＲａ技术的低压集抄系统运行可靠性分析 孙 航，梁丹丹，郝凤柱，何 毅，张 鸷（３１）…………………基于规则和机器学习的核电文件分发系统研究 刘帝勇，杨 强，岳振兴（３９）……………………………………基于大数据模式识别机器学习算法的热力站动态能耗指标 预测模型王 炎，张海增，胡新华，赵 隽，李 添（４７）………基于ＸＧｂｏｏｓｔ的线路覆冰测量中激光测距的误差研究 曾华荣，谢百明，王 冕，林呈辉，高吉普（５４）…………………多虚拟电厂接入的主动配电系统优化经济调度 邵倩文，姚 璐，谢 威，李舒佳，谢 敏，李建钊（６２）…………基于预期完成率的月内滚动机组组合研究 田年杰，苏华英，刘明顺，李 赟，黄红伟，游成彬（７１）…………电能表运行误差与状态评价模型研究 王晨丞，张君胜，蒲丽娟，何培东，杜 斌，赵智辉（７９）…………存在反向有功电量低压用户的研判方法研究 马 浩，王立斌，武超飞，赵国鹏，马婷婷（８６）…………………第５期□大数据专题基于生存分析模型的电力设备故障预测方法 王春波，陈 刚，周 融，马莉娟（１）……………………………基于人工智能技术的电网调度控制业务研究 范英乐，王 浩，白玉东，李 熙（９）……………………………基于神经棒的电力变压器离线图像识别研究与应用 曾 惜，王 冕，王林波，龙思璇，吕 飞，陈华彬（１６）…………低照度液晶屏幕图像增强算法 张薇薇，王 彦，张庆伟，付龙明，黄 辉（２３）…………………一种改进的ＲＧＢ－ＤＳＬＡＭ室内空间三维重建方法 余兆凯，彭晓峰，邱昌杰，李 训，常友谦（３０）…………………综合能源热力潮流节点标幺值模型及算法实现 陈 晓，齐文斌，平 原，谭志海，刘兴艳（３８）…………………考虑发电能力匹配性的输变电设备检修优化方法 李 豹，袁 泉，张 蔷，卢明富，张德亮，黄红伟（４６）…………大数据技术在配网单线图自动成图的应用研究 何雄坤，周宏志，聂 辉，陈满超，齐志刚（５４）…………………基于数据驱动的物资储检配一体化系统研究和应用 彭 坤，朱长征，高书怡，朱孝峰，潘 敏，李 刚（６４）…………基于大数据的发电量预测分析数据平台建设 张睿锐，徐俊强，童 琪（７２）……………………………………一种云计算数字签名技术的研究与实现 杨凯利，瞿 强，张永超，张其静，娄红红（８０）…………………面向电网实时运行风险的快速定级方法研究及应用 罗 艳，陈子敬，高 浩，粟 景（８６）……………………………第６期□大数据专题基于用户停车行为统计的电动汽车快速充电站最优规划 陈巨龙，刘振铭，薛 毅，廖志军，郑方鹏，徐立新（１）…………大数据环境下基于Ｋ－ｍｅａｎｓ聚类算法的分组负荷预测研究 史 静，南开辉，周 琪，谈 健，李 琥（９）……………………基于改进的ＳＡＥ和ＤＣＴ的自适应无人机巡线图像识别算法研究 王 鑫，李天睿，焦睦涵，刘萌森，刘逸涵（１７）…………………基于ＫＣ－ＬＳＳＶＭ－ＭＡＦＳＡ的并网光伏微网系统的能量管理 黄 柯，李佳蓉，杨璐瑜，陈 爽（２６）……………………………基于ＢＰ神经网络模型的输电线路造价预测模型研究 张宇晨，张宇霖，封春菲，王 晨（３５）…………………………基于ＴＯＰＳＩＳ的私自增容专变电力用户排查方法 王立斌，张思为，马 浩，赵 佩，李梦宇（４３）…………………基于多级属性加密的零信任访问授权控制方法研究与设计 黄 何，刘 劼，袁 辉（５１）……………………………………基于大数据分析的电力用户多维价值识别精准营销投入产出 模型研究姚丹靖，褚 燕（５７）……………………………………基于大数据技术的配网故障抢修分析预测系统的设计与实践 王海洋，迟兆江，蔡鹏飞（６３）……………………………………数据标签研究与应用李阿勇，税 雪，宋志伟（６９）………………基于泛在感知及Ｐｙｔｈｏｎ编程的线损问题区间快速定位方法 黑 阳，单宇南，李文澜，张 维，郝旭东，胡一平（７５）…………基于同步向量的配电网运行数据监测装置设计 曾 惜，王元峰，王林波，杨琦岑，蔡广林（８５）…………………第７期□大数据专题基于ＦａｃｅＮｅｔ的无人值守变电站智能监控终端 宗祥瑞，王 洋，金 尧，周 斌，任新颜，庞玉志（１）…………基于大数据的电网状态估计精细化分析 刘 爽，张 硕，郑 璐，王兴才，金宜放，王 铎（９）………… 第１２期《电力大数据》２０２０年总目录数据挖掘技术在反窃电工作中的应用研究 秦 娜，高振江，白泽明，栾德佳，李雨庭（１６）…………………水火电发电权交易机制及水电市场化发展模式探究 吕 翔，吴引航，戴晓娟，卢冬雪，陈雨果（２４）…………………基于随机模型预测控制的能源互联网双层协调优化调度 蒋泽甫，张 彦，高 华，何向刚，周杨林（３１）…………………一种基于ＳＱＬｉｔｅ数据库的电网滚动规划分布式收资方法 俞秋阳，何俊峰，常宝立，王新宝（３９）……………………………利用差分－花粉算法实现反时限过流优化 罗 琨，罗晨瑀，刘 丽，李正新，周 坤，郝东方（４６）…………变电站双星形并联电容器组电容量快速测量方法 杨 旗，谢百明，陈沛龙，文 屹，马晓红，陈 竹（５４）…………基于数据分析的ＭＧＰ并网系统电气端口的谐波特性 陈巨龙，薛 毅，李庆生，张裕，何向刚（６２）……………………基于聚类分析的低压配电设备误告警识别方法 冯 义，李中文，晋 斌，张腾飞（７２）……………………………一种基于主站多源信息的配网故障定位方法研究 练 寅，王 荣，刘安茳，王昆伦（７９）……………………………贵州火电机组机网耦合扭振典型故障分析与寿命评估 徐章福，邓彤天，李志凌，姜延灿（８６）……………………………第８期□大数据专题基于电力大数据的新能源跨区域消纳研究 彭 旭，郭耀松，刘 琼，周兆南，白 鑫，高 翔（１）…………基于小波变换的多路基坑尺寸检测降噪评估 张 周，胡 科，张 鹏，林 佳，胡涤尘（９）……………………基于多层协作负荷辨识技术的新型智能电表研制及应用 田 欣，王克南，宁 蒙，邓士伟，李世洁（１８）…………………考虑稳控系统动作策略的大电网实时风险评估 康 鹏，陈俊全，姚 刚，宋 弦，白宏宇，杨 帅（２６）…………基于电力大数据的多源异构数据融合技术研究与应用 毛先胤，文 屹，马晓红，黄 欢，张 辉，余 容（３３）…………考虑设备利用效率和规划执行情况的配电网规划投资分配模型 张 彦，高 华，刘金森，李丽娟（４０）……………………………基于ＰＳＯ－ＬＳＳＶＭ的输电杆塔腐蚀失重回归拟合研究和分析 王 立，李 振，王 伟，杨世平，刘 恒（４７）…………………基于营配大数据的配网故障定位系统的设计与实现 袁忠军，王 丹，段湛辉，陈业伟，李明勇，张宁欢（５６）…………基于健康度与重要度的配电网线路评价 林 元（６３）………………………………………………………基于新型滑模观测器的ＭＭＣ子模块ＩＧＢＴ开路故障诊断方法 刘方艳，汤亚芳（７１）………………………………………………基于电量守恒原理台区拓扑计算模型研究与应用 梁旭常，汪 毅，黄兆鹏，靳 光，刘 林，王 鹏（７９）…………深度调峰工况下外圈配水湿式冷却塔模拟研究 王锁斌，邓彤天，王红波，李晨宇（８６）……………………………第９期□大数据专题基于电网电厂数据交互的居民垃圾分类激励方法及效果预测 方 响，王 亿，夏 霖，孙智卿，徐祥海，侯伟宏（１）…………基于无线传感器与边缘网关的变电站全物联体系方案 朱 成，黄 娅，刘 沁，张 力，刘光程，周哲夫（１０）…………基于大数据技术的电网自然灾害应急救援能力评价体系研究 秦浩然，夏银宽（１８）………………………………………………基于改进粒子群算法的接地网腐蚀诊断研究 陈敬友，付 明，张 军，张 超，杨尊富，雷治炼（２６）…………基于用电信息的电力能效服务潜在客户挖掘 王立斌，马 浩，杨 鹏，张 晶，张肖杰（３４）…………………基于模糊聚类与互信息的电网运营指标类间筛选策略 李嘉周，尹 远，刘俊勇，王电钢，黄 林，唐 杰（４２）…………基于监控ＰａａＳ的大数据治理研究 王 军，宋 尧，于全喜，宁 楠，廖清阳（５０）…………………考虑抽蓄电站运行特性的电网经济调度方法 袁 泉，周 鑫，张 蔷，周毓敏，黄红伟，李 展（５８）…………基于改进内点法的电热联合系统优化研究 陈 晓，谭志海，平 原，刘兴艳，李玉芬（６６）…………………ＳＰＷＭ逆变器输出共模电压影响因素研究 江 娜，曾 鹏，艾 波，李 锦，王生平，谢明威（７４）…………机网系统耦合作用下贵州火电机组轴系扭振建模与实测验证 徐章福，邓彤天，李志凌，姜延灿（８５））…………………………第１０期□大数据专题基于一维卷积神经网络和自注意力机制的非侵入式负荷分解 蒙 亮，于 超，张希翔，覃智君（１）……………………………弱约束关联下考虑社会属性的低压居民台区负荷预测 卢德龙，缪继东，吕培强，殷 勤，吴 阳（９）……………………基于多维特征模糊聚类的负荷用户精准用电管理策略 殷新博，王 数，陆 芸（１７）……………………………………ＲＩＭＡ－ＭＳＦＤ组合模型在甘肃省水力发电量预测中的应用 成禹蓉，冶海廷（２５）………………………………………………大数据思维推进光伏扶贫管理创新的实践及应用研究 罗 凡，徐兰兰，边海源，杨照逵，白闻强，王小龙（３４）…………基于移动边缘计算的电力需求响应业务分配研究 胡 波，王建红（４２）………………………………………………基于大数据的企业用能数据共享分析平台设计与实现 张 颖，郭思炎，张益辉（４９）……………………………………电力大数据第２３卷基于云计算的小水电远程集控平台的设计与实现 陈云鹏，郑黎明，邱生顺，刘德文，李晓波，杜 炜，陈庆锋（５５）……基于数据中台的电力数据报表模型研究与应用 张 帆，杨 志，李文娟，胡锡双，张 乐（６３）…………………基于规划工具的配电网规划现状数据分析研究 关守姝，董小虎，孙 强，冯 涛，韩天华（７０）…………………南方电网发电侧运行备用容量统计研究及应用 李慧勇，杜 旭，方必武，杨 林，郭自豪，丁 刚（７９）…………电力数据标签库建设及服务能力研究 郭 敏，林晓静，尹泽楠，万 凯（８６）……………………………第１１期□大数据专题基于电网大数据的故障风险分析研究 裴求根，杨舒涵，卢宾宾（１）………………………………………基于改进ＦａｓｔｅｒＲＣＮＮ的配网架空线路异常状态检测 王超洋，罗敬一（９）………………………………………………基于ＡＩ大数据技术的无人机巡线研究 王 勇，王永旺，郭建勋（１７）……………………………………基于大数据的输电线路无人机巡检路径追踪方法 吴晏芳，梁智勇，陈冠胜，黄 浩，姜 南，魏子力（２４）…………基于边缘计算的ＧＩＳ母线热特性状态辨识研究 程占峰，夏 博，李波涛，王兴江，朱思尧（３１）…………………基于大数据技术的交直流混合主动配电网规划模型构建 胡 波，赵善龙，庞伟林（３８）……………………………………呼和浩特地区电网基于大数据的ＢＰ神经网络短期负荷预测 姜海洋，周芮冰，王烁罡，周定均，刘昌新，云 卿（４７）…………智慧家庭储能系统配置与运行双层优化 胡厚鹏，林晓明，钱 斌，梁 雾，刘安茳，练 寅（５５）…………基于出力－等值容量特性的光伏出力预测方法 吴 雨，张 宇，赵紫恒，连 欣（６３）……………………………基于电力大数据分析的综合能源服务分析与服务策略制定 曹 敏，白泽洋，巨 健（７２）……………………………………基于电量实时计算的市场监测数字化分析研究与应用 王林信，罗世刚，江 元，李竣业（７９）……………………………基于大数据分析的火电机组节能诊断与能效管理 张 平，孙雪丽（８６）………………………………………………第１２期□大数据专题Ｘ射线数字成像技术与图像人工智能诊断的探索与实践 谢百明，李 波，樊 磊（１）………………………………………基于大数据多元电网动态参数应用的研究 谢怀影，于 淼，贾 威，赵 军，李 婷，王钒宇（１０）…………基于ＣＥＥＭＤＡＮ－ＷＰＴ的台区线损组合变权预测模型研究 周 彬，李宜伦，张异殊，王国栋，蔡娇彧，牛 俊（１８）…………基于大数据分析的园区综合能源企业能效评价 郭 飞，王 波，王 亮，史渊源，胡建军，李秀广（２９）…………基于数据挖掘的南网异地容灾数据负载分析及磁盘空间预测 姜 南，梁智勇，吴晏芳，黄 浩，魏子力，吴浩珊（３７）…………江苏核电基于Ｓｏｌｒ与ＨＢａｓｅ的ＣＣ１设备信息工作台的设计 与实现 朱云飞，杨 强，秦绪涛，张钧鸣（４４）…………………………社会治理视角下的城市大脑电力驾驶舱设计及应用 王 亿，陈 奕，方 响，宣 弈，徐祥海，孙智卿（５０）……基于电力负荷大数据的负荷分析方法及其在无锡地区疫情 期间的应用 董金哲，白晨阳，刘志仁，於慧敏，胡晓青，李 澄（５７）……基于电力大数据的企业复工复产模型研究及应用 王林信，江 元，罗世刚，李竣业（６５）…………………………融合气象信息的配网故障特征挖掘和故障预报研究 周小华，范美鹏，袁雪松，舒文雄（７２）…………………………居民用电行为分析及潜力研究 杨 宏，邓晨成，邹 芹，石 莹（８０）…………………………《电力大数据》２０２０年１～１２期总目录 （８９）………………………………………………。
多源异构数据融合的大数据分析技术研究
多源异构数据融合的大数据分析技术研究随着互联网的发展和智能化设备的广泛普及，数据量呈现爆发式增长，尤其在移动互联网、物联网、社交网络和电子商务等领域，各类数据源不断涌现，因此多源异构数据融合成为了大数据分析技术中一个非常重要的环节。
多源异构数据融合指的是将来自不同类型、不同结构和不同来源的数据进行集成和融合，增强数据的完整性、一致性和可靠性，进而为大数据分析提供更加全面准确的数据基础。
在实际应用中,数据融合通常涉及数据清洗、数据转换、数据集成和数据质量控制等多个环节,需要在数据管理、算法设计等方面综合考虑。
一般而言，多源异构数据融合存在以下几个挑战：一是数据的异构性。
不同来源的数据可能存在不同的数据规范、数据结构和数据格式，存在数据类型和语义的差异，进而对数据的融合、转换和集成提出更高的要求。
二是数据的复杂性。
数据集成和融合往往涉及较多的数据元素和目标数据定义，从而在算法设计、计算效率、存储器容量等方面存在复杂性和难度。
三是数据的可靠性。
数据融合必须保证数据的一致性、准确性和可靠性，对于来自不同来源、不同时间点和不同质量保证的数据如何有效的集成和清洗是一个非常关键的问题。
为了应对这些挑战，研究者们提出了多种多源异构数据融合的方法和技术。
一种常见的方法是将数据融合模型分解为多个子模型，并对每个子模型进行独立的数据转换和集成，在保证算法精度和效率的同时，提高了模型的可解释性和稳定性。
另一种常见的技术是基于数据挖掘和机器学习的方法，在分析数据特征和规律的基础上，构建数据预测模型以及数据关联模型，进而将数据进行统一的融合和集成，提高数据的一致性和可靠性。
此外，还有一些技术可以被应用于多源异构数据融合中，例如，大数据关联挖掘、数据融合的网络连通性算法、动态数据多源融合等等。
这些技术具体包括了大数据环境下数据处理的分布式计算、数据抽取和预处理、集群计算和监测等技术，使得数据的高效和准确融合成为可能。
在实际应用中，多源异构数据融合技术的应用非常广泛。
电力系统大数据分析与应用实践
电力系统大数据分析与应用实践近年来，随着信息技术的飞速发展，电力系统大数据分析和应用已经逐渐成为电力行业的重要研究方向。
通过大数据分析，电力公司可以更好地了解电力供需情况，提高电力生产效率，优化电力负荷预测，减少能源浪费并为未来电力规划提供依据。
本文将从电力大数据的概念、电力系统大数据处理、电力大数据应用实践等方面进行阐述。
一、电力大数据的概念电力大数据是指通过各种传感设备、传输网络、存储设备等所收集到的海量数据，并通过数据分析、挖掘等手段进行处理和应用，以满足电力行业生产经营、管理决策和技术创新等方面的需求。
电力大数据主要包括电能数据、用电负荷数据、计量设备数据、线路设备数据、变压器数据、安全生产数据等。
这些数据的收集和处理对于提高电力系统的效率和安全性至关重要。
二、电力系统大数据处理电力系统大数据处理包括数据的收集、存储、处理、分析和应用等环节。
下面我们将从这些方面进行具体的介绍：1. 数据采集电力系统中的海量数据需要通过各种传感器、通信网络等装置进行采集。
电力公司需要及时收集电能数据、用电负荷数据、计量设备数据、线路设备数据、变压器数据、安全生产数据等。
通常，这些数据源需要通过传输网络进行汇聚到一个中心点。
通过现代化的通信网络，可以在各个地点进行远程数据采集工作。
数据采集的效率和质量，直接影响到后续数据分析和应用的效果。
2. 数据存储电力系统中的大数据需要长期保存和管理，同时也需要进行备份。
在数据存储过程中要考虑存储容量、数据完整性、安全性和易用性等因素。
电力公司通常采用高性能服务器，建立稳定、可靠、高扩展性的数据存储和备份系统。
存储架构通常采用分层结构，在性能需求较高的应用场景采用闪存或快速存储盘，而在性能需求不高的场景采用SATA或高容量存储盘。
数据备份可以采用磁带备份、硬盘备份等多种形式。
3. 数据处理大数据处理是电力公司实现业务价值的关键环节之一。
在数据处理过程中，首先需要对数据进行清洗，去除噪声、异常值和重复值等。
电力大数据的多源异构数据融合技术
TECHNOLOGY AND INFORMATION
电力大数据的多源异构数据融合技术
王昊 顾新桥 杨甲明 崔跃君 买淑贞 北京中电普华信息技术有限公司 北京 100085
摘 要 本文主要针对电力大数据的多源异构数据融合技术进行了深入的探讨和详细的研究，在研究智能电网数据 内容类型的基础上，采用Web service来设计多源数据接口的交换平台，同时具有针对性地提出了基于SOA的多源异 构数据融合架构，进一步提升了电力系统数据融合效率与应用能力。 关键词 电力系统；大数据；多源异构数据；数据融合
22 科学与信息化2020年12月中
Copyright©博看网 . All Rights Reser合平台 此项平台由数据层、交换层、集成层和用户层构成，数据 层包含不同部门、不同系统的异构数据，交互层的主要目的是完 成异构数据到XML格式数据的双向转换，集成层主要由平台管 理中心、数据交换服务中心和数据中心组成，用户层主要是人机 交互系统，负责用户的登录、权限管理和系统维护等问题[3]。 3 结束语 作者主要采用XML作为多元异构电力大数据融合的标准接 口，以Web service作为平台各层的通信标准，在SOA基础上架 构搭建了多元异构的电力大数据共享平台，在较大程度上解决 了电网中不同部门系统之间的“信息孤岛”问题，从而最终实 现了电力大数据的共享交换。 参考文献 [1] 林瑀,陈日成,金涛.面向复杂信息系统的多源异构数据融合技术 [J].中国测试,2020,46(7):1-7,23. [2] 宋雪莹.基于异构数据源的电力大数据处理方法[D].北京:华北电 力大学(北京),2019. [3] 王瑞杰.面向电力调度控制系统的多源异构数据处理方法研究 [D].北京:华北电力大学(北京),2017.
能源大数据技术的应用与发展
能源大数据技术的应用与发展一、前言在全球迫切需要实现能源转型的发展潮流下，“互联网+”智慧能源已成为广受能源领域关注的热点，能源网与互联网的深度融合是解决当前能源问题，重塑全球能源格局的重要变革力量。
能源大数据融合了海量能源数据与大数据技术，是构建“互联网+”智慧能源的重要手段。
它集成多种能源（电、煤、石油、天然气、供冷、供热等）的生产、传输、存储、消费、交易等数据于一体，是政府实现能源监管、社会共享能源信息资源、促进能源体制市场化改革的基本载体。
同时，能源大数据以数据开放共享为核心理念，是应用互联网机制与技术改造传统能源系统的最佳切入点，是推进能源系统智慧化转型升级的有效手段。
进一步地，能源大数据是打破行业壁垒，促进各种能源系统融合的助推剂，将催生一批智慧能源新兴业态，亦是实现能源行业转型升级、打造新的经济增长点的关键技术。
为此，本文从能源大数据技术的基本内涵出发，阐述了能源大数据的基本架构及典型特征，总结了国内外大数据在能源领域的应用现状，并探讨了目前我国能源大数据建设中所存在的问题。
立足现存问题，对我国下一步能源大数据产业的布局提出了若干发展建议，以支撑“互联网+”智慧能源战略发展。
二、能源大数据技术的基本内涵大数据是以整个数据集合为研究对象的一项综合技术，是传感技术、信息通信技术、计算机技术、数据分析技术与专业领域技术的结合，是对传统的数据挖掘、数据分析技术的继承和发展。
随着我国“互联网+”在能源行业的深入发展，所衍生的“互联网+”智慧能源融合互联网的思维和技术，改造传统能源的生产、传输、消费、转换、交易等全产业链，依托能源大数据技术，形成能源与信息高度融合、互联互通、透明开放、互惠共享的新型能源体系。
面向“互联网+”智慧能源的能源大数据基本架构由应用层、平台层、数据层以及物理层组成，如图1所示。
图1能源大数据基本架构能源大数据的物理层包括了能源生产、能源传输、能源消费全环节以及每一环节的各类能源装备。
对电力设备状态大数据分析
对电力设备状态大数据分析摘要：随着智能电网的发展和电网规模的迅速增长, 及时、准确地掌握电力设备运行状态面临巨大的问题和挑战。
近年来, 电力信息化日臻完善, 电力设备状态监测、生产管理、运行调度、环境气象等数据逐步实现集成共享, 大数据技术为电力设备状态评估和故障诊断提供了全新的解决思路和技术手段。
结合大数据技术及数据挖掘分析方法在电力设备状态评估中应用的现状, 说明了电力设备状态大数据分析的内涵、目的、数据特征和基本架构, 阐述了电力设备状态大数据集成、转换、清洗、分布式存储和处理、高效挖掘以及数据驱动的设备状态分析模型等关键技术。
通过分析电力设备状态评估的总体需求, 总结和探讨了大数据技术在电力设备状态评价、异常检测、故障预测、智能诊断等典型业务场景中应用的方法和效果, 提出了研究和应用中面临的主要问题, 并对相关技术的发展趋势进行了展望。
关键词：大数据; 电力设备; 状态评估; 故障诊断; 状态监测; 数据挖掘; 异常检测; 故障预测;Abstract：With the development of smart grid and the rapid expansion of power grid scale, it is very difficult to grasp the operational state of power equipment timely and accurately.In recent years, the informationization of electric power has reached a high level.Data from condition monitoring system, power production management system, operation dispatching system, and environmental meteorology system are gradually integrated and shared.Big data technologies provide new technical methods and tools for power equipment condition assessment and fault diagnosis.We put forward the connotation, purpose, data characteristics, and basic framework for big data analysis of power equipment condition, in consideration of the status quo of big data technology and data mining analysis in power equipment condition assessment.The key techniques of big data integration, conversion, cleaning, distributed storage and processing, data mining with high efficiency, and data-driven analysis model for power equipment condition assessment are comprehensively elaborated.According to the total demand analysis of power equipment condition assessment, the methods and effects of big data techniques in application scenarios such as condition evaluation, anomaly detection, fault prediction andintelligent diagnosis are summarized and discussed.Finally, the major problems in research and application are proposed, and the development trend of the relative technologies is prospected.Keyword：big data analysis; power equipment; condition assessment; fault diagnosis; condition monitoring; data mining; anomaly detection; fault prediction;0引言电力设备是构成电网的基础元件, 设备故障会严重影响电网的安全稳定运行, 造成巨大的经济损失。
多源异构数据的实时集成技术研究
多源异构数据的实时集成技术研究随着数据技术的发展，越来越多的组织和企业开始意识到数据管理的重要性，一些新的技术工具不断涌现，尤其是数据集成技术，可以帮助组织轻松地整合从不同数据源获取的数据。
对于多源异构数据，实时集成技术已经成为了解决方案之一。
什么是多源异构数据？多源异构数据是指来自多个数据源并且数据源类型不同的数据，包括结构化、半结构化和非结构化数据。
这些数据可以来自不同的数据库、软件系统、传感器、API等各种数据源。
由于多源异构数据的特殊性，要实现数据集成需要一些复杂的数据整合技术。
传统的数据集成技术，如手动ETL（抽取、转换、加载），对于大规模的多源异构数据集成不太适用，因为它们需要耗费很多时间和人力。
实时集成技术是怎么做到的？实时数据集成技术是一种新的数据集成技术，它使组织能够在数据源中实时引入信息，将这些数据整合为一个清晰的视图。
这使得企业可以更好地管理和利用其大量分散的数据。
如果企业要赶上就-in-time的市场，例如交易、监控数据等，那么实时数据集成的能力是必不可少的。
实时数据集成遵循以下三个步骤：1. 数据抽取首先，数据的抽取是实时数据集成的第一步。
它需要从各种数据源中收集数据，并存储在一个中央位置中，以供后续的处理和分析。
数据抽取通常包括抽取与预处理，以及转换和流数据的压缩。
2. 数据转换数据转换是实时数据集成的第二步。
在这个步骤中，数据将进行规范化、加工和变换。
数据转换的过程可以帮助标准化不同的数据源，使之能够在同一平台上进行分析和处理。
另外，它还可以使数据更加易于理解和操作。
3. 实时数据存储实时数据存储是实时数据集成中最后一步。
这个步骤的目的是将处理好的数据实时地存储在一个访问点中。
企业可以随时到这个访问点中获取数据，并对故障进行恢复操作。
实时数据存储通常是在内存或硬盘上进行的。
实时数据集成技术的优势实时集成技术的实时性是其最大的优势。
给定一个大型企业，在传统的数据集成环境中，数据准备过程可能需要数周甚至数月时间，这将导致企业决策变得迟钝和不准确。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
电力大数据应用现状及多源异构数据分析技术研究
作者：马平徐伟东沈浩钦吴杭
来源：《中国科技纵横》2014年第23期
【摘要】智能电网运行、检修和管理过程中会产生海量异构、多态数据，如何将它们进行高效可靠存储，并实现快速分析访问已是当前电力系统中重要的研宄课题。
本文在分析电力生产各个环节大数据的产生来源和特点基础上，阐述市场已有大数据技术在电力系统应用的优势和不足。
最后，从电网异构多源信息融合及可视化方向提出了一种应用方法。
【关键词】智能电网 ;大数据 ;异构分析 ;可视化
1 引言
近年来，随着全球能源问题日益严峻[1]，世界各国都开展了智能电网的研究工作。
智能电网的最终目标是建设成为覆盖电力系统整个生产过程，包括发电、输电、变电、配电、用电及调度等多个环节的全景实时系统。
而支撑智能电网的基础是电网大数据全景实时数据采集、传输、存储以及快速分析。
目前智能电网中的大数据主要来自以下几个方面：
（1）海量电网状态信息采集设备。
常规的调度自动化系统含数十万个采集点，配用电、数据中心将达到百万甚至千万级。
需要监测的设备数量巨大，每个设备都装有若干传感器，构成了一个庞大的数据网。
（2）高频电网状态信息捕获技术。
为满足上层应用需求，设备的采样频率逐渐提高。
在输变电设备状态监测系统中，为了能对绝缘放电等状态进行诊断，信号的采样频率必须在200kHz以上，特高频检测需要GHz的采样率。
（3）视频及模式识别系统推广。
智能电网视频监控系统不仅要求能够真实地反映电力系统的情况，并且还需自动判断情况的好与坏，同时自动采取相关措施，是一个“会思考”、“能做事”的智能化系统。
为此，需要电网具备强大存储及处理能力。
2 现有大数据处理技术局限性
谷歌公司提出的分布式文件系统（distributed file system，DFS）和MapReduce技术，已成为现阶段Facebook、雅虎等网络公司大数据应用的解决方案[2]。
DFS技术，具备高容错性特点，可部署在海量且价格低廉的硬件设备上，而且它为应用程序提供了高吞吐量的数据访问，适合那些有着超大数据集程序。
MapReduce为2004年由谷歌公司提出的一个用来进行并行处理和生成大数据集的并行编程模型。
应用“解析器”，将复杂数据关系进行映射及化简，配合DFS最终实现快速数据处理。
但是，该方法应用在电力系统中直接面向业务对象，就表现出一定局限性。
（1）数据形式多样化。
电网业务数据大致分为3类：一是电网运行和设备检测或监测数据;二是电力企业营销数据;三是电力企业管理数据。
包含一维数据、二维数据、多维数据、文本与超文本、层次和图形等多种形式。
现有大数据技术无法直接或高效的分析处理。
（2）数据价值密度较低。
以视频为例，连续不间断监控过程中，可能有用的数据仅仅有1～2 s。
在输变电设备状态监测中存在同样问题，所采集的绝大部分数据都是正常数据，只有极少量的异常数据，而异常数据是状态检修的最重要依据。
电力系统若要应用成熟大数据技术，首先需对各类异构信息进行预处理，本文将就异构多数据处理技术在电力系统应用进行分析，并简述一种针对低价值密度数据集的可视化方法。
3 数据预处理及可视化技术
为更好阐述本文提出的面向电力系统多源异构数据的多维分析与可视化方法，首先结合主要电力环节和信息处理流程，加入数据自动抽取与格式转换模块（含实时在线访问控制模块）、以及多形式的可视化展示模块，形成如图1所示电力系统大数据处理框图。
3.1 数据自动抽取与格式转换
针对各自治系统提供数据方式的不同以及兼顾电力数据的特点，提出并设计了一种多源异构海量数据的实时数据自动抽取与转换模块[3，4]，模块结构如图2所示。
该模块包括实时控制监测层、实时抽取格式处理层以及实时存储层等。
其中：
实时控制监测层：主要完成多源数据的访问权限的配置与管理、访问的方式配置、访问频次设定以及异常处理等，目的是与各数据来源建立合法可靠的数据访问机制。
实时自动抽取与格式转换处理层[5]：主要完成对实时监测到的数据进行正确性检查，根据各异构数据的不同抽取规则对实时在线获取的数据进行分类多线程的自动抽取，并结合决策基础数据库的存储设计要求进行相应格式转换，形成具体统一规范的数据格式，此层显然是最核心的处理层，在设计时要特别注意转换的效率和转换的正确性，是后期应用的基础性工作。
实时存储层[6]：主要完成对产品数据的保存和数据的实时利用，同时也方便以后历史数据的查询和统计分析等。
3.2 低价值密度数据集可视化
电网智能分析结果可视化是电力大数据应用的一个重要的组成部分[7]，可视化的效果直接影响到重要信息展示以及用户决策。
目前数据可视化已经提出了许多方法，这些方法根据其原理不同可以划分为基于几何的技术、基于层次的技术、面向像素技术等。
基于几何与层次的可视化技术现阶段已在较多领域应用，且不适合含有低价值密度数据的数据集。
面向像素技术是现阶段应用于大数据展示的先进技术，它的基本思想是将每一个数据项的数据值对应于一个带颜色的图片像素，对于不同的数据属性以不同的窗口分别表示。
面向像素的可视化方法包含独立于查询的方法和基于查询的方法两种[8]。
独立于查询的方法将数据库中的数据依从左到右（从上到下）的次序一行一行（一列一列）地排列显示出来，类似于几何可视化方法。
而基于查询的方法是根据数据值同所查询的要求的符合程度来匹配不同的颜色。
针对每一个数据项的值（a1，a2，...，an）及查询要求（q1，q2，...，qn）通过一个距离函数计算每个属性值与查询要求的匹配值，得到每个数据的一个总的距离值dn+1以反映数据项与查询要求之间的匹配程度，总的距离值dn+1越小越是用户所希望看到的数据。
查询的数据结果按dn+1的值由小到大从屏幕的中央螺旋地向四周展开。
这样不仅能看到所查询的数据，而且对于数据从近似匹配到不匹配的走势也能直观地表现。
该种方法配合模式识别技术，可对电力系统状态检修及故障专家决策系统有很大帮助。
4 结语
未来的智能电网将是依托大数据分析处理技术的全景实时电网。
本文针对行业内海量数据预处理问题，提出了一种面向多源异构数据的多维预处理模型，又针对电力系统低价值密度数据集普遍存在这一事实，提出应用像素可视化方法，最大限度地克服了现有系统分析力度不够和可视化单调的不足，提高了基于电力大数据技术的应用有效性。
此外，该方法对非电力行业的分析与处理也有一定的参考价值。
参考文献：
[1]宋亚奇，周国亮.智能电网大数据处理技术现状与挑战[J].电网技术，2013，3（4）：927-935.
[2]李国杰.大数据研究的科学价值[J].中国计算机学会通讯，2012，8（9）：8-15.
[3]惠卿，孙翠娟，董鸿燕.基于服务数据对象的异构数据集成系统[J].自动化技术，2010，8（6）：79-83.
[4]Peijian Wang.D-pro：dynamic data center operations with demand-responsive electricity prices in smart grid[J].IEEE Transactions on Smart Grid，2012，11（4）：1743-1754.
[5]谢华成，陈向东.面向云存储的非结构化数据存取[J].计算机应用，2012，32（7）：1924-1928.
[6]张良，佟俐娟.异构数据库集成中数据传输问题的研究[J].北京机械工业学院学报，2011，9（11）：65-68.
[7]刘勘，周晓峥，周洞汝.数据可视化的研究与发展[J].计算机工程，2012（8）：11-13.
[8]任永功，于戈.数据可视化技术的研究与进展[J].计算机科学，2010，31（12）.。