张军-大数据的理解与分布式进化计算方法
电信院导师研究方向
需要参与实验测试
《光通信原理与技术》
32
胡海峰
副教授
（1）于遨波，15349127 （2）邢宋隆，15350061 （3）张穗安，15349137 《概率论》、《计算机视觉》《数字图像处理》、《模式识别 （4）陈志鸿，15305009 》； （5）麦思杰，15350048 （6）徐凯昕，15343087 （7）孙健哲，14304141
《数字电路与逻辑设计》《数字集成电路设计》
9
夏明华
教授
确保在实验室有足够的工 作时间；认真负责，积极 主动；保研或者考研的同 学优先。
《数值计算方法》，《概率论与数理统计》
10
孙伟
教授
1、安全数据空间构建技术及其应用； 2、信息伪装处理编码及FPGA设计与实现； 3、基于Linux+ARM的安全通信系统设计与开发； 4、安全传输协议在网络通信中的应用研究； 5、基于面向对象聚类的协同过滤推荐算法及其 系统实现； 6、基于TensorFlow的仿人脑安全软件代码智能 生成技术研究及其应用。
对学生有何要求
主讲课程
1
戴宪华
教授
《数字通信系统》
2
刘星成
教授
《通信原理》；《无线通信原理》；《现代数字信号处理》
3
龙云亮
教授
1、基于PE的电波传播数值仿真及应用； 2、基于FDTD的电波传播数值仿真及应用； 3、移动通信终端天线设计。
《微波技术与天线》
4
马争鸣
教授
1，HSIC正则的流形学习 2，Grassmann流形上的字典学习 3，基于核学习的域自适应学习 4，流形学习的多项式逼近
《微电子学导论》、《半导体物理》
13
陈军
大数据基础知识入门
Spark
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark在借鉴Hadoop MapReduce优点的同时，很好地解决了MapReduce所面临的问题。 Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数 据集操作类型，编程模型比Hadoop MapReduce更灵活。 Spark基于DAG的任务调度执行机制，要优于Hadoop MapReduce的迭代执行机制，因此 Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
2. Google AlphaGo 第一个战胜围棋世界冠军的人工智能机器人。 结合了3大块技术：先进的搜索算法、机器学习算法 （即强化学习），以及深度神经网络。
1、根据当前盘面已经落子的情况提取相应特征；
2、利用策略网络估计出棋盘其他空地的落子概率；
3、根据落子概率来计算此处往下发展的权重，初始值为落子概
数据分析
数据分析：主要利用分布式数据 库，或者分布式计算集群来对存 储于其内的海量数据进行普通的 分析和分类汇总等，以满足大多 数常见的分析需求。
推荐书籍：
《谁说菜鸟不会数据分析(入门篇)》 《Spark快速大数据分析》 《社交网站的数据挖掘与分析》
数据建模和人工智能
数据建模：建模是指把具体问题抽象成为某一类问题并用数学模型表示，是应用于工 程、科学等各方面的通用方法，是一种对现实世界的抽象总结。 人工智能：在广义上，人工智能（AI）是指由人工制造出的智能机器，是一种能够学习 的计算机程序，可代替人类去解决需要人类智慧才能解决的问题。
Hadoop之父Doug Cutting
Hadoop技术介绍
Hadoop的架构
《电力大数据》2020年1-12期总目录
２０２０年１２月第２３卷第１２期电力大数据２０２０年总目录 Ｄｅｃ ２０２０，Ｖｏｌ ２３，Ｎｏ １２ＰＯＷＥＲＳＹＳＴＥＭＳＡＮＤＢＩＧＤＡＴＡＧｅｎｅｒａｌｃｏｎｔｅｎｔｓｉｎ２０２０《电力大数据》２０２０年１～１２期总目录第１期□大数据专题基于集中器ＳＩＭ卡状态分析的异常检测 董重重，王 吁，夏水斌，孙秉宇，何 欢，王先培（１）…………基于Ｑ－Ｌｅａｒｎｉｎｇ算法用户最优充电站运营研究 刘 燕，贾肇伟，高 虹（８）………………………………………基于倾角传感器及不同杆塔类型的输电线路覆冰监测研究 殷蔚翎，黄 良（１４）………………………………………………基于人工智能的风机塔筒倾覆智能预警系统建设与开发 陈万勋，刘春波，赵坚强（２１）……………………………………基于蛛状网拓扑智能变电站“三层一网”通信系统研究 单梦琦（２８）………………………………………………………基于数据可视化的隔离开关运检辅助决策 门业堃，于 钊，宋 威，侯宇程，钱梦迪，滕景竹（３７）…………基于大数据挖掘的电网监控信息智能监控研究 孙云岭，徐建建，李 飞，李少博，苏玉京，李 芸（４５）…………智能变电站集中式站域测控装置设计与实现 辛明勇，杨 婧，高吉普，王 宇，张 历，汪明媚（５１）…………基于大数据的电力环保数据平台建设 雒 军，唐 坚，赵 喆，王 佩，闫 强，陈 星（５８）…………新能源综合服务平台及在配电网中的应用研究 王建平，李 莎，罗子昀，王永琦（６４）……………………………节能灯谐波指纹的测试研究与分析于 洋，李成升（７０）…………气象模拟仿真技术在电力安全应急培训中的应用与研究 陈肖龙，刘 航，李卓晖，张宝星，潘岐深，张荣鑫（７８）…………基于负荷曲线的配网支线负荷电流计算研究与应用 林 元（８４）………………………………………………………第２期□大数据专题基于ＦＡＨＰ的电网企业配电变压器供应商分级管理评价模型 代 洲，尹 华，李桧禹，毛 磊（１）……………………………贵州省近６０年气温变化特征分析及对输电线路运维的影响 刘发勇，犹珀玉（９）………………………………………………基于大数据平台的点负荷近中期负荷预测及行业负荷增长 特征分析李 健，王琛，林韶生，杜佩仁（１７）……………………智慧能源区块链平台及典型应用分析与设计 裴求根（２６）………………………………………………………大数据技术在火电厂ＳＣＲ脱硝系统中的应用 唐 坚，尹二新，路光杰，陈 鸥，张 军，刘永岩（３２）…………基于电力物联网和ＧＩＳ融合的变电智能运检系统研究 李 飞，赵大兴（３８）………………………………………………电力领域科技查新系统的设计与实现 韦嵘晖，王庆红，孙辛博，王洪俊（４６）……………………………基于ＲｅｔｉｎａＮｅｔ模型的鸟巢智能检测 时 磊，杨 恒，周振峰，杨刘贵，张 辉，杜 浩（５３）…………电网转型背景下地市级智能电网示范区规划研究 唐小璐，赵伟然，古 含，何 鑫（５９）……………………………基于高层气象大数据的风电场中长期风功率预测研究 李 飞，纪 元（６６）………………………………………………基于决策流程的电网强降雨及地质灾害应急信息系统研究 苏华英，唐延婧，夏晓玲，田连杰（７３）……………………………无人机载多载荷输电线路巡检方法研究 陈科羽，王 萍，，石书山，周筑博，杨鹤猛（８０）…………………面向电力物联网的电力大数据应用 王海洋，赵忠强，唐建华（８７）……………………………………第３期□大数据专题基于大数据的台区行业聚合分类方法及分类特征分析 李 健，林韶生，陈 芳，杜佩仁（１）……………………………实时电价下用户侧电力需求响应模型优化策略及数字仿真 谈竹奎，汪元芹，赵 菁，刘 斌，刘 敏（１０）…………………设备监控信息大数据与设备模型的互校验及实用化事件分析 高 志，樊锐轶，米 超，王大海，胡庆博，冯 超（１９）…………利用大数据实现电能计量装置运行状态质量评估 妙红英，李 蒙，王艳芹，王 松，洪 虹，康 强（２７）…………基于稳态波形分解与神经网络的负荷识别方法 陈伟伟，洪彬倬（３４）………………………………………………基于大数据的导线悬垂面脱冰跳跃高速摄影测量方法研究 马晓红，吕乾勇，毛先胤，徐舒蓉，王建国，唐 敏（４０）…………基于ＢＰ神经网络的输电线路隐患预放电识别研究 杨 旗，曾华荣，黄 欢，马晓红，毛先胤，张露松（４７）…………大数据理念下的供应商分析及应用研究 方茂欢，贺绍鹏，陈金猛，李 屹，郝嘉诚（５５）…………………基于Ｈａｄｏｏｐ和ＨＢａｓｅ的输变电设备数据聚合平台 陈 锐，吴应双，曹 杰，刘明顺（６２）……………………………基于用户行为的分时电价时段划分和价格制定 陈巨龙，黄剑平，张 裕，代 江（６９）……………………………智能变电站二次系统组网结构与信息传输优化研究 唐孝舟，刘青红，孙长兰，章叶青，葛立青（７７）…………………电力大数据第２３卷考虑多场景新能源预测的月度机组组合研究 赵 倩，赵翔宇，苏华英，汪明清，游成彬，黄红伟（８５）…………第４期□大数据专题基于故障概率的配电设备排查路径规划 马天佚，朱建明，杨 霖，张 驰（１）……………………………多源信息融合的微服务化电网事故追忆 韦洪波，曹 伟，叶桂南，韦昌福，何伊妮（８）……………………基于人工智能的电网调度操作智能防误系统建设及实践 蔡新雷，齐 颖（１６）………………………………………………电力物联网中５Ｇ边缘计算技术的研究 王 亮，鲜 柯（２４）………………………………………………基于ＬｏＲａ技术的低压集抄系统运行可靠性分析 孙 航，梁丹丹，郝凤柱，何 毅，张 鸷（３１）…………………基于规则和机器学习的核电文件分发系统研究 刘帝勇，杨 强，岳振兴（３９）……………………………………基于大数据模式识别机器学习算法的热力站动态能耗指标 预测模型王 炎，张海增，胡新华，赵 隽，李 添（４７）………基于ＸＧｂｏｏｓｔ的线路覆冰测量中激光测距的误差研究 曾华荣，谢百明，王 冕，林呈辉，高吉普（５４）…………………多虚拟电厂接入的主动配电系统优化经济调度 邵倩文，姚 璐，谢 威，李舒佳，谢 敏，李建钊（６２）…………基于预期完成率的月内滚动机组组合研究 田年杰，苏华英，刘明顺，李 赟，黄红伟，游成彬（７１）…………电能表运行误差与状态评价模型研究 王晨丞，张君胜，蒲丽娟，何培东，杜 斌，赵智辉（７９）…………存在反向有功电量低压用户的研判方法研究 马 浩，王立斌，武超飞，赵国鹏，马婷婷（８６）…………………第５期□大数据专题基于生存分析模型的电力设备故障预测方法 王春波，陈 刚，周 融，马莉娟（１）……………………………基于人工智能技术的电网调度控制业务研究 范英乐，王 浩，白玉东，李 熙（９）……………………………基于神经棒的电力变压器离线图像识别研究与应用 曾 惜，王 冕，王林波，龙思璇，吕 飞，陈华彬（１６）…………低照度液晶屏幕图像增强算法 张薇薇，王 彦，张庆伟，付龙明，黄 辉（２３）…………………一种改进的ＲＧＢ－ＤＳＬＡＭ室内空间三维重建方法 余兆凯，彭晓峰，邱昌杰，李 训，常友谦（３０）…………………综合能源热力潮流节点标幺值模型及算法实现 陈 晓，齐文斌，平 原，谭志海，刘兴艳（３８）…………………考虑发电能力匹配性的输变电设备检修优化方法 李 豹，袁 泉，张 蔷，卢明富，张德亮，黄红伟（４６）…………大数据技术在配网单线图自动成图的应用研究 何雄坤，周宏志，聂 辉，陈满超，齐志刚（５４）…………………基于数据驱动的物资储检配一体化系统研究和应用 彭 坤，朱长征，高书怡，朱孝峰，潘 敏，李 刚（６４）…………基于大数据的发电量预测分析数据平台建设 张睿锐，徐俊强，童 琪（７２）……………………………………一种云计算数字签名技术的研究与实现 杨凯利，瞿 强，张永超，张其静，娄红红（８０）…………………面向电网实时运行风险的快速定级方法研究及应用 罗 艳，陈子敬，高 浩，粟 景（８６）……………………………第６期□大数据专题基于用户停车行为统计的电动汽车快速充电站最优规划 陈巨龙，刘振铭，薛 毅，廖志军，郑方鹏，徐立新（１）…………大数据环境下基于Ｋ－ｍｅａｎｓ聚类算法的分组负荷预测研究 史 静，南开辉，周 琪，谈 健，李 琥（９）……………………基于改进的ＳＡＥ和ＤＣＴ的自适应无人机巡线图像识别算法研究 王 鑫，李天睿，焦睦涵，刘萌森，刘逸涵（１７）…………………基于ＫＣ－ＬＳＳＶＭ－ＭＡＦＳＡ的并网光伏微网系统的能量管理 黄 柯，李佳蓉，杨璐瑜，陈 爽（２６）……………………………基于ＢＰ神经网络模型的输电线路造价预测模型研究 张宇晨，张宇霖，封春菲，王 晨（３５）…………………………基于ＴＯＰＳＩＳ的私自增容专变电力用户排查方法 王立斌，张思为，马 浩，赵 佩，李梦宇（４３）…………………基于多级属性加密的零信任访问授权控制方法研究与设计 黄 何，刘 劼，袁 辉（５１）……………………………………基于大数据分析的电力用户多维价值识别精准营销投入产出 模型研究姚丹靖，褚 燕（５７）……………………………………基于大数据技术的配网故障抢修分析预测系统的设计与实践 王海洋，迟兆江，蔡鹏飞（６３）……………………………………数据标签研究与应用李阿勇，税 雪，宋志伟（６９）………………基于泛在感知及Ｐｙｔｈｏｎ编程的线损问题区间快速定位方法 黑 阳，单宇南，李文澜，张 维，郝旭东，胡一平（７５）…………基于同步向量的配电网运行数据监测装置设计 曾 惜，王元峰，王林波，杨琦岑，蔡广林（８５）…………………第７期□大数据专题基于ＦａｃｅＮｅｔ的无人值守变电站智能监控终端 宗祥瑞，王 洋，金 尧，周 斌，任新颜，庞玉志（１）…………基于大数据的电网状态估计精细化分析 刘 爽，张 硕，郑 璐，王兴才，金宜放，王 铎（９）………… 第１２期《电力大数据》２０２０年总目录数据挖掘技术在反窃电工作中的应用研究 秦 娜，高振江，白泽明，栾德佳，李雨庭（１６）…………………水火电发电权交易机制及水电市场化发展模式探究 吕 翔，吴引航，戴晓娟，卢冬雪，陈雨果（２４）…………………基于随机模型预测控制的能源互联网双层协调优化调度 蒋泽甫，张 彦，高 华，何向刚，周杨林（３１）…………………一种基于ＳＱＬｉｔｅ数据库的电网滚动规划分布式收资方法 俞秋阳，何俊峰，常宝立，王新宝（３９）……………………………利用差分－花粉算法实现反时限过流优化 罗 琨，罗晨瑀，刘 丽，李正新，周 坤，郝东方（４６）…………变电站双星形并联电容器组电容量快速测量方法 杨 旗，谢百明，陈沛龙，文 屹，马晓红，陈 竹（５４）…………基于数据分析的ＭＧＰ并网系统电气端口的谐波特性 陈巨龙，薛 毅，李庆生，张裕，何向刚（６２）……………………基于聚类分析的低压配电设备误告警识别方法 冯 义，李中文，晋 斌，张腾飞（７２）……………………………一种基于主站多源信息的配网故障定位方法研究 练 寅，王 荣，刘安茳，王昆伦（７９）……………………………贵州火电机组机网耦合扭振典型故障分析与寿命评估 徐章福，邓彤天，李志凌，姜延灿（８６）……………………………第８期□大数据专题基于电力大数据的新能源跨区域消纳研究 彭 旭，郭耀松，刘 琼，周兆南，白 鑫，高 翔（１）…………基于小波变换的多路基坑尺寸检测降噪评估 张 周，胡 科，张 鹏，林 佳，胡涤尘（９）……………………基于多层协作负荷辨识技术的新型智能电表研制及应用 田 欣，王克南，宁 蒙，邓士伟，李世洁（１８）…………………考虑稳控系统动作策略的大电网实时风险评估 康 鹏，陈俊全，姚 刚，宋 弦，白宏宇，杨 帅（２６）…………基于电力大数据的多源异构数据融合技术研究与应用 毛先胤，文 屹，马晓红，黄 欢，张 辉，余 容（３３）…………考虑设备利用效率和规划执行情况的配电网规划投资分配模型 张 彦，高 华，刘金森，李丽娟（４０）……………………………基于ＰＳＯ－ＬＳＳＶＭ的输电杆塔腐蚀失重回归拟合研究和分析 王 立，李 振，王 伟，杨世平，刘 恒（４７）…………………基于营配大数据的配网故障定位系统的设计与实现 袁忠军，王 丹，段湛辉，陈业伟，李明勇，张宁欢（５６）…………基于健康度与重要度的配电网线路评价 林 元（６３）………………………………………………………基于新型滑模观测器的ＭＭＣ子模块ＩＧＢＴ开路故障诊断方法 刘方艳，汤亚芳（７１）………………………………………………基于电量守恒原理台区拓扑计算模型研究与应用 梁旭常，汪 毅，黄兆鹏，靳 光，刘 林，王 鹏（７９）…………深度调峰工况下外圈配水湿式冷却塔模拟研究 王锁斌，邓彤天，王红波，李晨宇（８６）……………………………第９期□大数据专题基于电网电厂数据交互的居民垃圾分类激励方法及效果预测 方 响，王 亿，夏 霖，孙智卿，徐祥海，侯伟宏（１）…………基于无线传感器与边缘网关的变电站全物联体系方案 朱 成，黄 娅，刘 沁，张 力，刘光程，周哲夫（１０）…………基于大数据技术的电网自然灾害应急救援能力评价体系研究 秦浩然，夏银宽（１８）………………………………………………基于改进粒子群算法的接地网腐蚀诊断研究 陈敬友，付 明，张 军，张 超，杨尊富，雷治炼（２６）…………基于用电信息的电力能效服务潜在客户挖掘 王立斌，马 浩，杨 鹏，张 晶，张肖杰（３４）…………………基于模糊聚类与互信息的电网运营指标类间筛选策略 李嘉周，尹 远，刘俊勇，王电钢，黄 林，唐 杰（４２）…………基于监控ＰａａＳ的大数据治理研究 王 军，宋 尧，于全喜，宁 楠，廖清阳（５０）…………………考虑抽蓄电站运行特性的电网经济调度方法 袁 泉，周 鑫，张 蔷，周毓敏，黄红伟，李 展（５８）…………基于改进内点法的电热联合系统优化研究 陈 晓，谭志海，平 原，刘兴艳，李玉芬（６６）…………………ＳＰＷＭ逆变器输出共模电压影响因素研究 江 娜，曾 鹏，艾 波，李 锦，王生平，谢明威（７４）…………机网系统耦合作用下贵州火电机组轴系扭振建模与实测验证 徐章福，邓彤天，李志凌，姜延灿（８５））…………………………第１０期□大数据专题基于一维卷积神经网络和自注意力机制的非侵入式负荷分解 蒙 亮，于 超，张希翔，覃智君（１）……………………………弱约束关联下考虑社会属性的低压居民台区负荷预测 卢德龙，缪继东，吕培强，殷 勤，吴 阳（９）……………………基于多维特征模糊聚类的负荷用户精准用电管理策略 殷新博，王 数，陆 芸（１７）……………………………………ＲＩＭＡ－ＭＳＦＤ组合模型在甘肃省水力发电量预测中的应用 成禹蓉，冶海廷（２５）………………………………………………大数据思维推进光伏扶贫管理创新的实践及应用研究 罗 凡，徐兰兰，边海源，杨照逵，白闻强，王小龙（３４）…………基于移动边缘计算的电力需求响应业务分配研究 胡 波，王建红（４２）………………………………………………基于大数据的企业用能数据共享分析平台设计与实现 张 颖，郭思炎，张益辉（４９）……………………………………电力大数据第２３卷基于云计算的小水电远程集控平台的设计与实现 陈云鹏，郑黎明，邱生顺，刘德文，李晓波，杜 炜，陈庆锋（５５）……基于数据中台的电力数据报表模型研究与应用 张 帆，杨 志，李文娟，胡锡双，张 乐（６３）…………………基于规划工具的配电网规划现状数据分析研究 关守姝，董小虎，孙 强，冯 涛，韩天华（７０）…………………南方电网发电侧运行备用容量统计研究及应用 李慧勇，杜 旭，方必武，杨 林，郭自豪，丁 刚（７９）…………电力数据标签库建设及服务能力研究 郭 敏，林晓静，尹泽楠，万 凯（８６）……………………………第１１期□大数据专题基于电网大数据的故障风险分析研究 裴求根，杨舒涵，卢宾宾（１）………………………………………基于改进ＦａｓｔｅｒＲＣＮＮ的配网架空线路异常状态检测 王超洋，罗敬一（９）………………………………………………基于ＡＩ大数据技术的无人机巡线研究 王 勇，王永旺，郭建勋（１７）……………………………………基于大数据的输电线路无人机巡检路径追踪方法 吴晏芳，梁智勇，陈冠胜，黄 浩，姜 南，魏子力（２４）…………基于边缘计算的ＧＩＳ母线热特性状态辨识研究 程占峰，夏 博，李波涛，王兴江，朱思尧（３１）…………………基于大数据技术的交直流混合主动配电网规划模型构建 胡 波，赵善龙，庞伟林（３８）……………………………………呼和浩特地区电网基于大数据的ＢＰ神经网络短期负荷预测 姜海洋，周芮冰，王烁罡，周定均，刘昌新，云 卿（４７）…………智慧家庭储能系统配置与运行双层优化 胡厚鹏，林晓明，钱 斌，梁 雾，刘安茳，练 寅（５５）…………基于出力－等值容量特性的光伏出力预测方法 吴 雨，张 宇，赵紫恒，连 欣（６３）……………………………基于电力大数据分析的综合能源服务分析与服务策略制定 曹 敏，白泽洋，巨 健（７２）……………………………………基于电量实时计算的市场监测数字化分析研究与应用 王林信，罗世刚，江 元，李竣业（７９）……………………………基于大数据分析的火电机组节能诊断与能效管理 张 平，孙雪丽（８６）………………………………………………第１２期□大数据专题Ｘ射线数字成像技术与图像人工智能诊断的探索与实践 谢百明，李 波，樊 磊（１）………………………………………基于大数据多元电网动态参数应用的研究 谢怀影，于 淼，贾 威，赵 军，李 婷，王钒宇（１０）…………基于ＣＥＥＭＤＡＮ－ＷＰＴ的台区线损组合变权预测模型研究 周 彬，李宜伦，张异殊，王国栋，蔡娇彧，牛 俊（１８）…………基于大数据分析的园区综合能源企业能效评价 郭 飞，王 波，王 亮，史渊源，胡建军，李秀广（２９）…………基于数据挖掘的南网异地容灾数据负载分析及磁盘空间预测 姜 南，梁智勇，吴晏芳，黄 浩，魏子力，吴浩珊（３７）…………江苏核电基于Ｓｏｌｒ与ＨＢａｓｅ的ＣＣ１设备信息工作台的设计 与实现 朱云飞，杨 强，秦绪涛，张钧鸣（４４）…………………………社会治理视角下的城市大脑电力驾驶舱设计及应用 王 亿，陈 奕，方 响，宣 弈，徐祥海，孙智卿（５０）……基于电力负荷大数据的负荷分析方法及其在无锡地区疫情 期间的应用 董金哲，白晨阳，刘志仁，於慧敏，胡晓青，李 澄（５７）……基于电力大数据的企业复工复产模型研究及应用 王林信，江 元，罗世刚，李竣业（６５）…………………………融合气象信息的配网故障特征挖掘和故障预报研究 周小华，范美鹏，袁雪松，舒文雄（７２）…………………………居民用电行为分析及潜力研究 杨 宏，邓晨成，邹 芹，石 莹（８０）…………………………《电力大数据》２０２０年１～１２期总目录 （８９）………………………………………………。
大数据分布式计算框架
Storm Samza Trident Flink
S4 …
流处 理
典型大数据分布式计算框架
起源 开源时间 使用公司
优势
弊端
使用场合
Storm T
实时接收数据流； 更高的容错能力；
开发简单；
依赖其他组件较多； 内存控制不好； 多语言支持补好
“
数据的分类和处理方式
20
基于所数据处理的形式
数据分类
21
静态数据
很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量 历史数据就是静态数据。技术人员可以利用数据挖掘和OLAP（OnLine Analytical Processing）分析工具从静态数据中找到对企业有 价值的信息
计算结果的合并和错误计算的回 滚
每个任务的数据获取
17
分布式计算框架
谷歌公司最先提出了分布式并行编程模型Google MapReduce，Hadoop MapReduce是它的开源实现
传统并行计算框架
MapReduce
集群架构/容错性 共享式(共享内存/共享存储)， 非共享式，容错性好 容错性差
22
流数据
流数据，是一组顺序、大量、快速、连续到达的数据序列
实例
食品信息流、PM2.5检测、电商网站用户点击流、网络通信流
流数据特征
速度快 来源多
格式 复杂
数据 量大
完整性 难以保
证
23
批处理和流处理
批处理：就是对某个对象进 行批量的处理
流处理：指源源不断的数据 流过系统时，系统能够不停 地连续计算
传统 数据
传统分析建立在关系 数据模型之上，主题 之间的关系在系统内 已被创立，分析也在
大数据标准化白皮书
基于规则的无人机集群区域协同搜索算法
过的区域进行重复搜索；规则 5) 让无人机具有一个随机运动的趋势，使得无人机集群在理论上能以概率
1 对目标区域实现全覆盖；规则 6) 保证无人机不会飞出目标区域。 假设第 i 架无人机在 t 时刻的速度和位置分别为 vit 和 xit ，根据以上运动规则，则有：
vxitit++=11 =vxitit
Computer Science and Application 计算机科学与应用, 2019, 9(11), 2028-2036 Published Online November 2019 in Hans. /journal/csa https:///10.12677/csa.2019.911228
针对现有算法存在的以上不足，本文做了一些探索，提出了一种基于局部规则的集群区域协同搜索 算法。该算法借鉴了自然界自组织生物群体的运动规则，设计了离心、无序、分离、惯性和随机等六个 规则及相应的搜索算法，使无人机能够迅速有效地扩散到目标搜索区域，并且对于搜索过的区域，未来 某个时刻可进行重复搜索。该算法在理论上能以概率 1 对目标区域实现全覆盖，并且具有计算简单、鲁 棒等特点，适用于环境规划复杂、无人机数量规模大、搜索区域宽广的任务场景。本文通过仿真对提出 的算法的有效性进行了验证。
Open Access
1. 引言
相对有人机，无人机具有无人员伤亡、成本低、适应复杂环境作业等诸多优越性能，更适合执行 4D (Dull, Dirty, Dangerous and Deep)任务[1]，而相对于单个无人机，多无人机集群则更加灵活，容错性也更 好，能满足多种任务的需要，其中区域协同搜索是其中一种重要的任务类型，比如人员搜救、情报侦察 和森林救火等。该类型的任务主要有两个方面研究侧重：一是以较小的搜索代价对特定区域内可能存在 的目标进行搜索；二是合理地控制多个无人机，使得区域搜索覆盖率最大，本文的研究属于第二种。
《数据科学与大数据通识导论》题库及答案-2019年温州市工程技术系列专业技术人员继续教育
1.数据科学的三大支柱与五大要素是什么？答：数据科学的三大主要支柱为：Datalogy (数据学)：对应数据管理 (Data management)Analytics (分析学)：对应统计方法 (Statistical method)Algorithmics (算法学)：对应算法方法 (Algorithmic method)数据科学的五大要素：A-SATA模型分析思维 (Analytical Thinking)统计模型 (Statistical Model)算法计算 (Algorithmic Computing)数据技术 (Data Technology)综合应用 (Application)2.如何辨证看待“大数据”中的“大”和“数据”的关系？字面理解Large、vast和big都可以用于形容大小Big更强调的是相对大小的大，是抽象意义上的大大数据是抽象的大，是思维方式上的转变量变带来质变，思维方式，方法论都应该和以往不同计算机并不能很好解决人工智能中的诸多问题，利用大数据突破性解决了，其核心问题变成了数据问题。
3.怎么理解科学的范式？今天如何利用这些科学范式？科学的范式指的是常规科学所赖以运作的理论基础和实践规范，是从事某一科学的科学家群体所共同遵从的世界观和行为方式。
第一范式：经验科学第二范式：理论科学第三范式：计算科学第四范式：数据密集型科学今天，是数据科学，统一于理论、实验和模拟4.从人类整个文明的尺度上看，IT和DT对人类的发展有些什么样的影响和冲击？以控制为出发点的IT时代正在走向激活生产力为目的的DT（Data Technology）数据时代。
大数据驱动的DT时代由数据驱动的世界观大数据重新定义商业新模式大数据重新定义研发新路径大数据重新定义企业新思维5.大数据时代的思维方式有哪些？“大数据时代”和“智能时代”告诉我们：数据思维：讲故事→数据说话总体思维：样本数据→全局数据容错思维：精确性→混杂性、不确定性相关思维：因果关系→相关关系智能思维：人→人机协同（人 + 人工智能）6.请列举出六大典型思维方式；直线思维、逆向思维、跳跃思维、归纳思维、并行思维、科学思维7.大数据时代的思维方式有哪些？同58.二进制系统是如何实现的？计算机用0和1来表示和存储所有的数据，它的基数为2，进位规则是“逢二进一”，用1表示开，0表示关9.解释比特、字节和十六进制表示。
《人工智能极简说：人人都能读懂的AI入门书》札记
《人工智能极简说：人人都能读懂的AI入门书》读书记录目录一、书籍概览 (2)1.1 作者介绍及写作目的 (2)1.2 书籍内容概述 (3)1.3 读者群体定位 (4)二、人工智能基础概念篇 (5)2.1 内容描述 (6)2.2 人工智能定义与起源 (7)2.3 人工智能发展阶段 (8)2.4 人工智能技术应用领域 (9)三、关键技术解析篇 (11)3.1 机器学习原理及应用 (12)3.2 深度学习及其技术特点 (13)3.3 自然语言处理技术 (14)3.4 计算机视觉技术 (16)四、人工智能在各领域的应用实践篇 (17)4.1 金融行业应用案例分析 (18)4.2 医疗健康行业应用案例分析 (19)4.3 教育行业应用案例分析 (20)4.4 其他领域应用展望 (22)五、人工智能的伦理与社会影响篇 (23)5.1 人工智能带来的伦理问题与挑战 (24)5.2 人工智能对社会就业的影响分析 (25)5.3 人工智能对人类生活方式的改变 (26)六、未来发展趋势与展望篇 (28)6.1 人工智能未来技术创新方向预测 (29)6.2 人工智能与其他产业融合发展趋势分析 (30)一、书籍概览《人工智能极简说：人人都能读懂的AI入门书》是一本全面介绍人工智能基础知识的科普读物，旨在帮助读者快速了解并掌握人工智能的基本概念、原理和应用。
本书通过通俗易懂的语言和生动的案例，让读者在轻松愉快的阅读中领略人工智能的魅力。
本书的作者是一位资深的人工智能专家，拥有丰富的研究和实践经验。
他她通过深入浅出的讲解，将复杂的理论知识转化为易于理解的概念，使读者能够轻松掌握人工智能的核心要点。
人工智能概述：介绍人工智能的定义、发展历程、应用领域以及未来趋势；人工智能实践：通过实际案例展示人工智能技术的实际应用，培养读者的实践能力。
为了更好地理解和掌握本书的内容，建议读者先了解人工智能基础知识，然后按照章节顺序逐步阅读。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据挖掘就是海量数据挖掘
13
我们的理解
14
大数据的认识
从计算机的发展历程说起
计
CPU + 存储
早期 近代
算
机 I/O 设备
15
大数据的认识
从计算机的发展历程说起
CPU1 CPU2
CPU + 存储
CPU3
CPU4
计
超级计算机 云计算平台 神经突触计算机芯片
算 机
I/O 设备
今天
物联网的广泛应用
上述思想可兼容各类进化算法：多种群协同优化多目标问题的通用算法框架
30
研究1：多种群协同进化的多目标PSO
单个种群的进化策略
每个种群优化一个目标，进化过程与单目标PSO算法类似。 每个种群中粒子的位置更新方法： 新位置 原位置 新速度
原速度的惯性影响 个体历史最佳位置的引导
每个粒子从全局Archive中随机 选择一个学习对象： 计算量小 保持多样性
模型
方法
海量数据：经过长年探索已经形成一套可行的处理方法
大数据：尚且缺少行之有效的处理方法，亟待发展新方法 海量数据：有明确的挖掘目标，关注解释事物之间的因果关系
目标
大数据：没有具体的挖掘目标，关注点从因果关系转向关联关系； 其价值在于能够发现超出预想的知识，填补空白。
20
如何解决大数据问题？
大数据的特点
智能化需求中的优化问题
• 缺乏精确数学模型 • 具有高维、非线性等特点 • 传统方法难以求解 需求
进化计算
• 模拟自然进化的智能方法 智能计算成为解决大规模、 • 不依赖问题的数学特性 复杂优化问题的重要途径。 • 成为解决复杂优化问题的重要途径
• 传统进化计算方法求解大规模复杂 优化问题时存在性能瓶颈 • 传统进化计算方法以串行执行为主， 无法发挥分布式计算平台优势
种群历史最佳位置的引导
全局Archive中非劣解的引导
31
研究1：多种群协同进化的多目标PSO
全局Archive的更新策略 (1)
全局Archive 中的原有解
精英学 习策略 非劣解 选择 策略
种群1中每个粒子的历史最优位置
全局 Archive
种群2中每个粒子的历史最优位置
种群M中每个粒子的历史最优位置
Cross-reproduction
从全局（以分布密度为标准）和 局部Archives（以适应值为标准） 中分别选择一个个体进行交叉
CMPSO 在 UF1 和 UF2 上 对 Pareto 前 沿 的 覆盖 比 MOEA/DDE更均匀
研究成果已发表于国际期刊IEEE Transactions on Cybernetics
Z.-H. Zhan, J. Li, J. Cao, J. Zhang, H. Chung, and Y. H. Shi, “Multiple populations for multiple objectives: A coevolutionary technique for solving multiobjective optimization problems,” IEEE Transactions on Cybernetics, vol. 43, no. 2, pp. 445 – 463, Apr. 2013.
中山大学超算学院
主要 内容
对大数据的理解
分布式进化计算
大数据是什么？
社交媒体 社交网站产生 “大数据” 的文字、图片、
视频等数据
电信 “大数据”
从各种移动终 端和通信网络 获取的数据
大数据就是存储量级超TB的数据？ 大数据就是多种数据的综合体？ 具有4V特征的数据就是大数据？ 大数据的主要价值在于体量大？
由医疗机构 保存的记录 和标本构成 的数据集
医疗 “大数据”
金融 “大数据”
由银行等金 融机构收集 的市场活动 数据
由大量标本的 基因序列构成 的数据库
基因 “大数据”
气象 “大数据”
由地面和高空 观测站不间断 传回的数据 12
大数据 ＝ 海量数据？
大数据是海量数据的另一种说法
大数据只是体量比海量数据更大
36
研究2：带双层Archive的多目标进化算法
研究背景与意义
问题提出
多目标优化问题期望得 到尽量接近Pareto前沿 且均匀分布的一组解
难点所在
Pareto前沿的精确逼近 与全面覆盖常难以兼顾
主要研究内容
运用双层Archive结构 同时实现Pareto前沿的 精确逼近与全面覆盖
现有多目标进化算法
No
进化结束？
Yes
结 束
39
研究2：带双层Archive的多目标进化算法
进化过程中个体的流向
第gen代 第gen+1代
全局Archive
Self-reproduction
按分布密度从全局Archive中 选择个体进行交叉和变异
全局Archive
局部Archive 1
局部Archive 1
局部Archive 2 ... 局部Archive N
算法思想
分配 具 有 M 个 冲 突 目 标 的 通信
多
目标1
种群1
目
标 问
目标2
分配
通信
全局 Archive
保存原 问题的 非劣解
种群2
…
…
题
分配
通信
目标M
种群M
主要创新点：
每个种群优化一个目标：解决了赋值困难，充分探索了目标空间
种群通过全局Archive共享信息：促使解均匀覆盖整个Pareto前沿
大数据的理解与 分布式进化计算方法
张军
中山大学 超级计算机学院
2014年10月
1
中山大学超算学院
主要 内容
对大数据的理解
分布式进化计算
中山大学简介
3
中山大学由孙中山先生在 1924 年创立，至今已有近百年 历史。2012年，在校学生总数达83633人，教职工总数达13683 人。 继承孙中山先生“一文一武”的教育思想 教育部直属综合性大学 入选“985”和“211”工程的全国重点高校
第1类：如NSGA II
MOEA-DLA
通过双层 Archive结构 结合两类 算法的优点
基于非支配排序和拥挤距离对问题进行整体求解
优点：全面性较好 缺点：对复杂Pareto前沿逼近精度较低
第2类：如MOEA/D
通过权重将原问题拆分为多个单目标问题分别进行优化
优点：精度较高 缺点：解的分布存在缺陷
37
32
…
研究1：多种群协同进化的多目标PSO
全局Archive的更新策略 (2)
精英学习策略： 新解 原解 随机扰动向量 随机扰动全局Archive中的解，帮助算法跳出局部最优。 非劣解选择策略：
① 运用非支配排序（non-dominated sorting）选出非劣解； ② 如果非劣解的数目超过Archive的容量，根据拥挤距离（crowdingdistance）删去分布密度最大的若干解。
将高维问题拆分为若干低维问题，以便高效计算和处理
在分布式计算平台上对拆分后的低维问题进行协同处理
运用聚合原理将各个低维问题上的结论组合的大数据分析方法
问题拆分方法 值得研究的拆分方法
随 机 拆 分
目标1 (f1)
复杂多目标问题
min g ( x, i ) i(1) f1 ( x ) i(2) f 2 ( x ) where i(1) i(2) 1
3
中山大学简介
湖南省
江西省
4
福建省 北校区 广西省 东校区（大学城） 广州
深圳
珠海 澳门 南校区 香港
中山大学校区分布情况
广东省
珠海校区
4
中山大学简介
南校区风光
5
5
中山大学简介
东校区风光
6
中山大学简介
7
北校区风光
7
中山大学简介
8
珠海校区风光
8
超算学院选址
超算学院位于中山大学大学城校区内的广州超算中心第5层
min g (x, λ1) min g (x, λ2) min g(x, λ3)
按 任 务 拆 分
min g(x, λN) 目标2 (f2)
按 目 标 拆 分
分拆
多个单目标问题
...
min g(x, λ1) min g(x, λN)
子系统1
…
子系统N
24
可行的大数据分析方法
分布的、自组织的智能计算方法
研究2：带双层Archive的多目标进化算法
算法思想
N个单目标问题 多目标问题
min {f1(x), f2(x), …, fM(x)}
通过权重 拆分
min å i w f ( x )
(1) i i
子问题1
min å i w f (x )
(2) i i
子问题2
…
min å i wi( N ) fi (x )
38
研究2：带双层Archive的多目标进化算法
算法流程
开 始 随机产生一组解以初始化全局和局部Archives
• 全局Archive内部的self-reproduction • 两层Archive之间的Cross-reproduction
执行进化算子产生新的解
根据新解更新全局和局部Archives
大数据与智慧城市
智慧体的感官
建 设 智 慧 城 市 的 关 键 技 术
物联网技术
智慧体的血脉
大数据技术
高性能 计算
智慧体的大脑
高性能计算技术