吴功宜-物联网工程导论第8章 物联网数据处理技术
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7
Nankai University
• 无线传感器网络数据存储结构示意图
汇聚节点 汇聚节点 存储节点 中继节点 原始数据 查询 查询结果
(a)分布式存储
(b)集中式存储
8
Nankai University
数据融合
• 20世纪70年代 “数据融合（Data Fusion）” 术语才正 式出现 • 针对物联网数据的多态性，需要研究基于多种传感器 的数据聚合技术，综合分析各种传感器的数据，从中 提取有用的信息 • 数据融合已经发展成数据处理一个新的和重要的分支 • 在物联网中智能交通、工业控制、环境监控、精准农 业、突发事件处置、智慧城市、智能电网等物联网应 用系统中，必然会应用多种传感器去综合感知多种物 理世界的信息，从中提取对于我们智慧处理物理世界 问题有用的信息和知识 • 数据融合技术是物联网数据处理研究的重要内容之一
13
Nankai University
8.2.3 物联网数据管理技术
• 关系数据库为物联网海量数据的管理提供了重要的理 论、工具与方法 • 物联网中有两大类重要的应用，一是基于RFID标签自 动识别技术的应用，另一类是基于无线传感器网络的 应用 • 设计一个基于RFID标签自动识别技术的零售业或物流 业应用时，对于由RFID所产生的数据的管理与处理方 法与传统的互联网应用有很多相似之处 • 基于无线传感器网络的物联网应用有它的特殊性，需 要研究针对无线传感器网络的数据管理与处理方法
云计算 云平台 云终端
云存储
24
Nankai University
公有云与私有云的概念 公有云： • 第三方提供商为用户提供服务的云平台，用户可以把 通过互联网访问 • 作为一个支撑平台，可以通过提供免费或用很低费用 的服务，去吸引大量的用户，整合上游的增值业务和 广告服务，打造新的产业链 • 目前公有云主要分为四类： —由传统电信基础设施运营商组建的公有云 —政府主导下组建的各省市公有云 —大型互联网公司组建的公有云 —由IDC运营商组建的公有云
14
Nankai University
无线传感器网络数据管理系统结构 无线传感器网络数据管理系统结构主要有： • 集中式结构 代理网络 • 半分布式结构 • 分布式结构 • 层次式结构 无线传感器网络 数据管理系统层次结构
无线传感器网络
15
Nankai University
• TinyDB系统的结构
26
Nankai University
IaaS、PaaS、SaaS的概念
基础设施即服务IaaS • IaaS平台向用户提供虚拟化的计算资源、存储资源与 网络资源，根据用户需求进行动态分配和调整 平台即服务PaaS • PaaS平台向软件开发人员提供类似中间件的服务，包 括数据库、数据处理与软件开发环境等 软件即服务SaaS • SaaS平台向最终用户提供定制的软件服务，用户不用 通过安装软件副本，就可以通过网络使用软件
9
Nankai University
数据查询、搜索与数据挖掘
• 物联网环境中感知数据具有实时性、周期性与 不确定性等特点 • 物联网环境中，由于各种感知手段获取的信息 与传统的互联网信息共存，搜索引擎需要与各 种智能的和非智能的物理对象密切结合，主动 识别物理对象，获取有用的信息，这对于传统 的搜索引擎技术是一个挑战 • 数据挖掘是物联网数据处理中一个重要的方法
12
Nankai University
8.2.2 数据库技术
• 数据库技术是计算机科学技术中发展最快、应用最广 泛的领域之一。数据库技术经过几十年的发展，其应 用已遍及各个领域，成为21世纪信息化社会的核心技 术之一 • 物联网的数据存储与管理需要使用数据库技术，物联 网的海量数据存储与管理也会促进数据库技术的发展 • 数据库管理系统可分为层次数据库、网状数据库、关 系数据库以及面向对象数据库 • 随着数据库技术的发展，数据库用户界面变得更加简 单，功能更加强大和更加智能，未来的数据库技术必 然会与人工智能技术相互交叉融合
10
Nankai University
智能决策
• 发展物联网的最终目标不是简单地将物 与物互联，而是要催生很多具有“计算、 通信、控制、协同和自治”特征的智能 设备与系统，实现实时感知、动态控制 和智能服务 • 智能决策是物联网信息处理技术中追求 的最重要的目标
11
Nankai University
29
Nankai University
云安全
• 云安全提供可靠、可信的云环境，以保护用户 数据的安全 • 能不能够保证用户使用的安全性是制约云计算 应用能否发展的主要因素 • 目前云安全研究： —云计算的安全控制 —云计算的可信执行环境 —虚拟机的安全监控 —云计算服务访问的通信安全 —云计算安全评估方法
4
Nankai University
• VigilNet网络拓扑与数据处理研究的示意图
5
Nankai University
8.1.2 物联网数据处理关键技术
• 海量数据存储 • 数据融合 • 数据查询、搜索与数据挖掘 • 智能决策
6
Nankai University
海量数据存储 • 物联网数据具有海量、多态、动态与关 联的特征 • 海量数据的存储结构影响着物联网系统 的可靠性与效率 • 如何利用数据中心与云计算平台存储物 联网的海量数据，如何充分地利用好物 联网信息，同时又要实现对隐私的保护， 这是物联网数据处理技术首先要面对的 一个重要问题
TinyDB客户端API 查询 TinyDB服务器 查询 传感器网络 数据 结果 数据库
16
Nankai University
• TinyDB关系表结构
传感 器号 1 2 3 1 2 …… 查询 周期 1 1 1 2 2 …… 时间 2003-05-01 2003-05-01 2003-05-01 2003-05-02 2003-05-02 …… 湿度 562 475 491 586 512 …… 光强 388 233 256 155 257 …… 温度 235 543 455 654 454 …… 水平 加速度 432 655 345 342 566 …… 垂直 加速度 886 567 654 432 323 …… 水平 磁感应 76 65 42 77 61 …… 垂直 磁感应 145 331 456 470 423 …… 噪声 422 655 211 118 135 …… 音调 0.2 0.5 0.3 0.5 0.7 …… 原始 声音 522 256 654 422 656 ……
Nankai University
8.4 物联网数据融合技术* 8.4.1 无线传感器网络数据融合技术
• 无线传感器网络的基本功能是收集并返 回传感器节点所在监测区域的信息 • 传感器节点受到能量与易失效性的约束 • 因此减少数据传输量以有效地节省能量， 利用节点的本地计算和存储能力处理数 据的融合以除去冗余信息 • 通过数据融合达到数据备份与提高信息 准确性，已经成为无线传感器网络研究 的一个重要课题
30
Nankai University
8.3.5 云计算在物联网中的应用
物联网数据中心的特征： • 部署快捷 • 运行可靠 • 可扩展 • 安全 • 节能
31
Nankai University
• 应用于物联网的云计算系统结构模型
32
Nankai University
• 物联网数据 中心的设计
33
25
Nankai University
私有云： • 移动通信公司、银行、政府、公安、交 通、电力、有线电视等部门与机构单独 使用而组建 • 这些部门与机构的数据存储量、处理量 和安全性要求高，而私有云能够满足他 们对数据仓储与处理，以及安全性和服 务质量的要求 • 私有云可部署在企业或部门数据中心的 防火墙内，也可以将它们部署在一个安 全的主机托管场所
18
Nankai University
服务器技术的发展 • 各种类型的服务器与机房中的服务器
19
Nankai University
• 典型的机架式服务器
20
Nankai University
• 刀片服务器
21
Nankai University
8.3.2 IDC的基本概念
• 随着互联网应用规模的不断扩大，大规模的在线网络 服务促进了“互联网数据中心（IDC）”的出现 • 随着业务的扩展，一些企业网、校园网、政务网、商 务网也在考虑建设自己的数据中心（Data Center） • 数据中心的成本是由4部分组成：服务器成本、网络设 备成本、基础设施成本与能源成本 • 在推动物联网应用发展的同时，必须研究适合即能够 快速部署物联网应用，存储海量数据，又能够节省资 金与日常维护费用，符合环保节能的原则的数据中心 技术 • 数据中心的概念正在经历了从中小型企业网、校园网 中的计算与存储数据的数据中心，向云计算平台的发 展的趋势
Nankai University
《物联网工程导论》
吴功宜 吴英 编著
1
Nankai University
第8章 物联网数据处理技术
2
Nankai University
第 8 章 知 识 点 结 构
物联网数据处理技术基本概念
物联网数据的特点
物联网数据处理的关键技术
物联网海量数据存储技术*
IDC基本概念
27
Nankai University
云终端
• 云终端使用虚拟化技术，使得只要联入 到互联网或物联网的终端设备都可以访 问云计算平台 • 云终端三种类型： —基于程序资源远程执行的云终端 —基于WebOS云终端 —基于虚拟机的云终端
28
Nankai University
云存储 • 计算与存储是计算机科学发展中两个密不可分的关键 技术 • 云计算概念包括计算与存储两个方面的内容 • 云存储基于云平台，结合传统的大规模、可扩展的海 量存储、计算机网络、数据网格、虚拟化、文件系统 的概念与技术，面向大规模、高效、可扩展、可定制 的应用系统的用户，提供安全、廉价、按需使用的专 业化仓储服务 • 用户不必关心云存储服务使用什么样的主机、数据库、 存储设备，只需要根据自身应用系统数据存储的数据 量、安全性要求，以定购的方式使用云存储服务提供 商提供的存储资源
22
Nankai University
8.3.3 云计算的基本概念
云计算的特点 • 弹性服务 • 资源池化 • 按需服务 • 服务可计费 • 泛在接入
云计算数据中心特点 • 自治性 • 规模经济 • 规模可扩展
23
Nankai University
8.3.4 云计算系统组成 云计算系统组成： • 云平台 • 云终端 • 云存储 云安全 • 云安全
云计算基本概念
物联网数据融合技术*
数据仓库技术
数据挖掘技术
智能决策 基本概念
智能控制 基本概念
3
Nankai University
Βιβλιοθήκη Baidu
8.1 物联网数据处理技术的基本概念 8.1.1 物联网数据的特点
海量 • 物联网节点的数量是非常多的，它们所产生的数据量 一定是海量 多态 • 多种传感器去观测的不同数据在数值范围、格式、单 位与精度 动态 • 各种数据都将随时间不断变化的 关联 • 物联网中的数据之间在空间、时间维度上存在着紧密 的关联性
34
Nankai University
8.4.2 数据融合的分类
根据数据进行融合操作前 后的信息含量的分类 • 无损失融合 • 有损失融合
根据数据融合与应用层数 据语义之间关系的分类 • 依赖于应用的数据融合 （ADDA） • 独立于应用的数据融合 （AIDA） • 两种技术结合的数据融合
17
Nankai University
8.3 物联网海量数据存储与云计算* 8.3.1 数据存储技术的研究与发展 存储技术的研究与发展
• 数据存储技术从单机封闭系统存储向开放系统 的存储方向发展 • 开放系统的存储进一步分为： —直接附加存储（DAS） —网络接入存储（NAS） —存储区域网络（SAN）
8.2 海量数据存储技术 8.2.1 物联网对海量数据存储的需求
• 物联网的海量数据除了来自传感器节点、 RFID节点以及其他各种智能终端设备每 时每刻所产生的数据之外，各种物理对 象在参与物联网事务处理的过程中也会 产生大量的数据 • 物联网的海量数据的存储需要数据库、 数据仓库、网络存储、数据中心与云存 储技术的支持
Nankai University
• 无线传感器网络数据存储结构示意图
汇聚节点 汇聚节点 存储节点 中继节点 原始数据 查询 查询结果
(a)分布式存储
(b)集中式存储
8
Nankai University
数据融合
• 20世纪70年代 “数据融合（Data Fusion）” 术语才正 式出现 • 针对物联网数据的多态性，需要研究基于多种传感器 的数据聚合技术，综合分析各种传感器的数据，从中 提取有用的信息 • 数据融合已经发展成数据处理一个新的和重要的分支 • 在物联网中智能交通、工业控制、环境监控、精准农 业、突发事件处置、智慧城市、智能电网等物联网应 用系统中，必然会应用多种传感器去综合感知多种物 理世界的信息，从中提取对于我们智慧处理物理世界 问题有用的信息和知识 • 数据融合技术是物联网数据处理研究的重要内容之一
13
Nankai University
8.2.3 物联网数据管理技术
• 关系数据库为物联网海量数据的管理提供了重要的理 论、工具与方法 • 物联网中有两大类重要的应用，一是基于RFID标签自 动识别技术的应用，另一类是基于无线传感器网络的 应用 • 设计一个基于RFID标签自动识别技术的零售业或物流 业应用时，对于由RFID所产生的数据的管理与处理方 法与传统的互联网应用有很多相似之处 • 基于无线传感器网络的物联网应用有它的特殊性，需 要研究针对无线传感器网络的数据管理与处理方法
云计算 云平台 云终端
云存储
24
Nankai University
公有云与私有云的概念 公有云： • 第三方提供商为用户提供服务的云平台，用户可以把 通过互联网访问 • 作为一个支撑平台，可以通过提供免费或用很低费用 的服务，去吸引大量的用户，整合上游的增值业务和 广告服务，打造新的产业链 • 目前公有云主要分为四类： —由传统电信基础设施运营商组建的公有云 —政府主导下组建的各省市公有云 —大型互联网公司组建的公有云 —由IDC运营商组建的公有云
14
Nankai University
无线传感器网络数据管理系统结构 无线传感器网络数据管理系统结构主要有： • 集中式结构 代理网络 • 半分布式结构 • 分布式结构 • 层次式结构 无线传感器网络 数据管理系统层次结构
无线传感器网络
15
Nankai University
• TinyDB系统的结构
26
Nankai University
IaaS、PaaS、SaaS的概念
基础设施即服务IaaS • IaaS平台向用户提供虚拟化的计算资源、存储资源与 网络资源，根据用户需求进行动态分配和调整 平台即服务PaaS • PaaS平台向软件开发人员提供类似中间件的服务，包 括数据库、数据处理与软件开发环境等 软件即服务SaaS • SaaS平台向最终用户提供定制的软件服务，用户不用 通过安装软件副本，就可以通过网络使用软件
9
Nankai University
数据查询、搜索与数据挖掘
• 物联网环境中感知数据具有实时性、周期性与 不确定性等特点 • 物联网环境中，由于各种感知手段获取的信息 与传统的互联网信息共存，搜索引擎需要与各 种智能的和非智能的物理对象密切结合，主动 识别物理对象，获取有用的信息，这对于传统 的搜索引擎技术是一个挑战 • 数据挖掘是物联网数据处理中一个重要的方法
12
Nankai University
8.2.2 数据库技术
• 数据库技术是计算机科学技术中发展最快、应用最广 泛的领域之一。数据库技术经过几十年的发展，其应 用已遍及各个领域，成为21世纪信息化社会的核心技 术之一 • 物联网的数据存储与管理需要使用数据库技术，物联 网的海量数据存储与管理也会促进数据库技术的发展 • 数据库管理系统可分为层次数据库、网状数据库、关 系数据库以及面向对象数据库 • 随着数据库技术的发展，数据库用户界面变得更加简 单，功能更加强大和更加智能，未来的数据库技术必 然会与人工智能技术相互交叉融合
10
Nankai University
智能决策
• 发展物联网的最终目标不是简单地将物 与物互联，而是要催生很多具有“计算、 通信、控制、协同和自治”特征的智能 设备与系统，实现实时感知、动态控制 和智能服务 • 智能决策是物联网信息处理技术中追求 的最重要的目标
11
Nankai University
29
Nankai University
云安全
• 云安全提供可靠、可信的云环境，以保护用户 数据的安全 • 能不能够保证用户使用的安全性是制约云计算 应用能否发展的主要因素 • 目前云安全研究： —云计算的安全控制 —云计算的可信执行环境 —虚拟机的安全监控 —云计算服务访问的通信安全 —云计算安全评估方法
4
Nankai University
• VigilNet网络拓扑与数据处理研究的示意图
5
Nankai University
8.1.2 物联网数据处理关键技术
• 海量数据存储 • 数据融合 • 数据查询、搜索与数据挖掘 • 智能决策
6
Nankai University
海量数据存储 • 物联网数据具有海量、多态、动态与关 联的特征 • 海量数据的存储结构影响着物联网系统 的可靠性与效率 • 如何利用数据中心与云计算平台存储物 联网的海量数据，如何充分地利用好物 联网信息，同时又要实现对隐私的保护， 这是物联网数据处理技术首先要面对的 一个重要问题
TinyDB客户端API 查询 TinyDB服务器 查询 传感器网络 数据 结果 数据库
16
Nankai University
• TinyDB关系表结构
传感 器号 1 2 3 1 2 …… 查询 周期 1 1 1 2 2 …… 时间 2003-05-01 2003-05-01 2003-05-01 2003-05-02 2003-05-02 …… 湿度 562 475 491 586 512 …… 光强 388 233 256 155 257 …… 温度 235 543 455 654 454 …… 水平 加速度 432 655 345 342 566 …… 垂直 加速度 886 567 654 432 323 …… 水平 磁感应 76 65 42 77 61 …… 垂直 磁感应 145 331 456 470 423 …… 噪声 422 655 211 118 135 …… 音调 0.2 0.5 0.3 0.5 0.7 …… 原始 声音 522 256 654 422 656 ……
Nankai University
8.4 物联网数据融合技术* 8.4.1 无线传感器网络数据融合技术
• 无线传感器网络的基本功能是收集并返 回传感器节点所在监测区域的信息 • 传感器节点受到能量与易失效性的约束 • 因此减少数据传输量以有效地节省能量， 利用节点的本地计算和存储能力处理数 据的融合以除去冗余信息 • 通过数据融合达到数据备份与提高信息 准确性，已经成为无线传感器网络研究 的一个重要课题
30
Nankai University
8.3.5 云计算在物联网中的应用
物联网数据中心的特征： • 部署快捷 • 运行可靠 • 可扩展 • 安全 • 节能
31
Nankai University
• 应用于物联网的云计算系统结构模型
32
Nankai University
• 物联网数据 中心的设计
33
25
Nankai University
私有云： • 移动通信公司、银行、政府、公安、交 通、电力、有线电视等部门与机构单独 使用而组建 • 这些部门与机构的数据存储量、处理量 和安全性要求高，而私有云能够满足他 们对数据仓储与处理，以及安全性和服 务质量的要求 • 私有云可部署在企业或部门数据中心的 防火墙内，也可以将它们部署在一个安 全的主机托管场所
18
Nankai University
服务器技术的发展 • 各种类型的服务器与机房中的服务器
19
Nankai University
• 典型的机架式服务器
20
Nankai University
• 刀片服务器
21
Nankai University
8.3.2 IDC的基本概念
• 随着互联网应用规模的不断扩大，大规模的在线网络 服务促进了“互联网数据中心（IDC）”的出现 • 随着业务的扩展，一些企业网、校园网、政务网、商 务网也在考虑建设自己的数据中心（Data Center） • 数据中心的成本是由4部分组成：服务器成本、网络设 备成本、基础设施成本与能源成本 • 在推动物联网应用发展的同时，必须研究适合即能够 快速部署物联网应用，存储海量数据，又能够节省资 金与日常维护费用，符合环保节能的原则的数据中心 技术 • 数据中心的概念正在经历了从中小型企业网、校园网 中的计算与存储数据的数据中心，向云计算平台的发 展的趋势
Nankai University
《物联网工程导论》
吴功宜 吴英 编著
1
Nankai University
第8章 物联网数据处理技术
2
Nankai University
第 8 章 知 识 点 结 构
物联网数据处理技术基本概念
物联网数据的特点
物联网数据处理的关键技术
物联网海量数据存储技术*
IDC基本概念
27
Nankai University
云终端
• 云终端使用虚拟化技术，使得只要联入 到互联网或物联网的终端设备都可以访 问云计算平台 • 云终端三种类型： —基于程序资源远程执行的云终端 —基于WebOS云终端 —基于虚拟机的云终端
28
Nankai University
云存储 • 计算与存储是计算机科学发展中两个密不可分的关键 技术 • 云计算概念包括计算与存储两个方面的内容 • 云存储基于云平台，结合传统的大规模、可扩展的海 量存储、计算机网络、数据网格、虚拟化、文件系统 的概念与技术，面向大规模、高效、可扩展、可定制 的应用系统的用户，提供安全、廉价、按需使用的专 业化仓储服务 • 用户不必关心云存储服务使用什么样的主机、数据库、 存储设备，只需要根据自身应用系统数据存储的数据 量、安全性要求，以定购的方式使用云存储服务提供 商提供的存储资源
22
Nankai University
8.3.3 云计算的基本概念
云计算的特点 • 弹性服务 • 资源池化 • 按需服务 • 服务可计费 • 泛在接入
云计算数据中心特点 • 自治性 • 规模经济 • 规模可扩展
23
Nankai University
8.3.4 云计算系统组成 云计算系统组成： • 云平台 • 云终端 • 云存储 云安全 • 云安全
云计算基本概念
物联网数据融合技术*
数据仓库技术
数据挖掘技术
智能决策 基本概念
智能控制 基本概念
3
Nankai University
Βιβλιοθήκη Baidu
8.1 物联网数据处理技术的基本概念 8.1.1 物联网数据的特点
海量 • 物联网节点的数量是非常多的，它们所产生的数据量 一定是海量 多态 • 多种传感器去观测的不同数据在数值范围、格式、单 位与精度 动态 • 各种数据都将随时间不断变化的 关联 • 物联网中的数据之间在空间、时间维度上存在着紧密 的关联性
34
Nankai University
8.4.2 数据融合的分类
根据数据进行融合操作前 后的信息含量的分类 • 无损失融合 • 有损失融合
根据数据融合与应用层数 据语义之间关系的分类 • 依赖于应用的数据融合 （ADDA） • 独立于应用的数据融合 （AIDA） • 两种技术结合的数据融合
17
Nankai University
8.3 物联网海量数据存储与云计算* 8.3.1 数据存储技术的研究与发展 存储技术的研究与发展
• 数据存储技术从单机封闭系统存储向开放系统 的存储方向发展 • 开放系统的存储进一步分为： —直接附加存储（DAS） —网络接入存储（NAS） —存储区域网络（SAN）
8.2 海量数据存储技术 8.2.1 物联网对海量数据存储的需求
• 物联网的海量数据除了来自传感器节点、 RFID节点以及其他各种智能终端设备每 时每刻所产生的数据之外，各种物理对 象在参与物联网事务处理的过程中也会 产生大量的数据 • 物联网的海量数据的存储需要数据库、 数据仓库、网络存储、数据中心与云存 储技术的支持