大数据项目技术选型初稿
目录结构
一、主流架构选用技术
二、Hadoop版本选型方案
三、选用的技术与其他工具的对比
四、大数据相关的技术选型版本确定
五、市场上的hadoop发行版厂商资料
六、具体操作
一、主流架构选用技术：
采集层：flume；sqoop
存储层：包括文件存储层和数据存储层
文件：采用hdfs存储
数据：采用hbase，redis等
模型层：离线处理：mr/yarn;实时流式处理spark streaming(比storm的优势) 分析层：hive
管理层：zookeeper（调度；ha）
二、Hadoop版本选型方案：
Hadoop提供的经典方案：HDP（Hadoop Data Platform）
管理一体化数据接入
Flume Script SQL Nosql Stream Search In-Memory Others
Sqoop Pig Hive Hbase Storm Solr Spark YARN-Ready Apps NFS -------------------------------------------------------------------------------------------------------- WebHDFS YARN
Falcon --------------------------------------------------------------------------------------------------------
HDFS
---------------------------------------------------------------------------------------------------------
数据管理
三、选用的技术与其他工具的对比：
选用sqoop的好处：开源，抽取的数据可以直接传至hive，可操作性和可视性高
选用Flume的好处：纯Java开发，框架分明，易于开发，可以直接写hdfs且支持对text和sequence压缩
选用Spark的好处：基于内存，适合需要多次迭代计算的算法，在迭代处理计算方面比Hadoop快100倍以上，Spark采用一个统一的技术堆栈解决了云计算大数据的所有核心问题
安全操作
认证，授权，审计，数据保护准备，管理，监控
Storage：HDFS Ambari
Resource：YARN Zookeeper
Access：Hive Oozie
Pipeline:Falcon
Cluster:Knox
Hue的好处：多应用平台，便捷的操作流程；自动补全；查询结果表格化图像化
四、大数据相关的技术选型版本确定：
操作系统：CentOS6.X
各个技术版本：（最新，最稳定，bug少）
Hadoop版本：hadoop-2.6.4.tar.gz
此版本是一个相对最新且比较稳定的版本，基数版本可能不稳定，最好选用偶数版本Zookeeper版本：zookeeper-3.4.8.tar.gz
此版本修复了此前的9个问题，最明显的是在关闭zookeeper时会产生的一个停顿问题。
Flume 版本：apache-flume-1.6.0-bin.tar.gz
Kafka版本：kafka_2.11-0.8.2.2.tgz
https://www.360docs.net/doc/927251286.html,/082/documentation.html
Spark版本：spark-1.6.0-bin-hadoop2.6.tgz
此版本能支持Hadoop2.6.x以上的版本且相对稳定版
Sqoop版本：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
Hive版本：apache-hive-1.2.1-bin.tar.gz
Hbase版本：hbase-1.1.3-bin.tar.gz
Mahout版本：apache-mahout-distribution-0.11.0.tar.gz
五、市场上的hadoop发行版厂商资料：
版本：除了社区的Apache Hadoop 外，Cloudera ，Hortonworks ，MapR ，EMC ，IBM ，Intel ，华为等都提供了自己的商业版本。
版本内容特点网址
Cloudera CDH包括HDFS、
YARN、HBase、
MapReduce、Hive、Pig、
Zookeeper、Oozie、
Mahout、Hue和其他开
源工具(包括实时查询
引擎——Impala)。CDH完全开源，比 Apache Hadoop
在兼容性，安全性，稳定性上有所
增强；Cloudera Manager是集群的
软件分发及管理监控平台，可以在
几个小时内部署好一个hadoop集
群，并对集群的节点及服务进行实
时监控。标价为每年每个节点4000
美元。
http://www.
cloudera.co
m/documen
tation/archi
ve/cdh/4-x/
4-7-1/CDH4-
Installation-
Guide/cdh4i
g_topic_11_
4.html
Hortonworks HDP包括HDFS、
YARN、HBase、
MapReduce、Hive、Pig、
HCatalog、Zookeeper、
Oozie、Mahout、Hue、
Ambari、Tez和Hive
的实时版(Stinger)以
及其他开源工具。集成和测试封装；安装方便；管理
和监控服务；数据集成服务；元数
据服务；高可用性；每10个节点每
年为12500美元。拥有大量的
Hadoop专家，对Hadoop的发展起
到了重要作用，拥有广泛的合作伙
伴支持，专供Hadoop；对专有代码
的依赖低于Cloudera
http://horto
https://www.360docs.net/doc/927251286.html,
/
MapR 包括HDFS、HBase、
MapReduce、Hive、
Mahout、Oozie、Pig、
ZooKeeper、Hue和其
他开源工具。还包括直
接NFS访问、快照和
用于“高可用性”的镜
像，有版权的HBase
实现(与Apache API完
全兼容)，以及MapR
管理控制台。1.构建一个 HDFS 的私有替代品，
这个替代品比当前的开源版本快三
倍，自带快照功能，而且支持无NameNode 单点故障 (SPOF) ，并且
在 API 上和开源版兼容，所以可以
考虑将其作为替代方案。不再需要
单独的 NameNode 机器，元数据分
散在集群中，也类似数据默认存储
三份。
2.也不再需要用网络附加存储
(NAS) 来协助 NameNode 做元数据
备份，提高了机器使用率。
3.还有个重要的特点是可以使用
nfs 直接访问 hdfs ，提供了与旧
有应用的兼容性。镜像功能也很适
合做数据备份，而且支持跨数据中
心的镜像，快照功能对于数据的恢
复作用明显。
4.每年每个节点4000美元。
5.在性能方面具备优势。
https://ww
https://www.360docs.net/doc/927251286.html,
/
EMC 包括HDFS、
MapReduce、Hive、Pig、
HBase、Zookeeper、
Sqoop、Flume和其他
开源工具。兼容SQL；完全兼容ODBC/JDBC；交
互式查询；数据管理；深度分析
http://www.
https://www.360docs.net/doc/927251286.html,/zh
-cn/index.ht
m?fromGlo
balSelector
IBM 基础版包括HDFS、
H B ase、MapReduce、
Hive、Mahout、Oozie、
Pig、ZooKeeper、Hue
和一些其他开源工具，
以及IBM安装程序和
数据访问工具的基础
版本。企业版增加了复
杂的作业管理工具、与
主要数据源相互集成
的数据访问层和
BigSheets(类似于电子
表格的界面，用于在集
群中操作数据)在平台管理，安全认证，作业调度
算法，与 DB2 及 netezza 的集成
上做了增强。兼容性好，同时运行
多种Hadoop版本的程序，IBM的服
务。
http://www.
https://www.360docs.net/doc/927251286.html,/us
-en/
Intel Apache Hadoop
Intel 分发版主要是强调其能提供全面的软硬
件解决方案设计，针对硬件具有
更好的性能优化，以及提供集群
管理工具和安装工具简化了
Hadoop 的安装和配置，能够提供
项目规划到实施各阶段专业的咨询
服务，实际中采购 Intel 版本貌似
动力不足。性能好，最先进入中国
市场。
http://ark.in
https://www.360docs.net/doc/927251286.html,/
华为Funsionlnsight
Hadoop 基于Apache Hadoop ，构建NameNode 、JobTracker 、HiveServer 的 HA 功能，进程故障
后系统自动 Failover ，无需人工
干预，这个也是对 Hadoop 的小修
补，远不如 MapR 解决的彻底。
http://www.
https://www.360docs.net/doc/927251286.html,
/cn/
当为公司/部门选取特定发行版时，需要考虑如下因素：
技术细节——应该包括Hadoop版本、包含的组件、涉及所有权的功能组件等。易于部署——应该有可用的工具包来管理部署、版本更新、补丁等。
易于维护——涉及集群管理、多中心支持、灾难恢复支持等。
成本——包括实现某个特定版本所需要的费用、计费模式和许可证。
企业应用集成支持——包括对Hadoop应用与企业的其他应用进行集成的支持。选用Cloudera的方案：
Cloudera：最成型的发行版本，拥有最多的部署案例。提供强大的部署、管理和监控工具。Cloudera开发并贡献了可实时处理大数据的Impala项目。
优点：
1.基于Apache协议，100%开源。
2.版本管理清晰。比如Cloudera，CDH1，CDH2，CDH3，CDH4等，后面加上补
丁版本，如CDH4.1.0 patch level 923.142，表示在原生态Apache Hadoop 0.20.2基础上添加了1065个patch。
3.比Apache Hadoop在兼容性、安全性、稳定性上有增强。第三方发行版通常都经
过了大量的测试验证，有众多部署实例，大量的运行到各种生产环境。
4.版本更新快。通常情况，比如CDH每个季度会有一个update，每一年会有一个
release。
5.基于稳定版本Apache Hadoop，并应用了最新Bug修复或Feature的patch
6.提供了部署、安装、配置工具，大大提高了集群部署的效率，可以在几个小时内部
署好集群。
7.运维简单。提供了管理、监控、诊断、配置修改的工具，管理配置方便，定位问题
快速、准确，使运维工作简单，有效。
缺点：
1.涉及到厂商锁定的问题。（可以通过技术解决）
六、具体操作：
Hadoop2.6 HA搭建
至少四台机器：hadoop1，hadoop2，hadoop3，hadoop4
NN DN ZK ZKFC JN RM NM（任
务管理）Hadoop1 Y Y Y
Hadoop2 Y Y Y Y Y Y Y Hadoop3 Y Y Y Y Hadoop4 Y Y Y
1.core-site.xml
2.hdfs-site.xml
> 3.准备zookeeper a)三台zookeeper：hadoop1，hadoop2，hadoop3 b)编辑zoo.cfg配置文件 i.修改dataDir=/opt/zookeeper ii.server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888 server.3=hadoop3:2888:3888 c)在dataDir目录中创建一个myid的文件，文件内容为1，2，3 4.配置hadoop中的slaves 5.启动三个zookeeper：./zkServer.sh start 6.启动三个JournalNode：./hadoop-daemon.sh start journalnode 7.在其中一个namenode上格式化：hdfs namenode -format 8.把刚刚格式化之后的元数据拷贝到另外一个namenode上 a)启动刚刚格式化的namenode b)在没有格式化的namenode上执行：hdfs namenode -bootstrapStandby c)启动第二个namenode 9.在其中一个namenode上初始化zkfc：hdfs zkfc -formatZK 10.停止上面节点：stop-dfs.sh 全面启动：start-dfs.sh 大数据平台项目建设方案(本文为word格式，下载后可编辑使用) 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构 建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。 项目在体系结构、软件产品、数据共享交换等方面，贯彻"标准和开放"的原则，保证系统具备良好的互连性、扩充性，使得最广泛的软件可以被采用；系统采用通用的平台产品技术和开放的体系结构，使具有较好的互操作性、可移植性、档次皆宜性和易获得性，使得最广泛的社会人才可以加入新系统的开发、管理、培训、使用和维护，最广泛的Internet新技术可以最先采用，同时拥有最短的开发周期；系统要能够支持多种服务器平台、多种网络传输协议，同时又能适应新技术的发展。 一、遵循国际标准规范协议 本项目将遵循国际上成熟的、通用的标准、规范和协议，如TCP/IP、XML 等。以XML应用为例，XML数据交换格式和标准：以XML为基础，定义了数据标识、数据传递、数据操作、数据存储映射等内容。针对不同的业务可以定义其业务协议。 支持跨平台运行的体系架构，系统兼容各种主流操作系统与应用平台。数据交换方面将遵循SOAP协议，SOAP协议是HTTP加XML为一种跨平台组件调用协议，用于系统之间的服务请求和数据交换。支持国际主流标准：Portlet （JSR168）、XML、WSRP、JAAS、JNDI、JCA等。认证和授权支持LDAP、NIS、JAAS、JNDI、ADSI接口，用户还可自行扩充。二、利用XML技术实现数据间的传输交换 系统基于XML技术实现各业务数据的交换接口，并实现与第三方软件的应用集成。本系统中数据在界面展示、系统间传输、数据存储等应用中都利用了XML技术。利用XML技术将丰富的功能与HTML的易用性结合到Web的应用中，以一种开放的自我描述方式定义了数据结构，在描述数据内容的同时能突出对结构的描述，从而体现出数据之间的关系。这样所组织的数据对于应用程序和用户都是友好的、可操作的。 XML的优势之一是它允许各个组织、个人建立适合自己需要的置标集合，并且这些置标可以迅速地投入使用。这一特征使得XML可以在电子商务、政府 大数据平台框架选型分析 一、需求 城市大数据平台，首先是作为一个数据管理平台，核心需求是数据的存和取，然后因为海量数据、多数据类型的信息需要有丰富的数据接入能力和数据标准化处理能力，有了技术能力就需要纵深挖掘附加价值更好的服务，如信息统计、分析挖掘、全文检索等，考虑到面向的客户对象有的是上层的应用集成商，所以要考虑灵活的数据接口服务来支撑。 二、平台产品业务流程 城市犬数据平台 載据集成敬據仓库平會骨理决彙支持 上曉应用集虎 三、选型思路 必要技术组件服务： ETL >非/关系数据仓储> 大数据处理引擎> 服务协调> 分析BI >平台监管 元蜀据扎卑—— socket 文件导入 DE cctiect ^eb^erv-ce 数据清洗 tT. 定制分析 统ii■分析、N 「定市牛外乱歡据海 权限扱边据接 口■ 生成领导仪表 fi —元花琳 标准［匕入嘩「 丹址“￡ Ar Sa:城曲犬董拯选童实饕恿善 「 四、选型要求 1 ?需要满足我们平台的几大核心功能需求，子功能不设局限性。如不满足全部， 需要对未满足的其它核心功能的开放使用服务支持 2 ?国内外资料及社区尽量丰富，包括组件服务的成熟度流行度较高 3?需要对选型平台自身所包含的核心功能有较为深入的理解，易用其API或基于源码开发 4 ?商业服务性价比高，并有空间脱离第三方商业技术服务 5?—些非功能性需求的条件标准清晰，如承载的集群节点、处理数据量及安全机 制等 五、选型需要考虑 简单性：亲自试用大数据套件。这也就意味着：安装它，将它连接到你的Hadoop安装, 集成你的不同接口（文件、数据库、B2B等等），并最终建模、部署、执行一些大数据作业。 自己来了解使用大数据套件的容易程度一一仅让某个提供商的顾问来为你展示它是如何工作是远远不够的。亲自做一个概念验证。 广泛性：是否该大数据套件支持广泛使用的开源标准——不只是Hadoop和它的生态系统，还有通过SOAF和REST web服务的数据集成等等。它是否开源，并能根据你的特定问题易于改变或扩展？是否存在一个含有文档、论坛、博客和交流会的大社区？ 特性：是否支持所有需要的特性？Hadoop的发行版本（如果你已经使用了某一个）？ 你想要使用的Hadoop生态系统的所有部分？你想要集成的所有接口、技术、产品？请注意过多的特性可能会大大增加复杂性和费用。所以请查证你是否真正需要一个非常重量级的解决方案。是否你真的需要它的所有特性？ 陷阱：请注意某些陷阱。某些大数据套件采用数据驱动的付费方式（“数据税”）， 也就是说，你得为自己处理的每个数据行付费。因为我们是在谈论大数据，所以这会变得 非常昂贵。并不是所有的大数据套件都会生成本地Apache Hadoop代码，通常要在每个 Hadoop集群的服务器上安装一个私有引擎，而这样就会解除对于软件提供商的独立性。还要考虑你使用大数据套件真正想做的事情。某些解决方案仅支持将Hadoop用于ETL来填充 数据至数据仓库，而其他一些解决方案还提供了诸如后处理、转换或Hadoop集群上的大数 据分析。ETL仅是Apache Hadoop和其生态系统的一种使用情形。 六、方案分析 主要技术选型方案 项目在体系结构、软件产品、数据共享交换等方面，贯彻"标准和开放"的原则，保证系统具备良好的互连性、扩充性，使得最广泛的软件可以被采用；系统采用通用的平台产品技术和开放的体系结构，使具有较好的互操作性、可移植性、档次皆宜性和易获得性，使得最广泛的社会人才可以加入新系统的开发、管理、培训、使用和维护，最广泛的Internet新技术可以最先采用，同时拥有最短的开发周期；系统要能够支持多种服务器平台、多种网络传输协议，同时又能适应新技术的发展。 一、遵循国际标准规范协议 本项目将遵循国际上成熟的、通用的标准、规范和协议，如TCP/IP、XML等。以XML应用为例，XML数据交换格式和标准：以XML为基础，定义了数据标识、数据传递、数据操作、数据存储映射等内容。针对不同的业务可以定义其业务协议。 支持跨平台运行的体系架构，系统兼容各种主流操作系统与应用平台。数据交换方面将遵循SOAP协议，SOAP协议是HTTP 加XML为一种跨平台组件调用协议，用于系统之间的服务请求和数据交换。支持国际主流标准：Portlet（JSR168）、XML、WSRP、JAAS、JNDI、JCA等。认证和授权支持LDAP、NIS、JAAS、JNDI、ADSI接口，用户还可自行扩充。 二、利用XML技术实现数据间的传输交换 系统基于XML技术实现各业务数据的交换接口，并实现与第三方软件的应用集成。本系统中数据在界面展示、系统间传输、数据存储等应用中都利用了XML技术。利用XML技术将丰富的功能与HTML的易用性结合到Web的应用中，以一种开放的自我描述方式定义了数据结构，在描述数据内容的同时能突出对结构的描述，从而体现出数据之间的关系。这样所组织的数据对于应用程序和用户都是友好的、可操作的。 XML的优势之一是它允许各个组织、个人建立适合自己需要的置标集合，并且这些置标可以迅速地投入使用。这一特征使得XML可以在电子商务、政府文档、司法、出版、CAD/CAM、保险机构、厂商和中介组织信息交换等领域中一展身手，针对不同的系统、厂商提供各具特色的独立解决方案。 XML的最大优点在于它的数据存储格式不受显示格式的制约。一般来说，一篇文档包括三个要素：数据、结构以及显示方式。对于HTML来说，显示方式内嵌在数据中，这样在创建文本时，要时时考虑输出格式，如果因为需求不同而需要对同样的内容进行不同风格的显示时，要从头创建一个全新的文档，重复工作量很大。此外HTML缺乏对数据结构的描述，对于应用程序理解文档内容、抽取语义信息都有诸多不便。 XML把文档的三要素独立开来，分别处理。首先把显示格式从数据内容中独立出来，保存在样式单文件（Style Sheet）中， 水处理设备选型方案说明 针对农村饮水安全的特点，选择水处理设备时应遵循以下几个原则： (1)着重于饮水“安全性”第一的原则，不论采用何种技术，处理后水质必须达到GB5749—2001生活饮用水卫生标准》的要求，这是前提和首要原则。 (2)技术安全可靠：目前水处理技术方面的理论和设备很多，必须保证选择的技术从理论和设备上都很成熟。 (3)运行费用低：农村相对落后的经济现状，要求设备运行费用低，这是项目方案选择的重要依据;否则，工程建成的结果就是闲置，农村饮水安全工程的建设就失去了其真正的意义。 (4)管理简单：面对农村技术人员相对短缺的情况，要求设备管理和维护相对简单。如果技术过于复杂或繁琐，则影响水处理设备的正常运行和管理。 (5)投资省：在满足上述原则的前提下，投资尽量省。 综合目前各种水处理技术，尤其是砷、氟等的处理技术，主要有以下几种方法和理论为主导。 其中设备及工艺技术比较成熟的除砷方案目前主要有3种技术：膜(反渗透)技术、离子交换技术、电渗析技术。从目前实际运行的工程情况来看，膜技术普遍存在运行成本高的问题，不适用于农村饮水安全项目;电渗析技术从理论上讲运行费用不高，但实际工程中不同的设备其运行费用也相差很大;离子交换技术在实际工程中由于介质的更换比较频繁，管理较为复杂，运行费用视介质的来源和更换频率而不一。 同时，出现了两种新的技术，它们分别是复合多介质过滤技术和电絮凝技术。复合多介质过滤水处理法从设备技术上克服了其他离子交换技术的一些缺陷，经济上可行;电絮凝技术作为一种新兴技术，它集中了电化学技术的优点，同时具有运行费用低、管理简单等优势。因此，这两种技术应是农村饮水安全项目水处理工艺技术的上佳选择。为了探索一种适合于农村饮水安全工程的水处理设备，本文对这两种技术进行比较。 化工水处理设备技术在行业中的应用 化工水处理设备技术中化工行业用水有：化工反应冷却、化学药剂、化肥及精细化工、化妆品制造过程用水系统。 主要用途：纺织印染、造纸用水，化工试剂生产用纯水。护肤品生产用纯水，洗发水生产用纯水，染发剂生产用纯水。化学实验室、物理实验室、生物实验室。 大数据平台技术要求 1.技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： ?采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 ?实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 ?采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作， 支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的 数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）的 结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。 卡口大数据平台技术方案 目录 第1章总体技术架构 .................................................................................................... 错误!未定义书签。第2章车辆特征识别 .................................................................................................... 错误!未定义书签。 服务功能 .................................................................................................................... 错误!未定义书签。 服务性能 .................................................................................................................... 错误!未定义书签。第3章稽查业务功能 .................................................................................................... 错误!未定义书签。 车辆布控功能 ............................................................................................................ 错误!未定义书签。 车牌精确布控........................................................................................................ 错误!未定义书签。 车牌模糊布控........................................................................................................ 错误!未定义书签。 车型布控................................................................................................................ 错误!未定义书签。 车辆类别布控........................................................................................................ 错误!未定义书签。 布控实时预警........................................................................................................ 错误!未定义书签。 布控审批................................................................................................................ 错误!未定义书签。 车辆搜索功能 ............................................................................................................ 错误!未定义书签。 按车型搜车............................................................................................................ 错误!未定义书签。 按类别搜车............................................................................................................ 错误!未定义书签。 按车牌搜车............................................................................................................ 错误!未定义书签。 按车辆局部特征搜车............................................................................................ 错误!未定义书签。 轨迹重现................................................................................................................ 错误!未定义书签。 车辆综合研判 ............................................................................................................ 错误!未定义书签。 套牌车筛选............................................................................................................ 错误!未定义书签。 频繁过车................................................................................................................ 错误!未定义书签。 同行车辆................................................................................................................ 错误!未定义书签。 工艺技术方案 4.1 工艺技术方案的选择 4.1.1 工艺路线确定的原则 (1先进性原则 先进性是指在工艺流程选择时技术上的先进程度和经济上的合理可行。先进性的评价包括基建投资、生产成本、消耗定额以及劳动生产率等方面。选择的生产方法应达到物料损耗较小、物料循环量较少并易于回收利用、能量消耗较少和有利于环境保护等要求。 (2可靠性原则 可靠性主要是指所选择的生产方法和工艺流程是否成熟可靠。要选择一些比较成熟的生产方法和工艺, 避免只考虑先进性的一面, 而忽视不成熟、不稳妥的一面。另外,要考虑原料供给的可靠性,对于一个建设项目, 必须保证在其服务期限内有足够的、稳定的原料来源。 (3合理性原则 合理性是指在进行工艺流程选择时, 应该结合我国的国情, 从实际情况出发,考虑各种问题,即宏观上的合理性。 4.1.2 国内、外工艺技术概况 1941 年在美国克利夫兰建成了世界第一套工业规模的 LNG 装置,液化能力为8500 m3 /d。从 60 年代开始, LNG 工业得到了迅猛发展, 规模越来越大。据相关资料显示, 目前各国投产的 LNG 装置已达 160 多套, LNG 出口总量已超过 46.18 ×106 t/a。 4.1.2.1国外研究现状 国外的液化装置规模大、工艺复杂、设备多、投资高,基本都采用阶式制冷和混合冷剂制冷工艺, 目前两种类型的装置都在运行, 新投产设计的主要是混合冷剂制冷工艺, 研究的主要目的在于降低液化能耗。制冷工艺从阶式制冷改进到混合冷剂制冷循环, 目前有报道又有 C Ⅱ -2 新工艺,该工艺既具有纯组分循环的优点,如简单、无相分离和易于控制, 又有混合冷剂制冷循环的优点, 如天然气和制冷剂制冷温位配合较好、功效高、设备少等优点。 法国 Axens 公司与法国石油研究所 (IFP 合作,共同开发的一种先进的天然气液化新工艺 -Liquefin 首次工业化,该工艺为 LNG 市场奠定了基础。其生产能力较通用的方法高 15%-20% , 生产成本低 25% 。使用 Liquefin 法之后, 每单元液化装置产量可达 600 × 104 t/a 以上。采用 Liquefin 工艺生产 LNG 的费用每吨可降低25%。该工艺的主要优点是使用了翅片式换热器和热力学优化后的工艺, 可建设超大容量的液化装置。 Axens 已经给美国、欧洲、亚洲等几个主要地区提出使用该工艺的建议,并正在进行前期设计和可行性研究。 IFP 和 Axens 开发的 Liquefin 工艺的安全、环保、实用及创新特点最近已被世界认可,该工艺获得了化学工程师学会授予的“ 工程优秀奖” 。 美国德克萨斯大学工程实验站, 开发了一种新型天然气液化的技术 -GTL 技术已申请专利。该技术比目前开发的 GTL 技术更适用于小规模装置,可加工 30.5 ×104 m3 /d 的天然气。新工艺比原有技术简单的多,不需要合成气,除了发电之外,也不需要使用氧气。其经济性、规模和生产方面都不同于普通的费托 GTL 工艺。 4.1.2.2国内研究现状 早在 60 年代, 国家科委就制订了 LNG 发展规划, 60 年代中期完成了工业性试验, 四川石油管理局威远化工厂拥有国内最早的天然气深冷分离及液化的工业生产装置,除生产 He 外,还生产 LNG 。 1991 年该厂为航天部提供 30t LNG 作为火箭试验燃料。与国外情况不同的是, 国内天然气液化的研究都是以小型液化工艺为目标,以下就国内现有的天然气液化装置工艺作简单介绍。 (1膨胀制冷工艺 大数据实训室建设项目 解决方案 目录 1. 大数据实训室建设背景 (4) 1.1 中国大数据产业空间高速增长 (4) 1.2 大数据人才紧缺 (5) 1.3 教学中存在的问题 (7) 1.4 大数据人才就业方向 (8) 2. H3C大数据解决方案简介 (14) 3. H3C大数据实训室建设目标 (18) 4. H3C大数据实训室总体设计 (19) 4.1 培养方向及目标 (19) 4.2 实训室方案设计 (20) 4.3 大数据实训室建设思路 (22) 4.4 实验平台建设原则 (23) 4.5 实验平台教材大纲 (26) 4.6 实训室课程目标 (28) 4.7 学员能力要求 (28) 5. 实训室室的相关服务 (29) 5.1 **培训中心介绍 (29) 5.2 师资培训 (31) 5.3 新技术、新应用定期交流 (33) 5.4 实验室设备维护服务 (34) 1.大数据实训室建设背景 1.1中国大数据产业空间高速增长 2015 年9 月5 日，国务院印发《促进大数据发展行动纲要》。《纲要》首次从国家层面认定数据是国家基础性战略资源，将大数据行业定位到国家战略层面，大数据成为推动经济转型发展的新动力，成为重塑国家竞争优势的新机遇，成为提升政府治理能力的新途径。 大数据发展，打破信息孤岛是关键。《纲要》指出，要加强顶层设计和统筹规划，形成公共数据资源合理适度开放共享的法规制度和政策体系。2018 年底前，建成国家政府数据统一开放平台。2020年底前，逐步实现信用、交通、医疗等领域的政府数据集向社会开放。目前，信息孤岛问题依然是阻碍大数据前行的关键要素。目前，60%的主管部门认为数据分布和共享存在难题，这源于不同部门间数据开放标准的不统一，以及在早期建设中各自独立进行和外包导致数据格式标准等的不同。因而建立数据统一平台的前提就是打破信息孤岛，实现数据共享，这对于行业发展至关重要。 （一）数据库主机选型 AS/400从诞生一开始就通过提供卓越的业务处理 功能，可靠性，安全性和可扩展性从而提供真正 的商业价值。在全球，各种规模的企业都选择将 其关键的业务构筑于AS/400之上，其高的性能价 格比已得到各界用户的普遍认同。在国内与医疗 业保险相近的客户有：珠海医疗保险、深圳社会 保险、大连社会保险等。 AS/400是世界上已知的最易于使用、功能最完善 的计算机系统。鉴于它能使客户在其经营上花更 多的时间，而很少花时间去管理他们的信息系统，因而相当多的客户均选择了该系统。所有的AS/400计算机均用同一使用方便的、完善的OperatingSystem/400(OS/400)，它拥有强大的集成的关系数据库、多种通信协议、高度安全性、强大的文件维护及打印能力、完善的系统及网络管理特性，同时提供详细的中文联机帮助。而且全都使用易于理解的中文菜单方式或HTML浏览器方式进行访问。最新版本的操作系统包含一种全新的集成语言环境(ILE)，它使应用开发可以使用多种编程语言同时进行，更快、更灵活和更有效。 ★选择AS/400e主要理由： 卓越的性能 AS/400e的成功赢利及众多的装机量，使得IBM每年不断投入大量人力物力以最新技术对其进行改进，AS/400e的性能不断提高，1990年以来，AS/400e的高端性能每年增长60-70%，性能价格比每年增长30%?AS/400e系列产品其可伸缩性从低端到高端跨度1100倍以上。TPC-C值达152,346Tpmc。 下面从影响AS/400e性能的三个主要方面逐一阐述：芯片、I/O子系统、先进的体系结构。 I 芯片 1、绝缘硅技术(SOI) 绝缘硅片技术实际上是一种微处理器技术，它能将更多的硅和硅氧化层添加到处理器中用于绝缘。具体来讲，它是在处理器芯片内部的硅晶片上先嵌埋一层二氧化硅绝缘物，再以这一绝缘物作为基板来制造各个晶体管，通过绝缘的氧化层起到保护芯片上数万个晶体管的作用，减小晶体管的静电电容，而使晶体管的状态切换加快，降低了误差、提高了晶体管的工作效率以及微处理器的速度；同时，减小了状态切换时的充电电流，以降低功耗，延长了设备的实用寿命。 2、PowerPC64位处理器技术 AS/400e是目前唯一从硬件、操作系统到应用程序全面实现64位处理的计算机系统。此芯片的设计是为了适应商业环境的需要，采用5级流水，4级超标量运算，有20多条专为AS/400e设计的专用指令，这种扩展主要是针对商用工作负荷进行优化，使得AS/400e更适于定点运算,这样使AS/400e在商业环境中可以做一个非常优秀的服务器。在不同的应用领域，AS/400e的64位技术体现出强大的性能和巨大的潜力。它的TPC-C值在业界也处于领先地位。 3、CMOS技术 采用CMOS技术，在原有PowerPC60x的228条64位的指令上增加了20多条专为AS/400e设计的专用指令至253条，增加的指令主要包括数据值运算支持，一些新的载入和储存指令，对指令预装入的处理等，这些指令对商用运算非常重要。 4、256bit总线宽度与升级Cache通信 在总线方面，PowerPCAS采用256bit总线宽度与升级Cache通信，确保了中央处理器能够大容量地处理数据和指令。而很多的RISC芯片均采用64bit的总线宽度与Cache通信，这在商用数据的大吞吐量面前势必会形成瓶颈。尽管系统可吞吐大量数据，但Cache通常仍是多数RISC系统的瓶颈，AS/400e采用256KB单循环数据Cache来克服这个问题，Cache带宽高达4.9GB/S，系统总线带宽达36GB/S，这一值是许多RISC芯片总线宽度的两倍。 5、指令预取处理技术 在指令预取方面，大多数的RISC芯片的击中准确率仅为80%或90%，也就是说系统在为下一步运算预取指令后，常常需要重新再预取，这是因为程序中的跳转和转移等命令所致。这使得中央处理器未得到充分利用，某些时候处于空闲状态，而PowerPCAS芯片采用特殊指令预取处理技术使预取准确率达100%，充分利用了CPU的处理能力。 6、全面的错误检验技术 在商业应用方面另一个重要因素是数据的高度集成和可用性。PowerPCAS芯片中采用全面的错误检验技术，不同的奇偶校验方式被集成到多数控制和数据流逻辑单元上，使得芯片级校验非常完备和可靠。 II I/O子系统 系统的设备通过I/O总线连接到主机上，对AS/400e来说，大量的I/O处理器分别承担了不同的任务处理，极大地减轻了中央处理器的负担，使得中央处理器能对 大数据平台技术要求 1. 技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： 采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作， 支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一 的数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE） 的结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。 大数据平台技术框架选 型 文档编制序号：[KKIDT-LLE0828-LLETD298-POI08] 大数据平台框架选型分析 一、需求 城市大数据平台，首先是作为一个数据管理平台，核心需求是数据的存和取，然后因为海量数据、多数据类型的信息需要有丰富的数据接入能力和数据标准化处理能力，有了技术能力就需要纵深挖掘附加价值更好的服务，如信息统计、分析挖掘、全文检索等，考虑到面向的客户对象有的是上层的应用集成商，所以要考虑灵活的数据接口服务来支撑。 二、平台产品业务流程 三、选型思路 必要技术组件服务： ETL >非/关系数据仓储>大数据处理引擎>服务协调>分析BI >平台监管 四、选型要求 1．需要满足我们平台的几大核心功能需求，子功能不设局限性。如不满足全部，需要对未满足的其它核心功能的开放使用服务支持 2．国内外资料及社区尽量丰富，包括组件服务的成熟度流行度较高 3．需要对选型平台自身所包含的核心功能有较为深入的理解，易用其API或基于源码开发 4．商业服务性价比高，并有空间脱离第三方商业技术服务 5．一些非功能性需求的条件标准清晰，如承载的集群节点、处理数据量及安全机制等 五、选型需要考虑 简单性：亲自试用大数据套件。这也就意味着：安装它，将它连接到你的Hadoop安装，集成你的不同接口（文件、数据库、B2B等等），并最终建模、部署、执行一些大数据作业。自己来了解使用大数据套件的容易程度——仅让某个提供商的顾问来为你展示它是如何工作是远远不够的。亲自做一个概念验证。 广泛性：是否该大数据套件支持广泛使用的开源标准——不只是Hadoop和它的生态系统，还有通过SOAP和REST web服务的数据集成等等。它是否开源，并能根据你的特定问题易于改变或扩展是否存在一个含有文档、论坛、博客和交流会的大社区特性：是否支持所有需要的特性Hadoop的发行版本（如果你已经使用了某一个）你想要使用的Hadoop生态系统的所有部分你想要集成的所有接口、技术、产品请注意过多的特性可能会大大增加复杂性和费用。所以请查证你是否真正需要一个非常重量级的解决方案。是否你真的需要它的所有特性 陷阱：请注意某些陷阱。某些大数据套件采用数据驱动的付费方式（“数据税”），也就是说，你得为自己处理的每个数据行付费。因为我们是在谈论大数据，所以这会变得非常昂贵。并不是所有的大数据套件都会生成本地Apache Hadoop代码，通常要在每个Hadoop集群的服务器上安装一个私有引擎，而这样就会解除对于软件提供商的独立性。还要考虑你使用大数据套件真正想做的事情。某些解决方案仅支持将Hadoop用于ETL来填充数据至数据仓库，而其他一些解决方案还提供了诸如后处理、转换或Hadoop集群上的大数据分析。ETL仅是Apache Hadoop和其生态系统的一种使用情形。 六、方案分析 一.大数据的概念 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法[2]）大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。 “大数据”作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。 二.大数据的相关技术 1．大数据采集技术 数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。 大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。 2．大数据预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作。 1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。 2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项， 因此要对数据通过过滤“去噪”从而提取出有效数据。 3．大数据存储及管理技术 大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化，半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。 开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据 大数据实训室建设项目 解决方案 目录 1. 大数据实训室建设背景 (4) 1.1 中国大数据产业空间高速增长 (4) 1.2 大数据人才紧缺 (5) 1.3 教学中存在的问题 (7) 1.4 大数据人才就业方向 (8) 2. H3C大数据解决方案简介 (14) 3. H3C大数据实训室建设目标 (18) 4. H3C大数据实训室总体设计 (19) 4.1 培养方向及目标 (19) 4.2 实训室方案设计 (20) 4.3 大数据实训室建设思路 (22) 4.4 实验平台建设原则 (23) 4.5 实验平台教材大纲 (26) 4.6 实训室课程目标 (28) 4.7 学员能力要求 (28) 5. 实训室室的相关服务 (29) 5.1 **培训中心介绍 (29) 5.2 师资培训 (31) 5.3 新技术、新应用定期交流 (33) 5.4 实验室设备维护服务 (34) 1.大数据实训室建设背景 1.1中国大数据产业空间高速增长 2015 年 9 月 5 日，国务院印发《促进大数据发展行动纲要》。《纲要》首次从国家层面认定数据是国家基础性战略资源，将大数据行业定位到国家战略层面，大数据成为推动经济转型发展的新动力，成为重塑国家竞争优势的新机遇，成为提升政府治理能力的新途径。 大数据发展，打破信息孤岛是关键。《纲要》指出，要加强顶层设计和统筹规划，形成公共数据资源合理适度开放共享的法规制度和政策体系。2018 年底前，建成国家政府数据统一开放平台。2020年底前，逐步实现信用、交通、医疗等领域的政府数据集向社会开放。目前，信息孤岛问题依然是阻碍大数据前行的关键要素。目前，60%的主管部门认为数据分布和共享存在难题，这源于不同部门间数据开放标准的不统一，以及在早期建设中各自独立进行和外包导致数据格式标准等的不同。因而建立数据统一平台的前提就是打破信息孤岛，实现数据共享，这对于行业发展至关重要。 最高院执行项目 技术架构选型方案Fantasy 2011年8月25日 目录 总体架构!2整体系统描述 2架构选型!4 JDK选型（JDK1.6_22 32位） 4 IOC容器选型（Spring3.0.5.RELEASE） 5 ORM选型（MyBatis） 6 MVC选型（SpringMVC） 7认证和权限选型（shiro1.1 + ralasafe 1.1） 8前台组件选型 11案件导入导出架构设计!12总体架构设计 12客户端功能结构 13技术实现方式 14 总体架构 整体系统描述 系统架构图总揽 展示层 ：主要面向B/S架构，展示层主要由web资源文件组成，包括JSP，JS 和大量的界面控件，同时还采用了AJAX和Flex等RIA技术，负责向用户展现丰富的界面信息，并执行用户的命令 控制层：负责展示层请求的转发、调度和基础验证，同时自动拦截后台返回 的Runtime异常信息。 领域层：是系统最为丰富的一层，主要负责处理整个系统的业务逻辑。这一 层包括业务服务和领域对象，同时负责系统的事务管理。其中业务服务可以提供本地调用和共享远程服务的功能。 数据访问控制层：数据访问层的目的很明确,主要作为提供数据持久化的功 能，包括数据的读取和写入，操作数据库的方法可以有两种方式ORM方式，ralasafe封装的方式。 公共基础设施层：可以包括Common通用模块，IOC模块，Logging日志模块， Exception异常模块和单元测试模块。 架构选型 1.JDK选型（JDK1.6_22 32位） JDK1.5、JDK1.6和JDK1.7选型 测试 1.增加5百万条String数据 测试 2.增加5百万数据到ArrayList方案-大数据平台项目建设方案
主要技术选型方案
大数据平台技术框架选型分析报告
主要技术选型方案
水处理设备选型方案说明
大数据分析平台技术要求
卡口大数据平台技术方案-v1.0
工艺技术方案
大数据实训室建设项目解决方案 大数据实训室建设方案
数据库主机选型方案
大数据分析平台技术要求
大数据平台技术框架选型
大数据的概念及相关技术
最新版大数据实训室建设项目解决方案 大数据实训室建设方案
技术架构选型方案报告