基于Hadoop的海量图像检索系统
第２３卷第１期 ２０１３年１月 计算机技术与发展
ＣＯＭＰＵＴＥＲ ＴＥＣＨＮＯＬＯＧＹ ＡＮＤ ＤＥＶＥ１ ＯＰＭＥＮＴ Ｖｏ１．２３ Ｎｏ．Ｉ Ｊａｎ． ２０ｌ３
基于Ｈａｄｏｏｐ的海量图像检索系统
王梅，朱信忠，赵建民，黄彩锋
（浙江师范大学数理与信息工程学院，浙江金华３２１００４）
摘要：任传统图像检索系统中，由于采用单节点架构，面对海量图像数据检索时存在检索速度慢、并发性差等问题。文 中提出了一种基于Ｈａｄｏｏｐ的图像检索方法，将图像检索技术与ＭａｐＲｅｄｕｃｅ框架相结合，图像特征库存储于分布式文件系 统ＨＤＦＳ中，计算节点采用基于Ｈａｄｏｏｐ的分布式存储调度算法，增强对多数据的并发处理能力，同时对计算后的数据进行 压缩处理。实验表明，该方法在处理大数据图像检索时，与单节点检索系统相比，能够有效降低检索时间，提高检索速度。 关键词：Ｈａｄｏｏｐ；ＭａｐＲｅｄｕｃｅ；分布式计算；图像检索
中图分类号：ＴＰ３９１ 文献标识码：Ａ 文章编号：１６７３—６２９Ｘ（２０１３）叭一０２０４—０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３—６２９Ｘ．２０１３．０１．０５０
Ｍａｓｓｉｖｅ Ｉｍａｇｅｓ Ｒｅｔｒｉｅｖａｌ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ
ＷＡＮＧ Ｍｅｔ，ＺＨＵ Ｘｉｎ—ｚｈｏｎｇ，ＺＨＡＯ Ｊｉａｎ－ｍｉｎ，ＨＵＡＮＧ Ｃａｉ—ｆｅｎｇ
（Ｃｏｌｌｅｇｅ ｏｆ Ｍａｔｈｅｍａｔｉｃｓ ａｎｄ Ｐｈｙｓｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，
Ｚｈｅｊｉａｎｇ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｊｉｎｈｕａ ３２１００４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎ ｆｌ ｔｒａｄｉｔｉｏｎａｌ ｓｉｎｇｌｅ—ｎｏｄｅ ａｒｃｈｉｔｅｃｔｕｒｅ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｓｙｓｔｅｍ，ｆａｃｉｎｇ ｔｈｅ ｐｒｏｂｌｅｍｓ ｏｆ ｓｌｏｗ ｒｅｔｒｉｅｖａｌ ｓｐｅｅｄ，ｐｏｏｒ ｃｏｎｃｕｒｒｅｎｃｙ ｅｔｃ ｗｈｅｎ ｒｅｔｒｉｅｖｅｄ ｍａｓｓｉｖｅ ｉｍａｇｅ ｄａｔａ，ｐｒｏｐｏｓｅｄ ａｎ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｔｈｅ Ｈａｄｏｏｐ，ｃｏｍｂｉｎｉｎｇ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｔｅｃｈｎｏｌｏｇｙ ｗｉｔｈ ＭａｐＲｅｄｕｃｅ ｆｒａｍｅ，ｉｍａｇｅ ｆｅａｔｕｒｅ ｄａｔａｂａｓｅ ｓｔｏｒｅｄ ｉｎ ｔｈｅ ｄｊｓｔｒｉｂｕｔｅｄ ｆｉｌｅ ｓｙｓｔｅｍ ＨＤＦＳ．ｃｏｍｐｕｔｉｎｇ ｎｏｄｅｓ ｕｓｉｎｇ ｔｈｅ ｓｃｈｅｄｕｌｉｎｇ ａｌｇｏ— ｒｉｔｈｍ ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ，ｅｎｈａｎｃｅｄ ｃｏｎｃｕｒｒｅｎｔ ｐｒｏｃｅｓｓｉｎｇ ｃａｐａｂｉｌｉｔｙ ｆｏｒ ｍｕｌｔｉｐｌｅ ｄａｔａ，ａｔ．ｔｈｅ ｓａｍｅ ｔｉｍｅ ｃｏｍｐｒｅｓｓｅｄ ｔｈｅ ｃａｌｃｕｌａｔｅｄ ｄａｔａ Ｔｅｓｔ ａｎｄ ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ，ｔｈｅ ｍｅｔｈｏｄ ｉｎ ｄｅａｌｉｎｇ ｗｉｔｈ ｌａｒｇｅ ｄａｔａ ｒｅｔｒｉｅｖａｌ，ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ ｓｉｎｇｌｅ－ｎｏｄｅ ｒｅ— ｔｒｉｅｖａｌ ｓｙｓｔｅｍ，ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｒｅｄｕｃｅ ｔｈｅ ｓｅａｒｃｈ ｔｉｍｅ，ｉｍｐｒｏｖｅ ｔｈｅ ｒｅｔｒｉｅｖａｌ ｓｐｅｅｄ． Ｋｅｙ ｗｏｒｄｓ：Ｈａｄｏｏｐ；ＭａｐＲｅｄｕｃｅ；ｄｉｓｔｒｉｂｕｔｅｄ ｃｏｍｐｕｔｉｎｇ；ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ
Ｏ 引 言
图像检索是直接根据初始查询图像的视觉特征，
在图像库中找出与之相似的图像。利用图像自身去检
索图像，快速有效地提高了图像检索的性能，但在图像
检索的过程中，同时将消耗大量的ＣＰＵ资源。随着计
算机科学技术和数字图像采集技术的迅速发展以及互
联网的普及应用，每天从各行各业都产生出大量的多
媒体数据，这 数据大部分是以图片和视频等形式表
现的，传统基于单节点架构的图像检索系统存在检索
速度慢、并发性差，实时性和稳定性无法保障等问题，
已经不能满足人们对于检索性能的要求 。因此一种
基于内容的实现图像快速检索、并行处理、及时响应方
收稿日期：２０１２—０４—２１；修回日期：２０１２－０７—２５ 基金项目：浙 省『｛然科学基金（Ｙ１ｌＯｌ２６９）；省科技 划项目 （２００８（：１４０６３）；浙江省重巾之霞学科资助项目 作者简介： Ｅ梅（１９８８一），女，硕士研究牛，研究方向为云计ｔ算资源 调度策略；朱信忠，副教授，硕士生导师，研究方向为模式识别 数 字工 、多媒体图像检索等 法成为了研究热点。
Ｈａｄｏｏｐ是Ａｐａｃｈｅ软件基金会（Ａｐａｃｈｅ ＳｎｆｔｗａＩ ｅ
Ｆｏｕｎｄａｔｉｏｎ）组织下的一个开源项目，提供分布式计算
环境下的可靠、可扩展软件，是一个能够让用户轻松架
构和使用的分布式计算平台，能够支持上下个节点以
及ＰＢ级数据量的运算 ’ 。Ｈａｄｏｏｐ分布式计算平台
适合将各种资源、数据等部署在廉价的机器 ，进行分
布式存储和分布式管理，具有高可靠性、高扩展性、高
效性以及高容错性等优点，有效提高图像检索的速度。
文中在研究开源框架Ｈａｄｏｏｐ的基础Ｊ二，分析传统图像
检索系统的基础Ｅ，结合基于内容的图像检索技术和
ＭａｐＲｅｄｕｃｅ计算框架 ，将图像特征库存储于ＨＤＦＳ
中，开发实现。ｒ基于Ｈａｄｏｏｐ的海量图像检索系统。
ｌ 系统框架与模块设计
１．１分布式系统整体框架
基于Ｈａｄｏｏｐ的图像检索系统的设计目标是实现
海量、异构、分布的图像资源的快速检索和及时响应。
系统采用分布式构架，由上而下分别由表现层、业务逻 第１期 王梅等：基于Ｈａｄｏｏｐ的海量图像检索系统 ・２０５・
辑层以及数据及数据处理层组成，整体框架如图１所
示。
数据
图１基于Ｈａｄｏｏｐ的图像检索系统整体构架
前端用户通过Ｉｎｔｅｒｎｅｔ获取服务，用来上传示例图
像和接收Ｗｅｂ服务器的处理结果。在服务器端，业务
逻辑层主要根据用户检索请求执行相应业务处理。数
据及数据处理层包括ＨＤＦＳ存储和管理，海量图像数
据导人和请求模块 及ＨＤＦＳ管理模块。数据处理层
也是系统最核心的部分，负责图像数据的分块、图像特 征的提取、匹配以及结果的返回。
１．２ ＨＤＦＳ模块设计
ＨＤＦＳ集群有两类节点，采用Ｍａｓｔｅｒ／Ｓｌａｖｅ架构，
以管理者一工作者模式运行，即一个ＮａｍｅＮｏｄｅ（管理
者）和多个ＤａｔａＮｏｄｅ（工作者）组成。当用户通过客户
端发出请求对文件进行读写操作时，集群通过Ｎａｍｅ—
Ｎｏｄｅ和ＤａｔａＮｏｄｅ的交互实现文件读写操作。ＨＤＦＳ
框架结构如图２所示。
图２ ＨＤＦＳ框架结构
ＮａｍｅＮｏｄｅ是整个ＨＤＦＳ的核心，用于管理数据节
点和客户端对文件的访问，管理文件系统的命名空间， 维护整个文件系统的数据结构，记录和保存系统中所
有的文件和元数据。这些信息以备份文件的形式保存 在设置备份的ＮａｍｅＮｏｄｅ节点上，Ｈａｄｏｏｐ对多份复制
的数据块自动进行维护，当集群中的某一节点数据丢
失造成任务失败后，ＮａｍｅＮｏｄｅ会自动地重新部署计算 任务。在Ｈａｄｏｏｐ启动时，通过各ＤａｔａＮｏｄｅ收集各数
据块的信息。
ＤａｔａＮｏｄｅ是文件系统的工作节点，根据需要负责
存储或检索数据块（受客户端或ＮａｍｅＮｏｄｅ调度），各
数据块的存储位置随Ｈａｄｏｏｐ系统的调整而改变，Ｄａ－
ｔａＮｏｄｅ周期性向ＮａｍｅＮｏｄｅ上报心跳。当客户端发送
请求，ＮａｍｅＮｏｄｅ的监听程序被开启，当监测到客户端
的请求时，ＮａｍｅＮｏｄｅ就将ＨＤＦＳ分布式文件系统的目
录信息、磁盘空间信息、备份因子、空闲的节点数目等
信息返回给客户端，客户端根据返回信息，使用Ｈａ．
ｄｏｏｐ程序指令进行本地数据的处理、ＨＤＦＳ数据导出
导入等相应的操作。
１．３ ＭａｐＲｅｄｕｃｅ模块设计
ＭａｐＲｅｄｕｃｅ模块主要用于大规模数据集的并行计
算，在本系统中主要负责在图像检索过程中对图像匹
配及相似性度量的计算，并将匹配处理结果按照相似
度从大到小排序后返回给用户 。ＭａｐＲｅｄｕｃｅ模块实
现并行汁算的工作框图如图３所示。
Ｉ ＨＤＦｓ图片特征库 １ 分割 ｊ 】 ——Ｌ ．］ ［ ．——± ．——１ ，
俞入臣 匝 匝田 ‘。
。输入 申 串
愉出Ｌ ｛— 堡Ｊ
中 率
『检索结果０ Ｉ Ｉ检索结果１ ｌ
图３ 实现并行计算的ＭａｐＲｅｄｕｃｅ工作框图
首先，ＭａｐＲｅｄｕｃｅ程序运行时，对ＨＤＦＳ中的图像
特征库进行数据分割，得到图像特征数据的分片，然后
由ＤａｔａＮｏｄｅ节点将每个数据分片传送至各ＴａｓｋＴｒａｃｋ．
ｅｒ节点进行运行，由Ｍａｐ读取数据分片，将数据分片
分解为以Ｋｅｙ／Ｖａｌｕｅ形式存在的数据特征，其中键值
Ｋｅｙ表示图像特征在数据分片中的偏移距离，键值ｖａ１．
Ｈｅ为图像的特征值。
然后ｍａｐ（）函数调用这些Ｋｅｙ／Ｖａｌｕｅ值，通过
ｍａｐ函数判断图像特征是否满足检索条件，满足即计 ・２０６・ 计算机技术与发展 第２３卷
算形状、纹理、颜色的相似度，并将匹配的中间结果以
Ｋｅｙ／Ｖａｌｕｅ键值对的形式保存在本地系统中，其中Ｋｅｙ
值表示相似度，Ｖａｌｕｅ值表示图像特征库中的图像名。
然后对于Ｍａｐ任务输出的中间结果进行相同合
并（相同结果只取一一条），将处理好的中问结果传递给
Ｒｅｄｕｃｅ任务。
最后Ｒｅｄｕｃｅ任务收到Ｍａｐ输出的中间结果后对
其进行排序，排序规则按照相似度大小处理，并将排序
好的检索结果存储于ＨＤＦＳ中。
２ 系统实现关键技术
２．１ Ｈａｄｏｏｐ的大文件分布式存储
海量图像检索系统处理的数据可以达到ＰＢ级以
上，传统的单节点存储无法达到要求。本系统存储平
台选用Ｈａｄｏｏｐ框架，对原始的大文件进行分块处理，
采用基于Ｈａｄｏｏｐ的分布式存储调度算法，该算法能够
提高系统对多数据的并发处理能力 ，同时采用压缩
存储对多数据进行处理。
本系统在处理大文件分块存储时采用的存储方
法 是将一大文件分块处理成若干个数据分块，并将
这些属于同一大文件的数据分块以一个文件的形式存
储，利用分布式存储调度算法，将分块后的所有数据存
储在不同的存储节点上，并实施相应的备份机制。每
一个数据分块以＜Ｂｌｋ—ＩＤ，ＭｅｔａＤａｔａ＞标识的一条＜ｋｅｙ，
ｖａｌｕｅ＞键值对进行存储，其中，Ｂｌｋ—ＩＤ代表数据分块
的流水号标识；ＭｅｔａＤａｔａ代表数据分块的二进制数
据。因此，数据分块的存储类型采用＜ｉｎｔ，ｂｙｔｅ［］＞型，
由于每个数据分块的存储标识以键值对存储且一…一对
应，所以只要通过数据分块的流水号标识，就可得到该
数据分块的字节数据，大文件分布式存储流程如图４
所示．．
图４ 大文件分布式存储方法
２．２图像特征提取与匹配
在传统图像检索过程中，对图像特征提取通常采
，Ｆｆｊ提取图像全局特征的方法来进行索引，如颜色、纹理 等 。但是这种方法没有考虑到图像的局部区域特
基于Apache Spark的海量图像并行检索
基于Apache Spark的海量图像并行检索
曹健;张俊杰;李海生;蔡强
【期刊名称】《计算机应用》
【年(卷),期】2018(038)0z2
【摘 要】针对海量图像如何高效存储和快速检索问题,结合Spark大数据平台和视觉词袋图像(BoVW)检索方法,设计了一种基于BoVW模型的海量图像并行检索框架.首先,通过BoVW模型对图像进行特征提取、特征聚类和向量表示等预处理过程;其次,对Hadoop分布式文件系统(HDFS)中将预处理结果实现高效和稳定的存储;最后,框架利用Spark平台进行并行检索,完成图像间的相似度匹配.在ImageNet图像集上,利用图像的特征提取和聚类、向量表示等方法作为基础实验,采用扩展率和数据伸缩率证明框架稳定性的情况下,通过与传统框架进行对比,该系统加速比均在58％以上,检索准确率保持一致.实验结果表明,该方法具有更强的稳定性和更快速的检索效果.
【总页数】5页(P183-186,230)
【作 者】曹健;张俊杰;李海生;蔡强
【作者单位】北京工商大学计算机与信息工程学院,北京100048;北京工商大学食品安全大数据技术北京重点实验室,北京100048;北京工商大学计算机与信息工程学院,北京100048;北京工商大学食品安全大数据技术北京重点实验室,北京100048;北京工商大学计算机与信息工程学院,北京100048;北京工商大学食品安全大数据技术北京重点实验室,北京100048;北京工商大学计算机与信息工程学院,北京100048;北京工商大学食品安全大数据技术北京重点实验室,北京100048 【正文语种】中 文
【中图分类】TP391
【相关文献】
1.一种基于Spark的高光谱遥感图像分类并行化方法 [J], 刘震;朱耀琴
2.基于Spark的海量图像检索系统设计 [J], 王迅;冯瑞
3.一种基于Spark的图像聚类并行化算法 [J], 张振;冯永亮;赵津曼
基于Hadoop平台下SVM的图像识别技术
基于Hadoop平台下SVM的图像识别技术
白灵
【摘 要】The recognition technology of massive images is researched,in
which the SVM algorithm is taken as the image recognition model. In
consideration of the problem that the training samples increase
exponentially with the gradual increase of data size of image training
samples,the parallel computation SVM method based on Hadoop platform
is studied to shorten the training time and quicken the image recognition
efficiency. In an experiment, the SVM image recognition technology were
studied by means of the images in Corel image library. The results show
that the recognition accuracy rate of the image recognition sys⁃tem using
SVM algorithm based on Hadoop platform has no difference with that of
the conventional stand⁃alone SVM image rec⁃ognition system,but when
more than 2 nodes exist in Hadoop platform,the speedup ratio is increased
基于Hadoop平台的图像处理技术研究
基于Hadoop平台的图像处理技术研究
一、前言
随着大数据时代的来临，数据量的增大呈现出指数级增长趋势，如何高效地处理海量数据已经成为一个亟待解决的问题。在这个背景下，Hadoop平台应运而生。Hadoop采用了分布式计算的思想，在处理海量数据时，具有良好的可扩展性和容错性。因此，Hadoop平台被广泛应用于大数据处理领域，其中图像处理技术是其中一个重要的应用方向。
二、 Hadoop平台
Hadoop是一个由Apache基金会开发的开源分布式计算平台，它的核心模块包括Hadoop Distributed File System（HDFS）和MapReduce。HDFS是一个分布式的文件系统，具有高容错性和可靠性，同时能够存储PB级别的数据。MapReduce是一种分布式计算模型，能够自动将数据分成小块进行计算，并将结果汇总成最终结果。
在Hadoop平台上进行图像处理时，需要将图像文件划分为多个块，每个块独立进行图像处理，最后将处理结果合并生成最终结果。这种分块处理的方式既可以提高处理速度，又可以避免由于单个节点出错而导致的处理失败。
三、图像处理技术 1.图像处理流程
图像处理是指对数字图像进行处理，获取其中的有用信息或者实现对图像的修复和增强。常见的图像处理流程包括图像获取、前处理、特征提取、目标分割、分类识别等步骤。
其中，前处理阶段包括图像去噪、图像增强、图像分割和图像配准等步骤。图像去噪是为了消除噪声对图像质量的影响；图像增强是为了提高图像的对比度和清晰度；图像分割是为了将一张大的图像分成若干个具有独立信息的小块；图像配准是为了对多张图像进行对齐和融合。
2.图像处理技术
(1)图像去噪
图像去噪是指消除噪声对图像质量的影响的过程。常见的图像去噪算法有中值滤波、小波去噪和自适应中值滤波等。
(2)图像增强
图像增强是指提高图像的对比度和清晰度的过程。常见的图像增强算法有线性变换、非线性变换和直方图均衡化等。
基于Hadoop的海量图片存储平台的设计与开发
龙源期刊网
基于Hadoop的海量图片存储平台的设计与开发
作者：周晓庆 周智勇 高江锦 肖建琼 罗兴贤
来源：《电脑知识与技术》2018年第17期
摘要：随着 Internet的飞速发展与深入应用，海量图片数据的存取问题显得越发突出，传统存储架构已突显管理效率不高、存储能力不足及成本太高等问题，Hadoop为我们提供了一种新的解决问题的思路，Hadoop可以充分利用集群的威力进行高速运算和存储，但是小文件过多时Hadoop的NameNode将导致内存出现瓶颈问题，使得系统效率变得极为低下。该文提出了一种基于Hadoop的、可对海量图片文件进行高效处理的存储架构，通过预处理模块的归类算法，并引入扩展一级索引机制，能较好地解决海量图片的处理问题，并避免内存瓶颈问题。实验表明，该系统易维护、具有良好的可扩展性，其稳定性、安全性、并发性均有较大改善。
关键词：海量图片；Hadoop；分布式计算；存储架构
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）17-0135-03
Abstract： With fast development and deep appliance of the Internet， problem of mass image
data storage stand out， so the problem of low management efficiency， low storage ability and high
cost of traditional storage framework has appeared. The appearance of Hadoop provides a new
thought. However， Hadoop itself is not suit for the handle of small files. This paper puts forward a
基于Hadoop的海量数据处理与分析系统设计
基于Hadoop的海量数据处理与分析系统设计
随着信息技术的不断发展和普及，数据量也日益庞大，传统的数据处理方式已经无法满足海量数据的处理和分析需求。基于Hadoop的海量数据处理与分析系统应运而生，成为一个新兴的领域。本文将从以下几个方面探讨Hadoop的海量数据处理与分析系统的设计。
一、 Hadoop概述
Hadoop是由Apache开发的分布式计算框架，基于Java语言实现。它主要解决海量数据的存储和处理问题，包括大数据存储、大数据分析、大数据挖掘等领域。Hadoop的核心是HDFS（Hadoop Distributed File System）和MapReduce框架。
HDFS是一个分布式文件系统，它将文件分割成若干个块，并将这些块存储到不同的节点上，保证数据的冗余性和可靠性。MapReduce框架则是一种分布式计算模型，它将计算任务分解成多个子任务，在不同的节点上运行，并将结果进行整合，最终得到计算结果。
二、 海量数据处理与分析系统的架构设计
1. 数据采集 在设计海量数据处理与分析系统时，首要考虑的是如何采集海量数据。数据加工过程中，应当考虑到数据的类型和大小，不同场景下所需要采集的数据也有很大的差异。对于常见的大数据场景，需要采集的数据包括：传感器数据、日志数据、网络数据等。
2. 数据存储
HDFS是Hadoop分布式计算框架的核心组成部分，也是海量数据存储的基础。它采用的是分布式存储方式，将数据划分成多个块，并分别存储在不同的物理节点上。这种分布式存储的方式保证了数据的冗余性和可靠性，同时也大大提高了数据的读写速度。
3. 数据预处理
对于处理海量数据的系统而言，预处理环节的重要性不言而喻。预处理环节可以包括数据清洗、数据归一化、数据规范化等，其目的是为了提高数据的质量，减少后续处理环节的误差。在Hadoop中，数据预处理可以采用MapReduce框架进行并行处理，大大提高了数据处理的效率。
基于Hadoop的大数据查询系统简述
总第２９０期
２０１３年第１２期 计算机与数字工程 Ｃｏｍｐｕｔｅｒ＆Ｄｉｇｉｔａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｖｏ１．４１ Ｎｏ．１２ １９３９
基于Ｈａｄｏｏｐ的大数据查询系统简述
陈梦杰陈勇旭贾益斌张－－１１ｌ宋杰 （东北大学软件学院沈阳１１０８１９）
摘要近年来，随着计算机技术的迅猛发展，其领域迎来了大数据时代。随着大数据的出现，传统的关系型数据库已经不能满足高储 存量的要求，此时成本低廉、有着良好并行性和伸缩性的云数据库应运而生，它采用键值对数据模型和分布式的计算环境。但是海量数据在
Ｋｅｙ－ｖａｌｕｅ数据库中的查询效率低下、实时性差等问题又普遍存在。为了解决查询效率低下这一问题，将多维数据模型和索引技术应用于 Ｋｅｙ－ｖａｌｕｅ数据库，将事实数据以多维的形式进行存储并在多维模型上建立索引以加快查询速度。论文将系统地描述多维数据模型的建立 和索引技术的实现，最后简单地和主流Ｋｅｙ－ｖａｌｕｅ数据库进行优缺点对比。 关键词 大数据；Ｋｅｙ－ｖａｌｕｅ数据库；多维模型；Ｚ－ｏｒｄｅｒｉｎｇ；Ｋ—ｄ ｔｒｅｅ
中图分类号ＴＰ３９１ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ１６７２—９７２２．２０１３．１２．０２１
Ａ Ｂｒｉｅｆ Ｉｎｔｒｏｄｕｃｔｉｏｎ Ｈａｄｏｏｐ—ｂａｓｅｄ Ｂｉｇ Ｄａｔａ Ｑｕｅｒｙ Ｓｙｓｔｅｍ
ＣＨＥＮ Ｍｅｎｇｊｉｅ ＣＨＥＮ Ｙｏｎｇｘｕ ＺＨＡＮＧ Ｙｉｃｈｕａｎ ＳＯＮＧ Ｊｉｅ （Ｓｏｆｔｗａｒｅ Ｃｏｌｌｅｇｅ，Ｎｏｒｔｈｅａｓｔｅｒｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ １１０００４）
Ａｂｓｔｒａｃｔ Ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ，ｗｉｔｈ ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｃｏｍｐｕｔｅｒ ｔｅｃｈｎｏｌｏｇｙ，ｉｔｓ ａｒｅａ ｕｓｈｅｒｓ ｉｎ ｔｈｅ ｅｒａ ｏｆ ｂｉｇ ｄａｔａ．Ｗｉｔｈ ｔｈｅ ｅｍｅｒ— ｇｅｎｃｅ ｏｆ ｂｉｇ ｄａｔａ，ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｒｅｌａｔｉｏｎａｌ ｄａｔａｂａｓｅ ｃｏｎｎｏｔ ｍｅｅｔ ｔｈｅ ｎｅｅｄｓ ｏｆ ｈｉｇｈ ｓｔｏｒａｇｅ ｃａｐａｃｉｔｙ ｗｈｅｎ ｔｈｅ １ＯＷ ｃｏｓｔ ｃｌｏｕｄ ｄａｔａｂａｓｅ ｗｉｔｈ ｇｏｏｄ ｐａｒａｌｌｅｌｉｓｍ ａｎｄ ｓｃａｌａｂｉｌｉｔｙ ｃｏｍｅｓ ｉｎｔｏ ｂｅｉｎｇ ａｔ ｔｈｅ ｈｉｓｔｏｒｉｃ ｍｏｍｅｎｔ．Ｉｔ ｕｓｅｓ ａ Ｋｅｙ－ｖａｌｕｅ ｄａｔａ ｍｏｄｅｌ ａｎｄ ｔｈｅ ｄｉｓｔｒｉｂｕｔｅｄ ｃｏｍｐｕｔｉｎｇ ｅｎｖｉ— ｒｏｎｍｅｎｔ．Ｂｕｔ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ｑｕｅｒｙ ｏｆ ｈｕｇｅ ａｍｏｕｎｔｓ ｏｆ ｄａｔａ ｉｎ ｔｈｅ Ｋｅｙ－ｖａｌｕｅ ｄａｔａｂａｓｅ ｌａｃｋｓ ｅｆｆｉｃｉｅｎｃｙ ａｎｄ ｈａｓ ｂａｄ ｒｅａｌ—ｔｉｍｅ ｐｅｒｆｏｒｍａｎｃｅ ｉｓ ｕｎｉｖｅｒｓａ１．Ｔｏ ｓｏｌｖｅ １ＯＷ ｅｆｆｉｃｉｅｎｃｙ ｉｎ ｑｕｅｒｙ，ｔｈｉｓ ｓｙｓｔｅｍ ａｐｐｌｉｅｓ ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｄａｔａ ｍｏｄｅ１ ａｎｄ ｔｈｅ ｉｎｄｅｘｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｔｏ ｔｈｅ Ｋｅｙ－ｖａｌｕｅ ｄａ— ｔａｂａｓｅ．ｓｔｏｒｉｎｇ ｆａｃｔ ｄａｔａ ｉｎ ｆｏｒｍｓ ｏｆ ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｄａｔａ ａｎｄ ｉｎｄｅｘｉｎｇ ｏｎ ｔｈｅ ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｍｏｄｅｌ ｉｎ ｏｒｄｅｒ ｔｏ ｓｐｅｅｄ ｕｐ ｔｈｅ ｑｕｅｒｙ．Ｔｈｅ ｅｓｔａｂｌｉｓｈｍｅｎｔ ｏｆ ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｄａｔａ ｍｏｄｅ１ ａｎｄ ｔｈｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｉｎｄｅｍｎｇ ｔｅｃｈｎｏｌｏｇｙ ｉｓ ｓｙｓｔｅｍａｔｉｃａｌｌｙ ｄｅｓｃｒｉｂｅｄ．Ｆｉｎａｌｌｙ ｔｈｅ ｔｈｅｓｉｓ ｂｒｉｅｆｌｙ ｃｏｍｐａｒｅｓ ｉｔ ｔＯ ｔｈｅ ｍａｉｎｓｔｒｅａｍ Ｋｅｙ－ｖａｌｕｅ ｄａｔａｂａｓｅ ｉｎ ｔｅｒｍｓ ｏｆ ａｄｖａｎｔａｇｅｓ ａｎｄ ｄｉｓａｄｖａｎｔａｇｅｓ． Ｋｏｙ Ｗｏｒｄｓ ｂｉｇ ｄａｔａ，Ｋｅｙ－ｖａｌｕｅ ｄａｔａｂａｓｅ，ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｄａｔａ ｍｏｄｅｌ，Ｚ－ｏｒｄｅｒｉｎｇ，Ｋ—ｄ ｔｒｅｅ
基于Hadoop的服饰图像存储与检索关键技术研究
第３１卷第４期 ２０１４年４月 计算机应用研究 Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｒｓ Ｖｏｌ＿３１ Ｎｏ．４ Ａｐｒ．２０１４
基于Ｈａｄｏｏｐ的服饰图像存储与检索关键技术研究水
郭飞ｈ，詹炳宏岫 ，刘刚。
（１．北京服装学院ａ．信息工程学院Ｉｂ．艺术设计学院，北京１０００２９；２．北京市数字媒体与交互重点实验室，北
京１０００２９；３．河南工业大学信息科学与工程学院，郑州４５０００１）
摘要：针对服饰图像都是小文件的特性，提出了一种ＨＤＦＳ和传统关系型数据库相结合的服饰图像及其特征
数据的存储结构设计方法，实现了海量图像信息的快速存储和读取；改进了多特征点图像特征提取和匹配算法，
并基于Ｍａｐ／Ｒｅｄｕｃｅ框架实现了基于多特征的服饰图像数据分布式检索。实验结果表明，该方法能够均衡系统
负载，提高资源利用率，扩展性强，有效地降低了海量服饰图像检索时间，是一种高效的服饰图像存储和检索的
方法。
关键词：Ｈａｄｏｏｐ云存储；小文件；基于内容的图像检索；服饰图像
中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１００１—３６９５（２０１４）０４．１０８６．０４
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１－３６９５．２０１４．０４．０３１
Ｒｅｓｅａｒｃｈ ｏｎ ｋｅｙ ｔｅｃｈｎｏｌｏｇｙ ｏｆ ｃｌｏｔｈｉｎｇ ｉｍａｇｅ
ｓｔｏｒａｇｅ ａｎｄ ｒｅｔｒｉｅｖａｌ ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ
ＧＵＯ Ｆｅｉ ，ＺＨＡＮ Ｂｉｎｇ．ｈｏｎｇ ，ＬＩＵ Ｇａｎｇ
（１．ａ．Ｓｃｈｏｏｌ ｏｆＩｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，ｂ．Ｓｃｈｏｏｌ ｏｆＡｒｔ＆Ｄｅｓｉｇｎ，Ｂｅｉｊｉｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆＦａｓｈｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ １０００２９，Ｃｈｉｎａ；２．Ｂｅｉ－ ｊｉｎｇ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆＤｉｇｉｔａｌ＆Ｉｎｔｅｒａｃｔｉｖｅ Ｍｅｄｉａ，Ｂｅｉｊｉｎｇ １０００２９，Ｃｈｉｎａ；３．Ｃｏｌｌｅｇｅ ｏｆＩｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，Ｈｅｎａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｚｈｅｎｇｚｈｏｕ ４５０００１，Ｃｈｉｎａ）
一种基于Hadoop平台的分布式数据检索系统
龙源期刊网
一种基于Hadoop平台的分布式数据检索系统
作者：曹恒瑞曹展硕
来源：《软件导刊》2017年第04期
摘要：企业级检索不同于普通的数据检索和网站检索，它包括复杂结构的数据检索、安全检索、高可靠的查全和查准、智能化的数据检索服务和实时的数据更新服务等。虽然可以利用已有数据检索系统提供的站内数据检索功能来构建企业级数据检索系统，但这种站内检索功能难以满足绝大多数企业自身检索需求。随着大数据时代来临，为处理海量数据，建立大数据平台成为趋势，使用分布式文件存储系统，通过云计算技术来分析海量数据，开发企业级智能云检索系统是提高企业综合效益的关键。基于自然语言的智能云检索，研究开发了基于Hadoop平台的分布式数据检索系统，实现了分布式文件系统和传统关系数据库协同运行的高效数据检索系统。
关键词：智能云检索；Hadoop平台；数据检索；企业级检索
中图分类号：TP319
文献标识码：A
文章编号：16727800（2017）004011803
0引言
现代信息技术迅猛发展，企业面对海量数据存储的压力越来越大，导致用户很难找到所需要的信息[12]，已有的传统数据库管理系统无法满足企业检索需求。 〖HJ*3/8〗Hadoop可建立分布式集群，企业能够建立属于自己的大数据平台并通过大数据平台处理超大数据集及存储海量数据。为此，本文设计了基于Hadoop平台的分布式数据检索系统。系统包括4个模块[3]：语言处理模块、中间语言处理模块、生成查询SQL模块和权限控制模块。语言处理模块主要负责语言本身的处理，包括切词、词性识别、同义词识别等。此模块提供智慧化的接口，用户可使用自然语言查询需要的信息，通过分词、词性识别等操作，输出结果，〖HJ〗提供给中间语言处理模块处理。中间语言处理模块主要负责将接收到的信息组合成伪SQL，然后通过SQL模块，生成能被数据库执行的SQL语句，得到查询记录集，最后格式化记录集返回给前台查询页面，完成自然语言查询过程。
一种基于Hadoop平台的分布式数据检索系统 2
蒴１ ６替第４瑚 ２０１ ７；ｇ４ Ｊ』 ＶｏＩ ｌ ６Ｎ０ ４ Ａｐｒ．：（）１ ７
一种基于Ｈａｄｏｏｐ平台的分布式数据检索系统
曹恒瑞 ～，曹展硕 （１．南华大学计算机科学与技术学院，湖南衡阳４２ｌ００ｌ；２．湖南工学院电气与信息工程学院， 湖南衡阳４２１００２；３．湖南农业大学农学院，湖南长沙４ｌ００００） 摘 要：企业级检索不同于普通的数据检索和网站检索．它包括复杂结构的数据检索、安全检索、高可靠的查全和查 ；住、智能化的数据检索服务和实时的数据更新服务等。虽然可以利用已有数据检索系统提供的站内数据检索功能来 构建企业级数据检索系统．但这种站内检索功能难以满足绝大多数企业自身检索需求。随着大数据时代来Ｉ临，为处 理海量数据，建立大数据平台成为趋势，使用分布式文件存储系统，通过云计算技术来分析海量数据．开发企业级智 能云检索系统是提高企业综合效益的关键。基于自然语言的智能云检索，研究开发了基于Ｈａｄｏｏｐ平台的分布式数 据检索系统．实现了分布式文件系统和传统关系数据库协同运行的高效数据检索系统。 关键词：智能云检索；Ｈａｄｏｏｐ平台；数据检索；企业级检索 ＤＯＩ：１０．Ｕ ９０７／ｒｊｄｋ．】６２７１０ 中图分类号：ＴＰ３１ ９ 文献标识码：Ａ 文章编号：１６７２—７８００（２０１ ７）００４ ０１ｌ８（）３ ０ 引言 现代信息技术迅猛发展，企业面对海量数据存储的 力越来越大，导致用户很难找到所需要的信息 ，已有的 传统数据库管理系统无法满足企业检索需求。 Ｈａｄｏｏｐ可建立分布式集群，企业能够建立属于内己 的大数据平台并通过大数据平台处理超大数据集及存储 海量数据。为此。本文没计了基于Ｈａｄｏｏｐ平台的分 式 数据检索系统。系统包括４个模块 ：语言处理模块、中 问语 处理模块、生成查询ＳＱＩ 模块和权限控制模块。 语言处师模块主要负责语言本身的处理，包括切同、词性 识别、同义词识别等。此模块提供智慧化的接口，用户可 使用ｎ然语言查询需要的信息，通过分词、词性识别等操 作，输出结果，提供给中间语言处理模块处理。中问语言 处理模块主要负责将接收到的信息组合成伪ｓＱＩ ，然后 通过ＳＱＩ 模块。生成能被数据库执行的ＳＱＩ 语句，得到 查询记录集．最后格式化记录集返回给前台查询页面，完 成自然语言杏询过程。 ｌ 系统关键技术 １．１ Ｈａｄｏｏｐ技术 Ｈａｄｏｏｐ是分布式处理ＰＢ级数据的开源框架。具有 ｎ丁靠性、高效性和可伸缩性，能维护多个Ｔ作数据副本。并 针对失败节点藿新分布处理，以并行 １作力‘式来加速处理 数据 。Ｈａｄｏｏｐ的可伸缩性使其处理ＰＢ级数据得心应 手，开源没计和廉价服务器配置使其得到广泛应用。 ＨＤＦＳ内部的所有通信都基于标准的 ｒｃＰ／ｉＰ协议， ＨＤＦＳ内部机制如图１所示。 。
Hadoop中实现海量图像处理的技巧分享
Hadoop中实现海量图像处理的技巧分享
在当今数字化时代，图像处理已经成为了一项广泛应用的技术。随着数据量的不断增加，海量图像处理成为了一个挑战。Hadoop作为一种分布式计算框架，能够有效地处理大规模数据，因此在海量图像处理中有着广泛的应用。本文将分享一些在Hadoop中实现海量图像处理的技巧。
一、数据准备和预处理
在进行海量图像处理之前，首先需要准备好待处理的图像数据。图像数据通常以文件的形式存在，因此需要将这些文件上传到Hadoop分布式文件系统（HDFS）中。这可以通过使用Hadoop提供的命令行工具或者编写自定义的程序来完成。同时，为了提高处理效率，还可以对图像进行预处理，如压缩、裁剪、缩放等操作，以减小数据量和提高处理速度。
二、分布式计算模型
Hadoop的分布式计算模型是基于MapReduce的，因此在海量图像处理中也可以采用这种模型。具体而言，可以将图像处理任务划分为多个子任务，每个子任务由一个Map函数和一个Reduce函数组成。Map函数负责对输入的图像数据进行处理，将处理结果输出为键值对的形式；Reduce函数则负责对Map函数的输出进行汇总和整合，生成最终的处理结果。
三、并行处理与负载均衡
在海量图像处理中，数据量庞大，因此需要将任务进行并行处理，以提高处理效率。通过将图像数据划分为多个数据块，每个数据块由一个Map任务处理，可以实现并行处理。此外，为了保证各个Map任务的负载均衡，可以采用动态调整的策略，根据各个任务的处理速度和负载情况，动态地分配任务。
四、数据压缩与存储优化 海量图像处理中，数据量往往非常庞大，因此在处理过程中需要考虑数据的压缩和存储优化。Hadoop提供了多种数据压缩的方式，如LZO、Snappy等，可以将图像数据进行压缩，减小存储空间的占用。同时，还可以采用分块存储的方式，将图像数据划分为多个块，存储在不同的节点上，以提高存储和读取的效率。