数据库技术发展的新方向_非结构化数据库
●李 慧(武汉大学信息管理学院 湖北 430072)
颜显森(北京国信贝斯软件有限公司 北京 100053)
数据库技术发展的新方向———非结构化数据库
Abstract:With the development of Internet,many disadvantages of the traditional relational database have been dis2 covered.Under such circumstances,the non2structure database comes into being.This paper mainly discusses the defini2 tion,background,characteristics and advantages of the non2structure database.
K eyw ords:database technology;data structure/Internet;full text searching
1 什么是非结构化数据库
在信息社会,所有信息大体上可以分为两类:一类信息能够用数据或统一的结构加以表示,我们称之为结构化数据,如数字、符号;另一类信息根本无法用数字或者统一的结构表示,如文本、图像、声音乃至网页等,我们称之为非结构化数据。非结构化数据包括结构化数据,但又不止是结构化数据;结构化数据属于非结构化数据,是非结构化数据的特例。
所谓非结构化数据库,是指数据库的变长记录由若干不可重复和可重复的字段组成,而每个字段又可由若干不可重复和可重复的子字段组成。简单的说,非结构化数据库就是字段数和字段长度可变的数据库。
2 为什么需要非结构化数据库
传统关系数据库,通过引入数学领域的关系模型及关系代数和关系演算,经过几十年的应用和发展,奠定了自己的优势。但随着网络的发展,关系数据库越来越显示出不足的一面。到了20世纪90年代,当关系数据库还满足于用户连接到大型主机上的数据库进行联机检索时,因特网的出现已经可以把超文本文件传送到用户的浏览器里了。起初,WWW只支持较简单的文档,随着应用需求的不断提高和技术的发展,它不仅可以支持文字、图形、图像、声音等多媒体信息,还可以支持一些较为复杂的对象,比如电子表格对象。但随着数据量的增大,显然只靠静态页面就捉襟见肘了。让页面动起来的想法由此应运而生,这时迫切需要数据库在动态页面中扮演主角。
而此前,关系数据库要么限于桌面,用文件方式的共享来实现局域网内的使用;要么是使用各种关系数据库厂商开发的专用客户端软件和工具。尽管ODBC,JDBC, O LE DB等解决了不同数据库之间的接口,但是我们可以说关系数据库从设计之初并没有也不可能考虑到以HTTP 为基础、HT M L为文件格式的因特网的需求,只是在因特网出现后才作出相应的调整,因此关系数据库在基于因特网应用时由于结构模型等原因的限制,不能与因特网完全融合,需在因特网与数据库之间加入大量的中间件,从而在无形中加大了数据库基于网络应用的难度。同时,由于关系数据库从一开始就没有考虑网络时代的应用需求,因而对于网络环境下WWW应用,如各种非结构化文档信息、多媒体信息以及全文检索需求显得有些力不从心。虽然后来关系数据库对于这些需求作出了一些适应性调整,如增加数据库的面向对象成分以增加处理多种复杂数据类型的能力,增加各种中间件以扩展基于WWW应用能力,但对于网络环境下WWW应用不可或缺的检索效率、全文检索能力等却无法解决。关系数据库的基于中间件的解决方案又给WWW应用带来了新的网络瓶颈,应用服务器端由于与数据库频繁交互,因其本身的效率和数据库检索的效率造成WWW应用在服务器端的阻塞。
非结构化数据库就是针对关系数据库模型过于简单,不便表达复杂的嵌套需要以及支持数据类型有限等局限,从数据模型入手而提出的全面基于因特网应用的新型数据库理论。非结构化数据库主要是针对非结构化数据应运而生的,与目前流行的关系数据库相比,其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制,支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理,在处理连续信息(包括全文信息)和非结构信息(重复数据和变长数据)中有着传统关系型数据库所无法比拟的优势。
3 非结构化数据库的特点与优势
311 灵活的非结构化数据结构
非结构化数据库也是建立在二维表的基础之上的,因此非结构化数据库不能称为非关系型数据库,但在数据结构上,它又与关系型数据库有着很大的不同。
—
7
8
2
—
?情报理论与实践?
ITA!信息系统#
1)关系数据库建立在一个严格的二维表上,在列的
维度上,对于每个属性其长度和类型是事先定义并且很难扩展的;在行的维度上,每一条记录(行为record )都不完全相同。非结构化数据库的二维表却不是严格的,在列的维度上,对于每个属性是可以伸展的,即属性的长度是可变的。
2)关系数据库以二维表的方式管理数据,数据以一条条记录的方式存储,每一记录内部包括许多字段,字段名不可重复,对每一记录的每一字段具有惟一值,字段中不支持子字段。在非结构化数据库中,字段内容是可重复的,这表现在两个方面:一是一个字段支持重复字段,即字段在列这个级别上是可重复的;二是在同一个字段内部允许出现不同的子字段,即字段在行级别上,内容是分层次的。总之,对于一个字段,可以在行、列方向上有多个值,即非结构化数据库具有支持重复字段(多值)、子字段(子项)的能力。这种能力,使得非结构化数据库可以在记录中实现二维嵌套,避免由于关系(二维表)连接导致的系统性能问题。
3)非结构化数据库可以在一张表中压缩关系数据库中一对多的关系,实质上是一个非结构化数据库字段可以存放一个关系数据库的一张表。也就是说原来关系数据库多张表完成的事情,非结构化数据库在一张表中就可以完成。关系数据库在处理多对多关系时需要对数据库进行拆分,建立中间库,同样非结构化数据库在处理类似的情况也需要拆分表。
由此可见,非结构化数据库的表已经突破了关系数据库的范式(xNF )限制,因此需要一个新的命名来反映同关系数据库的区别。非结构化(N on 2S tructure )就因此得名。312 丰富的数据类型,并支持外部文件
关系数据库在数据类型上主要管理各种字符型、数值型数据,虽然后来也提供了对于一些超长文本、图像、声音等多媒体以及面向对象的扩充,但对这些数据类型的扩充仅仅停留在简单的存储与输出上,对于数据的深层次的检索或其他需求必须通过特别的开发和处理,必然对系统的效率产生负面影响。
非结构化数据库在数据类型上不仅可以支持字符型、数值型数据,而且由于其强大的外部文件支持功能,更可以支持任何文件类型,如超长文本、图像、声音等扩展型数据类型,同时,非结构化数据库对于文本、RTF 、超文本文档、DOC 等具有检索意义的外部文件类型还能提供强大的索引和全文检索功能。313 高度灵活的索引方式,支持全文检索
数据库最核心的技术之一就是数据的检索技术。对于
任何一个数据库系统,数据检索都是其核心内容和精髓所在,而进行数据检索之前必须建立索引。只有建立了严密的索引,才能使数据库强大的检索功能得以发挥。数据库索引方式的差异决定了数据库的检索方式及检索能力。
现有关系数据库支持的索引只限于单字段索引、复合索引(多字段索引)等几种方式。对数据库的检索主要基于结构化查询语言(S Q L ),用户通过构造S Q L 查询表达式和设置各种查询条件,实现对关系数据库的检索,因为受到关系数据库的索引限制,其数据查询能力也受到很大的限制。
由于有着灵活的数据结构,非结构化数据库中支持的索引方式比关系数据库要丰富得多,可以满足极其复杂检索的需要。其中字段索引兼容关系数据库的索引,子字段索引和全文索引(英文单词索引和中文单汉字索引)是非结构化数据库的特色,非结构化数据库甚至可以支持人工标引索引,中、英文混合索引等方式。配合非结构化数据库的格式化语言,可以对同一字段进行若干种不同的索引,以满足特殊检索的需求。数据库系统能够提供的检索方式,是和其对数据库内容建立的索引密切相关的。高度灵活的索引方式造就了高度灵活的检索方式,非结构化数据库对中文的全文检索效率比关系型数据库要高得多。例如,国信贝斯软件有限公司开发的iBASE 非结构化数据库目前支持8种索引方式,可以涵盖所有的关系数据库所提供的90%以上的检索方式,同时还提供了大量的关系数据库不具备的检索方式,包括简单检索、组合检索、字段检索、右截断检索、全文检索、扩展检索、相关检索(ANY 词检索)、集合检索、二次顺序检索、禁用词顺序检索等。iBASE 非结构化数据库采用B 3树的索引机制,定位一条记录最多限于7次定位操作。314 对海量数据库的支持
非结构化数据库处理的对象多为海量数据库,不仅检索功能强而且检索速度快,在检索速度方面一般不受文献量的影响。以iBASE 非结构化数据库为例,每个数据库最大记录数可达1000万条,每条记录的最大长度可达32000个汉字,每个数据库最多可有800个字段,每个字段的最大长度可达32000个汉字。315 与因特网紧密结合
因特网的迅猛发展使数据库应用环境发生了巨大的变化。以因特网为平台的Internet/Web 应用向数据库领域提出了前所未有的挑战。电子商务、Web 医院、远程教育、数字图书馆、移动计算等都需要新的数据库技术支持。
由于关系数据库从一开始就没有考虑网络时代的应用需求,因而对于网络环境下应用,如各种非结构化文档信
(下转第261页)
—882—?第24卷2001年第4期?
!信息系统#
ITA
目前,对网络信息资源的组织一般有两种方法,一是类似搜索引擎的信息分类方法,采用多级菜单的方式,将经过选择的网络信息资源分为若干个类目,每个类目下又设若干个子目。如国家图书馆组织为5个类目,每个类目下列出20到上百个站点。另一种方法是使用M ARC标准中的某些字段,如856字段(E lectronic Location and Access)等,或采用元数据格式对网络信息进行编目。这说明在网络环境下,使用分类和编目的方法对信息进行组织是十分必要和有效的。
长期以来分类和编目都是以纸质文献为主要对象,因此应用于网络信息的组织时,需要对其进行必要的改造和功能的扩展。目前许多大型的图书分类法都纷纷开始介入网络信息组织的研究,以期进一步拓展传统分类法的应用领域。如著名的《杜威十进分类法》,一方面继续努力满足传统的分类需要;另一方面开始寻求在图书馆以外的其他信息环境下的应用。视窗DDC(Dewey for Windows)就是最新的用于网络环境的分类工具,其目标是使DDC由面向图书馆系统转变为面向各种信息环境的通用型的知识组织工具,这种发展思路是与当前的信息环境相适应的。另外一些长期从事编目工作的文献机构也开始将传统的编目著录格式进行改造,以适应网络信息的需求。机读目录格式的扩充和元数据格式的产生就是基于这样一种思路。□
参考文献
1 中国互联网络信息中心1中国互联网络发展状况统计报告1 Available from:http://w w https://www.360docs.net/doc/e04356208.html,/develst/cnnic200101. shtm l
2 海野敏1 ? }√情报资源1国立国会图书馆月报,1994, (398):26
3 黄纯元1图书馆与网络信息资源1中国图书馆学报,1997, (6):13～19
4 M atthew C T.T oday’s WWW,T om orrow’s M M M:The S pector of Multimedia M ediocrity.Available from:http://w w https://www.360docs.net/doc/e04356208.html,/ web/pubs/review/review Articles/32323.htm l.1997207202
5 张晓娟1网络信息资源:概念、类型及特点1图书情报工作, 1999,(2):10～12
6 黄晓斌1论网络化信息资源的开发利用1见:海峡两岸第四届图书咨讯学学术研讨会论文集(A辑)1199813
7 宋歌,潘越界1PICS:Internet内容选择与过滤系统的关键技术1计算机世界,1997,(2)
8 Lorcan https://www.360docs.net/doc/e04356208.html,w ork Res ources Discovery:a European Library Perspec2 tive.London:British Library Research&Development,19941
作者简介:倪莉,女,1972年生,讲师,硕士。发表论文10余篇。
收稿日期:2001202201
(上接第288页)
息、多媒体信息以及全文检索需求显得力不从心。虽然后来关系数据库对于这些需求作出了一些适应性调整,但对于网络环境应用不可或缺的检索效率、全文检索能力等却无法解决。关系数据库从设计之初并没有也不可能考虑到以HTTP为基础HT M L为文件格式的因特网的需求,只是在因特网出现后才作出相应的调整,因此关系数据库在基于因特网应用时,由于结构模型等原因的限制,不能与因特网完全融合,需在Web服务器与数据库之间加入大量的中间件,从而在无形中加大了数据库基于网络应用的难度,给数据库的因特网应用带来了新的网络瓶颈,应用服务器端由于与数据库频繁交互,因其本身的效率和数据库检索的效率造成因特网应用在应用服务器端的阻塞。
利用非结构化数据库全部基于因特网的数据库结构模型,采用网络服务器和数据库服务器紧密集成的方法,可以将目前传统数据库厂商由C/S结构扩展来的浏览器/ Web服务器+应用服务器/数据库服务的三层体系结构,集成为浏览器/网上资源发布系统式的因特网计算结构,使数据库系统成为因特网的一个重要有机组成部分,实现在单一平台上融合所有数据库和应用服务器的功能。这不仅大大减少了用户对额外硬件、中间件和其他昂贵的集成业务的需求,而且极大地缩短了用户开发和采用基于因特网应用的时间。同时非结构化数据库还有效解决了关系型数据库在因特网应用上出现的检索效率低、全文检索能力差等弊端。从这个意义上来说,非结构化数据库是真正的网络数据库。
4 结束语
值得一提的是,非结构化数据库不是传统关系数据库的完全替代,而是它的一个非常有益的补充。从20世纪70年代库恩提出关系数据库理论到现在,传统关系数据库经过了20多年的发展,其间经历了客户机/服务器时代的数据库分布应用,到因特网时代的向集中方向发展,关系数据库在客户机/服务器应用、联机事务处理、联机数据分析等方面积累了丰富的经验和获得了极大的发展。应该说在这些方面,传统关系数据库更具有优势。非结构化数据库兼容各种主流关系数据库的格式,但是它在处理变长数据、文献数据库和因特网应用方面,更有自己独特的优势:检索的多样化、检索效率较高(如全文检索)等。对于大型信息系统工程、因特网上的信息检索、专业网站和行业网站(电子图书馆、电子商务网站)等来说非结构化数据库都是一项较好的选择。□
作者简介:李慧,女,1977年生,硕士研究生,发表论文2篇。
颜显森,男,1977年生,工程师。
收稿日期:2000211223
—
1
6
2
—
?情报理论与实践?
ITA!理论与探索#
论非结构化数据库的应用
论非结构化数据库的应用 谭鑫（1101400114）随着网络技术和网络应用技术的飞快发展，完全基于Internet应用的非结构化数据库将成为继层次数据库、关系数据库之后的又一重点、热点技术。关系型数据库由于其严格的表格结构使其对图像、音频、视频等数据的处理存在着缺陷。这种无法用数字或统一的结构表示的信息，即通常意义上的多媒体信息统称为非结构化数据。随着网络技术的不断发展，在数据库应用领域中，非结构化数据的数据量日趋增大，非结构化数据库管理系统便应运而生。 非结构化数据库，即其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库。在其底层存储机制的变革基础上，采用先进的倒排档索引技术，从而实现了对于海量文献信息的快速全文检索的功能，并同时支持多种字段限定检索。对于多媒体信息的存储和管理，非结构化数据库系统采用外部文件方式，摈弃了传统关系型数据库采用二进制字段存储的方式，实现了对于图形、声音等多媒体信息的高效管理。其高效性在图书馆信息资源中具体表现在： （1）非结构化数据库系统实现了对于变长字段、重复字段和子字段的定义、存储和管理，并且记录的数目、长度，字段数目与长度以及字段可重复次数均可不受限制，允许数据项具有多值性和可包含子字段，充分满足了图书馆建立文献数据库的特殊管理要求。 （2）图书馆资源载体类型较多，有纸制的载体，也有磁、光、电介质的载体。馆藏电子信息资源不仅包括TxT、DOC、EXCEL、PPT、PDF等流行的数据文件类型，而且还存有大量的图像、音频、视频等数据信息。图书馆资源既包括本地资源，又存在异地资源，既有国内资源，又存在国外资源，不同国别，不同地域的文献资料在数据著录格式上存在着差别。非结构化数据库采用面向对象技术不仅支持国际标准和国内标准格式，而且支持最新的SGML和XML格式，覆盖了多类型文档应用领域内几乎所有的文献数据类型。具有可扩展性，可以与其他元数据单元连接使用，不仅适合中文全文检索系统平台的应用，同时也符合国际数字图书馆标准化的发展趋势，便于与国际交流与接轨，这对于图书馆数据库标准化和数据交换与共享，起着极其重要的作用。 （3）在网络应用中，如何从浩瀚的信息海洋中查找到所需的信息，如何保证所查询信息的全面性和准确性，也是一个我们面临的问题。非结构化网络数据库系统通过其独特的索引技术和基于布尔检索表达式的查询检索算法，解决了基于字段级和数据库级的全文检索问题，用户可以针对数据库中特定的字段也可针对整个数据库进行全文检索，从而从数据库中检索出感兴趣的内容。非结构化数据库内嵌全文检索引擎，采用倒排档索引技术，不仅能够对整个字段进行查询，而且可以提供子字段、关键词、自由词、标引词、位置词和全文任意词的单项及组配检索。而且速度也非常快，一般不受文献量的影响，满足海量数据检索的需要。同时，非结构化数据库支持外挂文件的全文检索，其独特的外部文件支持能力使图书馆能轻松实现二次文献挂接全文的功能。 （4）非结构化数据库采用自然语言处理和人工智能技术，提供基于内容的检索和ANY词检索方式，并在检索中实现对于特定类目相关词的利用，大大提高了系统的查全率。同时非结构化数据库支持的禁用词，可以过滤掉一些没有检索意义的英文虚词，以提高查准率。作为网络应用，由于需要面对大量的用户群和
非结构化数据管理系统
非结构化数据管理系统 1 范围 本标准规定了非结构化数据管理系统的功能性要求和质量要求。 本标准适用于非结构化数据管理系统产品的研制、开发和测试。 2 符合性 对于非结构化数据管理系统是否符合本标准的规定如下： a)非结构化数据管理系统若满足本标准基本要求中的所有要求，则称其满足本标准的基本要求； b)非结构化数据管理系统在满足所有基本要求的前提下，若满足某部分扩展要求，则称其满足本 标准的基本要求和该部分扩展要求； c)非结构化数据管理系统若满足本标准基本要求和扩展要求中的所有要求，则称其满足本标准的 所有要求。 3 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB 18030—2005 信息技术中文编码字符集 GB/T AAAAA-AAAA 非结构化数据访问接口规范 4 术语和定义 下列术语和定义适用于本文件。 4.1 非结构化数据unstructured data 没有明确结构约束的数据，如文本、图像、音频、视频等。 4.2 非结构化数据管理系统unstructured data management system 对非结构化数据进行管理、操作的大型基础软件，提供非结构化数据存储、特征抽取、索引、查询等管理功能。 5 缩略语 下列缩略语适用于本文件。 IDF：逆向文件频率 (Inverse Document Frequency) MFCC：梅尔频率倒谱系数（Mel Frequency Cepstrum Coefficient）
PB：千万亿字节（Peta Byte） SIFT：尺度不变特征转换（Scale-invariant Feature Transform） TF：词频 (Term Frequency) 6 功能性要求 6.1 总体要求 非结构化数据管理系统的总体要求如下： a)应包括存储与计算设施、存储管理、特征抽取、索引管理、查询处理、访问接口、管理工具七 个基本组成部分； b)宜包括转换加载、分析挖掘、可视展现三个扩展组成部分。 6.2 存储与计算设施 6.2.1 基本要求 存储与计算设施基本要求如下： a)应支持磁盘、磁盘阵列、内存存储、键值存储、关系型存储、分布式文件系统等一种或多种存 储设施； b)应支持单机、并行计算集群、分布式计算集群等一种或多种计算设施。 6.2.2 扩展要求 无。 6.3 存储管理 6.3.1 基本要求 存储管理基本要求如下： a)应提供涵盖原始数据、基本属性、底层特征、语义特征的概念层存储建模功能； b)应提供逻辑层的存储建模功能； c)支持整型、浮点型、布尔型、字符串、日期、日期时间、二进制块等基本数据类型； d)支持向量、矩阵、关联等数据类型； e)应支持根据建好的逻辑层存储模型创建存储实例； f)应支持在创建好的存储实例上插入、修改、删除非结构化数据； g)应支持删除存储实例； h)应支持非结构化数据操作的原子性。 6.3.2 扩展要求 存储管理扩展要求如下： a)应支持全局事务的定义并保证事务的原子性、一致性、隔离性和持久性； b)应支持数据类型的多值结构和层次结构； c)应支持在不同的存储设施上创建存储实例并实现自动映射； d)应支持PB级数据存储。 6.4 特征抽取
Egg非结构化数据库软件-设计说明书
产品概述 产品介绍 Egg是一个高性能、可扩展、并支持分布式存贮的非结构化数据库，同时也具备了部分非关系型数据库具备的结构化查询功能。该类型的数据库被广泛应用于搜索引擎、海量信息检索系统、音频视频管理系统等领域，成为这些领域中必不可少的一个组成部分。Egg是一个完全由C编写的，成熟的软件，并且是埃帕Cooling搜索引擎软件、Cooling云桌面平台软件、Cooling云输入法的重要组成部分，已经运用到了互联网、信息检索、数据挖掘、虚拟化等多个领域中。 行业背景 随着互联网的不断发展，搜索、云计算、WEB 2.0等全新的应用模式不断涌现出来。这些新应用都有着一些非常显著的特点，如：信息量巨大、信息结构化程度低、信息更新频度高、信息增长幅度大，并发访问频繁等。传统的关系型数据库，虽然能够胜任企业级别的信息管理，但在处理互联网级别的应用时，往往无法满足于以上的特点，暴露出了很多问题。 海量数据的高效存贮与访问要求 海量数据应用中最早，最典型的应用是搜索引擎；最有发展的是云计算；最流行的是WEB2.0中的SNS社区。 据CNNIC统计，截止2009年底，仅中国的网页数量就达到了336亿，较之2008年底，增长幅度接近100%。搜索引擎不光要存贮这些网页的基本信息，同时又要解决平均每天几千万网页的增长量。云计算、需要将原先用户端的应用、服务、数据移到服务端，利用服务端的计算、存贮、带宽、管理优势，提供相比传统桌面应用更有竞争力的服务方式。WEB 2.0中最主流的SNS社区，每天都要产生大量的用户动态信息，以Facebook为例，每月用户动态记录就达到2.5亿条；另如一些Web 门户，都已经达到上亿帐户数量。所有的此类应用中的存贮要求，都已经超过了关系型数据库可以容纳的范围。Google是最早采用了廉价硬件
非结构化数据的资产管理系统构建与实现
非结构化数据的资产管理系统构建与实现 摘要:办公室的文本，PDF文件，图片，网页，音频、视频等非结构化数据正逐渐成为业务流程的一个重要来源继续快速增长，传统的数据结构的数据库管理应用的模式已经不适应现在企业信息化的需要，企业要的为很多的信息管理与业务流程深度结合的基础之上对于各种的非结构化数据模式，提供具有收集、整理、归档以及安全储存、快速应用的管理模式。 这样模式的形成，是需要在三年的时间里面各个的部分进行深入的研究，在结合计算机软件技术、网络技术以及数据库技术的条件下面，利用程序设计概念，三层体系结构作为一个模型系统，含有的具体开发环境。对于NET框架以及SQL Server2008进行利用，作为C #的基本后台数据库开发基础，设计并建成了资产管理系统的非结构化数据模式。 具有三个层次的结构体系，含有订单的采购、资产的管理、信息管理等很多的模块，这个里面办公用品的采购申请模式、资产管理模式是这个系统的核心部分。前者可以提供对于新购资产的申请、审批以及采购活动，利用这样的模式对于原有企业具有的各种数据库进行分析与提出，建立完成统一的数据库模式，实现部门之间有效的配置与更新操作。 关键词:数据库；非结构化数据; 企业资产管理系统 第 1 章绪论 在很多的企业里面，数据被看作为价值最高的无形资产，依据其含有的类型 可以分为结构化的数据与非结构化数据。非结构化数据是指数据类型的二维表结 构表示，包括办公文档，文本，图像，XML，HTML以及各种形式的报表、图像以 及音频等文件。一个企业逐渐的建立信息化过程里面，它可以用来构建结构化的 数据，这对企业数据的相关数据。不过对于其他的非结构化的数据不能完全的用 来处理这些关系数据库。科学管理与合理应用这些非结构话数据已经成为正确的 决策与提供核心竞争力的主要问题。Gartner在前几年的专题分析报告里面明确 的提出：“在未来的10年内，信息的有效性非常的必要，其将企业和全球经济 的主导地位的负担难以承受的信息爆炸，企业识别”。Gartner，AIIM（美国信 息图形学会），维基百科和其他部门企业非结构化数据管理的定义是在采集，管 理，存储，使用，保管和组织发布内容和文档，过程相结合的策略，方法和工具，
Oracle非结构化数据解决方案
Oracle数据库11g管理非结构化数据 (2) 一、引言 (2) 二、在ORACLE 中管理非结构化数据的优势 (3) 三、打破了原来处理非结构化数据的“性能障碍” (4) 3.1 Oracle SecureFiles (4) 3.2 SecureFiles 中的存储优化 (5) 四、专用数据类型和数据结构 (6) 4.1 Oracle XML DB (6) 4.2 Oracle Text (7) 4.3 Oracle Spatial (8) 4.4 RDF、OWL 和语义数据库管理 (9) 4.5 Oracle Multimedia (9) 4.6 Oracle DICOM 医学内容管理 (9) 五结论 (10)
Oracle数据库11g管理非结构化数据 一、引言 公司、企业以及其他机构使用的绝大部分信息都可归类为非结构化数据。 非结构化数据是计算机或人生成的信息，其中的数据并不一定遵循标准的数据结构（如模式定义规范的行和列），若没有人或计算机的翻译，则很难理解这些数据。常见的非结构化数据有文档、多媒体内容、地图和地理信息、人造卫星和医学影像，还有Web 内容，如HTML。 根据数据的创建方式和使用方式的不同，非结构化数据的管理方法大不相同。 1.大量数据分布于桌面办公系统（如文档、电子表格和演示文稿）、专门的工作站和设备 （如地理空间分析系统和医学捕获和分析系统）上。 2.政府、学术界和企业中数TB 的文档存档和数字库。 3.生命科学和制药研究中使用的影像数据银行和库。 4.公共部门、国防、电信、公用事业和能源地理空间数据仓库应用程序。 5.集成的运营系统，包括零售、保险、卫生保健、政府和公共安全系统中的业务或健康记 录、位置和项目数据以及相关音频、视频和图像信息。 6.学术、制药以及智能研究和发现等应用领域中使用的语义 数据（三元组）。 自数据库管理系统引入后，数据库技术就一直用于解决管理大量非结构化数据时所遇到的特有问题。通常通过“基于指针的”方法使用数据库对存储在文件中的文档、影像和媒体内容进行编目和引用。为了在数据库表内存储非结构化数据，二进制大对象（或简称为BLOB）作为容器使用已经数十年了。除了简单的BLOB 外，多年以来，Oracle 数据库一直通过运算符合并智能数据类型和优化数据结构，以分析和操作XML 文档、多媒体内容、文本和地理空间信息。由于有了Oracle 数据库11g，Oracle 再次在非结构化数据管理领域开辟出一片新天地：大幅提升了通过数据库管理系统原生支持的非结构化数据的性能、安全性以及类型。
非结构化数据管理：ERP力不从心 ECM接力
对于国内相当多的企业来说，ECM这个概念还比较陌生，但提起ERP，很多人都耳熟能详。 事实上，ERP是以数据库管理为核心的，而ECM是以非结构化数据管理为核心。凯德云M-Files是由美国M-Files公司开发的软件产品，主要用于企业内容管理(ECM)、文档管理(EDM)、质量管理、知识管理、项目协同。 调查显示，企业中80%的数据是以非结构化的形式存在的，例如电子邮件、报表、办公文档、扫描文件、网页等，而这些非结构化数据往往散落在企业的各种应用系统中，无法得到统一的管理，更惶谈从中挖掘出价值。 ERP与ECM的关联 在廖强(EMC中国区副总裁、内容管理及归档事业部大中华区总经理)看来，现在非结构化数据的管理需求产生了，实际上就是一个很自然的过程，跟以前ERP比较的话，内容管理与ERP同等重要，内容管理是管着80%的非结构化信息，ERP管理着20%的结构化信息。其次从复杂性来讲，因为ERP牵涉了管理的方方面面，内容管理却没有那么复杂。从投资来讲，大家都在讲收益率，企业现在实际上逐渐地认识到内容管理的重要性。这几年内容管理逐渐地跟ERP、CRM，包括银行的核心系统，包括电信的计费系统等成为企业信息化的新重点。也就是说，随着内容管理逐渐地深入客户的核心业务，对企业的工作效率、收益、信息安全等都将得到提高。 ECM已进入第三代 IDC在2008年上半年针对中国企业所做的一项调查显示，在受调查的434个最终用户中，接近60%的用户表示有计划投资内容管理软件。而在2007年的类似调查中，这一比例还只有30%多。这一结果表示，内容管理在组织中的优先级大大提高。IDC分析认为，用户渴望投资内容管理解决方案，主要有两方面的原因：一是日益增长的法规要求;二是通过内容管理功能更好地优化、自动化纸质业务流程。 廖强分析说，综合当今内容管理市场，内容管理解决方案可以分为三代。 第一代是小型供应商提供单点解决方案，主要用于解决零碎的业务问题，例如光盘系统管理、记录管理、Web内容管理、数字资产管理、工作流/BPM管理等。第一代内容管理的特点是有众多小型技术公司，每个公司都使用专门构建的应用程序解决一些零碎的业务问题。 第二代是中型供应商在单点解决方案的基础上，提供较为全面的内容管理功能套件。第二代内容管理是由整合驱动的，在这一阶段，中型公司纷纷展开收购，并开始构建成套的内容管理应用程序。这是一个从单点产品到内容管理套件的变化过程，许多公司都是从点入手，而逐渐架构起较为完善的内容管理解决方案。但在这个过程中，内容管理底层平台的健壮性和面向应用的灵活性及可扩展性往往被忽视。 前两代内容管理带来的问题是：各个系统之间往往会形成信息孤岛的现象。而且，当应用出现变化时，需要对各个单点产品逐一修改，不能快速满足应用变化速度。 在第三代内容管理中，内容管理正逐渐成为企业信息基础架构的一部分;企业对内容管理的需求，已并不满足于应用某些点的产品去实现特定业务的管理，而是需要一个高性能、高可扩展性、能支持企业业务快速发展并能满足企业业务变化需求的内容管理平台。 开放性成长 任何一个软件公司的理想是要做到能够尽量满足客户的最终需要，但这很难实现，主要原因是需求的复杂度，很难有一个企业所提供的软件产品能够适应各式各样的不同需求。 廖强介绍说，Documentum平台一直以来就不是自行运转，Documentum平台一定跟结构化结合在一起。比如在国内某银行的应用，像有一套贷款审批，因为它要审核你的原始的资质，你的房产证等，这些都需要EPR系统与Documentum。从我们整个的发展方向来看，ECM是关注着技术性、扩展性、高性能，可对接性，希望把自己的开发能力提供给整个社
数据库技术发展的新方向-非结构化数据
数据库技术发展的新方向——非机构化数据 1 什么是非结构化数据库 在信息社会，所有信息大体上可以分为两类:一类信息能够用数据或统一的结构加以表示，我们称之为结构化数据，如数字、符号;另一类信息根本无法用数字或者统一的结构表示，如文本、图像、声音乃至网页等，我们称之为非结构化数据。非结构化数据包括结构化数据，但又不止是结构化数据;结构化数据属于非结向化数据，是非结构化数据的特例。 所谓非结构化数据库，是指数据库的变长记录由若干不可重复和可重复的字段组成，而每个字段又可由若干不可重复和可重复的子字段组成。简单的说，非结构化数据库就是字段数和字段长度可变的数据库。 2 为什么需要非结构化数据库 传统关系数据库，通过引入数学领域的关系模型及关系代数和关系演算，经过几十年的应用和发展，奠定了自己的优势。但随着网络的发展，关系数据库越来越显示出不足的一面。到了20世纪90年代，当关系数据库还满足于用户连接到大型主机上的数据库进行联机检索时，因特网的出现已经可以把超文本文件传送到用户的浏览器里了。起初，WWW只支持较简单的文挡，随着应用需求的不断提高和技术的发展，它不仅可以支持文字、图形、图像、声音等多媒体信息，还可以支持一些较为复杂的对象，比如电子表棉对象。但随着数据量的增大，显然只靠静态页面就捉襟见肘了。让页面动起来的想法由此应运而生，这时迫切需要数据库在动态页面中扮演主角。 而此前，关系数据库要么限于桌面，用文件方式的共享来实现局域网内的使用;要么是使用各种关系数据库厂商开发的专用客户端软件和工具。尽管ODBC，JDBC，OLE DB等解决了不同数据库之间的接口，但是我们可以说关系数据库从设计之初并没有也不可能考虑到以HTTP为基础、HTML为文件格式的因特网的需求.只是在因特网出现后才作出相应的调整，因此关系数据库在基于因特网应用时由于结构模型等原因的限制，不能与因特网完全融合，需在因特网与数据库之间加人大量的中间件，从而在无形中加大了数据库基于网络应用的难度。同时，由于关系数据库从一开始就没有考虑网络时代的应用需求，因而对于网络环境下WWW 应用，如各种非结构化文挡信息、多媒体信息以及全文检索需求显得有些力不从心。虽然后来关系数据库对于这些需求作出了一些适应性调整，如增加数据库的面向对象成分以增加处理多种复杂数据类型的能力，增加各种中间件以扩展基于WWW应用能力,但对于网络环境下WWW应用不可或缺的检索效率、全文检索能力等却无法解决。关系数据库的基于中间件的解决方案又给WWW应用带来了新的网络瓶颈，应用服务器端由于与数据库频繁交互，因其本身的效率和数据库检索的效率造成WWW应用在服务器端的阻塞。 非结构化数据库就是针对关系数据库模型过于简单，不便表达复杂的嵌套需要以及支持数据类型有限等局限，从数据模型入手而提出的全面基于因特网应用的新型数据库理论。非结构化数据库主要是针对非结构化数据应运而生的，与目前流行的关系数据库相比，其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制，支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理，在处理连续信息(包括全文信息)
使用 Oracle 数据库 11g管理非结构化数据
使用 Oracle 数据库 11g 管理非结构化数据 Oracle 白皮书 2007 年 7 月
使用 Oracle 数据库 11g 管理非结构化数据 引言 多年来，Oracle 一直通过运算符合并智能 数据类型和优化数据结构，以分析和操作XML 文档、多媒体内容、文本以及地理空间 信息 Oracle 数据库。 由于有了 Oracle 数据库 11g，Oracle 再次在非结构化数据管理领域开辟出一片新天地：大幅提升了受数据库管理系统支持的原生非结构化数据的性能、安全性 以及类型。公司、企业以及其他机构使用的绝大部分信息都可归类为非结构化数据。非结构化数据是计算机或人生成的信息，其中的数据并不一定遵循标准的数据结构（如模式定义规范的行和列），若没有人或计算机的翻译，则很难理解这些数据。常见的非结构化数据有文档、多媒体内容、地图和地理信息、人造卫星和医学影像，还有 Web 内容，如 HTML。 根据数据的创建方式和使用方式的不同，非结构化数据的管理方法大不 相同。 z大量数据分布于桌面办公系统（如文档、电子表格和演示文稿）、专门的工作站和设备（如地理空间分析系统和医学捕获 和分析系统）上。 z政府、学术界和企业中数 TB 的文档存档和数字库。 z生命科学和制药研究中使用的影像数据银行和库。 z公共部门、国防、电信、公用事业和能源地理空间数据仓库应用程序。 z集成的运营系统，包括零售、保险、卫生保健、政府和公共安全系统中的业务或健康记录、位置和项目数据以及相关音频、视频 和图像信息。 z学术、制药以及智能研究和发现等应用领域中使用的语义数据（三元组）。 自数据库管理系统引入后，数据库技术就一直用于解决管理大量非结构化数据时所遇到的特有问题。通常通过“基于指针的”方法使用数据库对存储在文件中的文档、影像和媒体内容进行编目和引用。为了在数据库表内
企业如何管理非结构化数据
企业如何管理非结构化数据？ 移动应用要求 企业的信息化往移动端发展已经是一种趋势，移动端的非结构化数据也变的越来越重要，因此，做好移动端和PC端非结构化数据的协同应用是企业面临的难题。 大数据应用要求 大数据时代的到来，让每一个企业都在挖掘大数据的价值，同样，作为大数据的一部分，非结构化数据必将给企业带来巨大的应用价值。物联网应用要求 随着移动及大数据应用，物联网已经在国内逐步推进，非结构化数据是物联网应用基础之一，所以做好非结构化数据管理也是势在必行。 最重要的是，进入高度信息化的大数据时代，企业对信息系统高敏捷协作有了更高度的要求。 网络消耗难题分析：文件同步的传统机制是造成网络消耗最大问题 企业的邮件、OA、ERP、文件服务器等应用所涉及到的文件数据共享都是采用文件全量同步、或者是文件全量上传与下载的文件传输方式，这种传统的文件传输方式最大的问题是没有文件增量同步功能，就是当一个文件做过一小点的改动后，要进行同步时，不是只传改动的那部份数据，而是又将整个文件进行同步。 大数据存储和保护难题：传统SAN式存储的扩展性差并且自身没有实现大数据归档备份保护机制 非结构化数据共享往往是随机会产生大并发量访问存储数据的要求，
需要存储系统高弹性、高可扩展性、高可靠性，并且可以灵活的组成一个跨地区网络的以“本地数据本地访问”原则来解决网络大带宽消耗难题，这都是传统的SAN难以做到的。 非结构化数据不安全根本：本地应用程序编辑预览文件时需要同步或拷贝一整个文件的机制 例如当共享一个pdf文件时，或者是word文件给其他人，他们需要在自身安装有对应的pdf或微软office软件并需要完整将这个文件读入他们计算机系统才能浏览或编辑这个文件，这就意味着这个文件的数据已经可以存储到他们的计算机上了。这是非结构化最难以控制的数据泄漏安全问题根源所在。 LFS企业私有文件云是一个统一、稳定、可靠、安全、高弹性扩展的非结构化数据中心系统 解决非结构化数据管理的最佳思路是：集中存储、统一管理
MongoDB非结构化数据解决方案
随着WEB2.0 的应用和发展，一些新型互联网应用，如社交网络、博客(Blog)、个人视频分享、个性化信息租用服务等应用不断涌入人们眼帘，并逐渐成为人们生活的一部分。云计算为这些新型应用提供了计算手段，云存储为这些应用提供了存储方案。 目前，数以亿计的网络用户通过个人电脑、智能手机等终端访问Internet，据中国互联网络信息中心(CNNIC) 在2012 年1 月16 日发布的中国互联网发展状况统计报告中显示，截止2011 年12月底，中国网民突破5 亿，其中手机网民达3.56亿，且同前期相比呈不断增长趋势。网络用户在浏览信息的同时，产生了海量的格式多样的新数据，在这些数据中，诸如文档、音乐、图片、视频一类的非结构化信息占比相当大。面临用户端的日益膨胀和海量数据的持续产生，尽管高性能处理器已基本满足了运算需求，却对无限大的存储空间和无限大的网络带宽需求力不从心。因此，在信息系统设计中，计算设计已经不再是应用的中心，而数据的妥善存储和管理成为系统设计的焦点。 1 非结构化数据存储发展进程 当前，互联网中的数据包括非结构化数据和半结构化的数据，非结构化信息又以二进制文件为主。制约海量非结构化数据存储的关键问题是，数据中心与异构终端间的数据共享程度不够强，存储系统的高并发读写能力欠缺，存储系统的自由扩展比较困难。针对移动计算的海量存储需求，深入研究非结构化数据的存储发展过程，这有助于开发出具有高共享、高吞吐和高并发能力的网络存储系统。 传统存储技术中，文件系统是可持久存储和管理数据的普遍手段。文件的管理方式主要有单机文件系统、网络文件系统、分布式文件系统和高通量文件系统等。在单机文件系统中，十亿兆位字节文件系统(ZFS, Zettabyte File System) 是应用较成功的典范，该系统由Sun 公司于2005 年11 月正式发布，是针对ZB 级数据存储需求而设计的128 位UNIX 文件系统，ZFS 引入“存储池”的概念管理物理存储空间，采用写时复制事务模型来维护数据一致性。由于该系统不能跨越数据的物理位置，同时没有妥善地解决数据传输通道的瓶颈问题，且系统复杂度较高，最终没有得到推广。 网络文件系统(NFS, Network File System) 的出现，使得跨平台的非结构化数据共享成为可
数据库技术发展的新方向_非结构化数据库
●李 慧(武汉大学信息管理学院 湖北 430072) 颜显森(北京国信贝斯软件有限公司 北京 100053) 数据库技术发展的新方向———非结构化数据库 Abstract:With the development of Internet,many disadvantages of the traditional relational database have been dis2 covered.Under such circumstances,the non2structure database comes into being.This paper mainly discusses the defini2 tion,background,characteristics and advantages of the non2structure database. K eyw ords:database technology;data structure/Internet;full text searching 1 什么是非结构化数据库 在信息社会,所有信息大体上可以分为两类:一类信息能够用数据或统一的结构加以表示,我们称之为结构化数据,如数字、符号;另一类信息根本无法用数字或者统一的结构表示,如文本、图像、声音乃至网页等,我们称之为非结构化数据。非结构化数据包括结构化数据,但又不止是结构化数据;结构化数据属于非结构化数据,是非结构化数据的特例。 所谓非结构化数据库,是指数据库的变长记录由若干不可重复和可重复的字段组成,而每个字段又可由若干不可重复和可重复的子字段组成。简单的说,非结构化数据库就是字段数和字段长度可变的数据库。 2 为什么需要非结构化数据库 传统关系数据库,通过引入数学领域的关系模型及关系代数和关系演算,经过几十年的应用和发展,奠定了自己的优势。但随着网络的发展,关系数据库越来越显示出不足的一面。到了20世纪90年代,当关系数据库还满足于用户连接到大型主机上的数据库进行联机检索时,因特网的出现已经可以把超文本文件传送到用户的浏览器里了。起初,WWW只支持较简单的文档,随着应用需求的不断提高和技术的发展,它不仅可以支持文字、图形、图像、声音等多媒体信息,还可以支持一些较为复杂的对象,比如电子表格对象。但随着数据量的增大,显然只靠静态页面就捉襟见肘了。让页面动起来的想法由此应运而生,这时迫切需要数据库在动态页面中扮演主角。 而此前,关系数据库要么限于桌面,用文件方式的共享来实现局域网内的使用;要么是使用各种关系数据库厂商开发的专用客户端软件和工具。尽管ODBC,JDBC, O LE DB等解决了不同数据库之间的接口,但是我们可以说关系数据库从设计之初并没有也不可能考虑到以HTTP 为基础、HT M L为文件格式的因特网的需求,只是在因特网出现后才作出相应的调整,因此关系数据库在基于因特网应用时由于结构模型等原因的限制,不能与因特网完全融合,需在因特网与数据库之间加入大量的中间件,从而在无形中加大了数据库基于网络应用的难度。同时,由于关系数据库从一开始就没有考虑网络时代的应用需求,因而对于网络环境下WWW应用,如各种非结构化文档信息、多媒体信息以及全文检索需求显得有些力不从心。虽然后来关系数据库对于这些需求作出了一些适应性调整,如增加数据库的面向对象成分以增加处理多种复杂数据类型的能力,增加各种中间件以扩展基于WWW应用能力,但对于网络环境下WWW应用不可或缺的检索效率、全文检索能力等却无法解决。关系数据库的基于中间件的解决方案又给WWW应用带来了新的网络瓶颈,应用服务器端由于与数据库频繁交互,因其本身的效率和数据库检索的效率造成WWW应用在服务器端的阻塞。 非结构化数据库就是针对关系数据库模型过于简单,不便表达复杂的嵌套需要以及支持数据类型有限等局限,从数据模型入手而提出的全面基于因特网应用的新型数据库理论。非结构化数据库主要是针对非结构化数据应运而生的,与目前流行的关系数据库相比,其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制,支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理,在处理连续信息(包括全文信息)和非结构信息(重复数据和变长数据)中有着传统关系型数据库所无法比拟的优势。 3 非结构化数据库的特点与优势 311 灵活的非结构化数据结构 非结构化数据库也是建立在二维表的基础之上的,因此非结构化数据库不能称为非关系型数据库,但在数据结构上,它又与关系型数据库有着很大的不同。 — 7 8 2 — ?情报理论与实践? ITA!信息系统#
结构化和非结构化数据定义
结构化、非结构化数据 相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。 非结构化WEB数据库主要是针对非结构化数据而产生的，与以往流行的关系数据库相比，其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制，支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理，在处理连续信息（包括全文信息）和非结构化信息（包括各种多媒体信息）中有着传统关系型数据库所无法比拟的优势。 结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据) 非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等 所谓半结构化数据，就是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。 数据模型： 结构化数据：二维表（关系型） 半结构化数据：树、图 非结构化数据：无 RMDBS的数据模型有：如网状数据模型、层次数据模型、关系型 其他： 结构化数据：先有结构、再有数据 半结构化数据：先有数据，再有结构 随着网络技术的发展，特别是Internet和Intranet技术的飞快发展，使得非结构化数据的数量日趋增大。这时，主要用于管理结构化数据的关系数据库的局限性暴露地越来越明显。因而，数据库技术相应地进入了“后关系数据库时代”，发展进入基于网络应用的非结构化数据库时代。 我国非结构化数据库以北京国信贝斯(iBase)软件有限公司的iBase数据库为代表。IBase 数据库是一种面向最终用户的非结构化数据库，在处理非结构化信息、全文信息、多媒体信息和海量信息等领域以及Internet/Intranet应用上处于国际先进水平，在非结构化数据的管理和全文检索方面获得突破。它主要有以下几个优点： (1)Internet应用中，存在大量的复杂数据类型，iBase通过其外部文件数据类型，可以管理各种文档信息、多媒体信息,并且对于各种具有检索意义的文档信息资源，如HTML、DOC、RTF、TXT等还提供了强大的全文检索能力。 (2)它采用子字段、多值字段以及变长字段的机制，允许创建许多不同类型的非结构化的或任意格式的字段，从而突破了关系数据库非常严格的表结构，使得非结构化数据得以存储和管理。 (3)iBase将非结构化和结构化数据都定义为资源，使得非结构数据库的基本元素就是资源本身，而数据库中的资源可以同时包含结构化和非结构化的信息。所以，非结构化数据库
(完整版)结构化和非结构化定义和特征
结构化、非结构化数据相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。非结构化WEB数据库主要是针对非结构化数据而产生的，与以往流行的关系数据库相比，其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制，支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理，在处理连续信息（包括全文信息）和 非结构化信息（包括各种多媒体信息）中有着传统 关系 型数据库所无法比拟的优势。结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据) 非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等所谓 半结构化数据，就是介于完全结构化数据（如关系型数据库、 面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML 文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。数据模型：结构化数据：二维表（关系型）半结构化数据：树、图非结构化数据：无RMDBS的数据模型有：如网状数据模型、 层次数据模型、关系型其他：结构化数据：先有结构、再有数据半结构化数据：先有数据，再有结构随着网络技术的发展，特别是Internet和Intranet技术的飞快发展，使得非结构化数据的数量日趋增大。这时，主要用于管理结构化数据的关系数据库的局限性暴露地越来越明显。因而，数据库技术相应地进入了“后关系数据库时代”，发展进入基于网络应用的非结构化数据库时代。我国非结构化数据库以北京国信贝斯(iBase)软件有限公司的iBase数据库为代表。IBase数据库是一种面向最终用户的非结构化数据库，在处理非结构化信息、全文信息、多媒体信息和海量信息等领域以及Internet/Intranet应用上处于国际先进水平，在非结构化数据的管理和全文检索方面获得突破。它主要有以下几个优点：(1)Internet应用中，存在大量的复杂数据类型，iBase通过其外部文件数据类型，可以管理各种文档信息、多媒体信息,并且对于各种具有检索意义的文档信息资源，如HTML、DOC、RTF、TXT等还提供了强大的全文检索能力。(2)它采用子字段、多值字段以及变长字段的机制，允许创建许多不同类型的非结构化的或任意格式的字段，从而突破了关系数据库非常严格的表结构，使得非结构化数据得以存储和管理。(3)iBase将非结构化和结构化数据都定义为资源，使得非结构数据库的基本元素就是资源本身，而数据库中的资源可以同时包含结构化和非结构化的信息。所以，非结构化数据库能够存储和管理各种各样的非结构化数据，实现了数据库系统数据管理到内容管理的转化。(4)iBase采用了面向对象的基石，将企业业务数据和商业逻辑紧密结合在一起，特别适合于表达复杂的数据对象和多媒体对象。(5)iBase是适应Internet发展的需要而产生的数据库，它基于Web是一个广域网的海量数据库的思想，提供一个网上资源管理系统iBase Web，将网络服务器(WebServer)和数据库服务器(Database Server)直接集成为一个整体，使数据库系统和数据库技术成为Web的一个重要有机组成部分，突破了数据库仅充当Web体系后台角色的局限，实现数据库和Web的有机无缝组合，从而为在Internet/Intranet上进行信息管理乃至开展电子商务应用开辟了更为广阔的领域。 (6)iBase全面兼容各种大中小型的数据库，对传统关系数据库，如Oracle、Sybase、SQLServer、
非结构化数据
非结构化数据来源极为广泛，在省惩防体系综合信息平台数据环境中，包括文档、电子表格、演示文稿、电子邮件、音频和视频文件、即时消息、扫描的文档等。 由于文件系统操作简便性能较高，因此多采用文件系统来存储非结构化数据，而将关系型数据存储在数据库中。然而在实际业务需求中，两种数据类型往往相伴而生，例如档案管理系统。两种数据类型的分开管理损害了安全性、健壮性以及可管理性，具体存在以下弊端：互相孤立的安全审计模型；数据的更改无法保持原子性、备份和恢复需要分别进行；很难实现涉及到关系型数据和文件数据的综合查询；空间管理复杂；需要不同的接口和协议。 为了消除文件系统的弊端，在关系数据库中多采用二进制大对象（LOB）实现存储非结构化数据，然而LOB一直存在着性能瓶颈。将非结构化数据存储在数据库中后，管理和检索非结构化数据（例如多媒体应用程序）需要额外的处理能力和内存才能获得与文件系统等同的性能。 综合以上原因，推荐使用Oracle Database中的SecureFile Lobs来存储非结构化数据。自Oracle Database 11g开始，增加了SecureFile Lobs方式来解决非结构化数据存储，SecureFile支持检索非结构化数据，使得访问数据库内的文件与本地文件系统中的文件一样快，甚至超过了后者，同时还保持了与数据库中数据的事务一致性。SecureFiles 是一个重要的新体系结构，它既具备所有最先进文件系统功能，又具备高级数据库功能。其特性包括全新的磁盘格式、空间和内存管理技术，它可显著提升 LOB 性能并优化存储。 （1）提高了读写性能：SecureFiles 在数据库处理文件数据的方式上采用了全新的范例，对于基本查询和插入操作可提供类似文件系统的性能。经过 SecureFiles 优化的算法速度最快可达LOB的10倍。