非结构化数据的资产管理系统构建与实现

非结构化数据的资产管理系统构建与实现

摘要:办公室的文本，PDF文件，图片，网页，音频、视频等非结构化数据正逐渐成为业务流程的一个重要来源继续快速增长，传统的数据结构的数据库管理应用的模式已经不适应现在企业信息化的需要，企业要的为很多的信息管理与业务流程深度结合的基础之上对于各种的非结构化数据模式，提供具有收集、整理、归档以及安全储存、快速应用的管理模式。

这样模式的形成，是需要在三年的时间里面各个的部分进行深入的研究，在结合计算机软件技术、网络技术以及数据库技术的条件下面，利用程序设计概念，三层体系结构作为一个模型系统，含有的具体开发环境。对于NET框架以及SQL Server2008进行利用，作为C #的基本后台数据库开发基础，设计并建成了资产管理系统的非结构化数据模式。

具有三个层次的结构体系，含有订单的采购、资产的管理、信息管理等很多的模块，这个里面办公用品的采购申请模式、资产管理模式是这个系统的核心部分。前者可以提供对于新购资产的申请、审批以及采购活动，利用这样的模式对于原有企业具有的各种数据库进行分析与提出，建立完成统一的数据库模式，实现部门之间有效的配置与更新操作。

关键词:数据库；非结构化数据; 企业资产管理系统

第 1 章绪论

在很多的企业里面，数据被看作为价值最高的无形资产，依据其含有的类型

可以分为结构化的数据与非结构化数据。非结构化数据是指数据类型的二维表结

构表示，包括办公文档，文本，图像，XML，HTML以及各种形式的报表、图像以

及音频等文件。一个企业逐渐的建立信息化过程里面，它可以用来构建结构化的

数据，这对企业数据的相关数据。不过对于其他的非结构化的数据不能完全的用

来处理这些关系数据库。科学管理与合理应用这些非结构话数据已经成为正确的

决策与提供核心竞争力的主要问题。Gartner在前几年的专题分析报告里面明确

的提出：“在未来的10年内，信息的有效性非常的必要，其将企业和全球经济

的主导地位的负担难以承受的信息爆炸，企业识别”。Gartner，AIIM（美国信

息图形学会），维基百科和其他部门企业非结构化数据管理的定义是在采集，管

理，存储，使用，保管和组织发布内容和文档，过程相结合的策略，方法和工具，

它与全球各种形式的非结构化的信息企业范围内部。

中国建设银行、中国移动通讯以及英国的很多公司，对于非结构化数据的集中管理工作的保险公司的好，取得了良好的效果。同时，中央政府高度重视，在2010的非结构化数据和管理的中央企业，通过中央办公厅，国务院办公室联合发布与管理的电子文件管理办法，非常明确的提出了企业电子文档管理需要满足统一的管理模式，实施全程的管理、方便使用等很多的安全需求。所以为了更好的访问企业信息建设的投资收入。提升企业具有非常好的竞争力需要加强管理与非结构化的数据应用模式，对于企业非结构化的数据管理平台进行细致的研究。

1.1 非结构化数据的挑战

在过去的几年里，这个人的数据量，一个公司创建并存储正在迅速扩大。在过去的利用计算机系统以及数据库里面的结构化格式企业里面，如果使用关系表或者是固定的文件进行储存很多的商业数据以及软件应用程序使得这些结构化的数据储存以及业务操作来执行。不过在目前的情况下面，这个公司的数据还是具有很大的一部分在使用其他的方式进行储存，如由微软Office Excel，和微软Office Word文件等，现在含有数码摄影、扫描文件、视频以及音频格式等内容，可以进一步的扩大产品的业务数据以及非结构化数据格式的范围。同时在储存硬件以及储存具有的成本方面都具有很大的降低，同时也是很好的影响了储存的计算机里面的数据类别，需要与同传统的关系型数据结构与非结构化的数据进行商业模式的使用。

易迪香港太古集团，在北京具有的一个物业项目，这个里面含有一个25层的5A级别的写字楼，369间客房的酒店以及一个将近60000平方米的购物中心，在目前的条件下面已经进入了试运行的阶段。在目前激烈的设计与建设以后，目前已经具有很多的数字图像、文档以及视频资料，同时还具有非关系型结构化的数据与其他的多媒体格式，这些数据的而是已经成为正式与非正式业务处理的一个重要组成部分，目前虽然还是属于储存与管理投资的阶段，不过应用具有的意义已经凸显出来，在很多的场合具有了良好的应用：

行政部门需要存储的政策文件和提取文件的要求。

在视频和图片的商场信息需要租赁部和市场部的商店。

电话系统需要保存声音信息的音频流，这样他们可以远程传输。

如今数字内容的创作正在逐渐变得简单，当前为了改善数字内容，对其业务能力进行扩大，公司也在积极探索新的方案。这种情况在全世界范围内都有着新的典型例子，其具有非结构化数据，所以本次研究主要就是在企业层面来管理大

量的非机构化数据，进而使得存储和备份更加的安全，得以实现查询和提取的快速性，在数据管理系统中需要进行详细的核查，来实现其加密功能。

1.2 非结构化数据储存管理存在的问题

1.2.1非结构数据处理的方式

在目前的情况下面，企业对于非结构化数据储存的方式主要下面的几种：首先为直接的储存在数据库里面的BLOB字段，在目前的条件下面，非结构化数据企业含有的基本应用为：如报告，报告，图片，等等，都是存储在结构化数据库的BLOB字段的二进制格式。是保存在BLOB文件领域的利用具有的基本要求就是速度要非常的快，同时具有简单的维护与管理功能，同其他的应用没有任何的联系。不过存在的缺点为因为大量的非结构化数据文件，在数据量增加的时候，使得结构的数据库快速的膨胀，最后导致数据库的性能快速的下降，这样对于整个系统性能的影响都是不好的。

其二为因为各种应用系统是封闭与独立的，同其他的系统没有办法实现文件的共享。其次是保存在一个FTP上传的文件服务器里面，在这样的方式里面，非结构化的数据应用非常的少，同数字档案馆具有的典型应用以及知识管理的网站是一样的。

1.3 现实中存储非结构化数据的挑战

1.3.1 非结构化数据储存的问题

就以上所提到的被撞状况来看，企业最先要对大量非结构化数据在存储问题上给以研究分析，这也是企业的一个挑战。怎样才能够使得非关系数据存储系统的需求得以灵活满足，并且在此基础之上对成本进行有效的管理和降低，这成为亟待解决的问题。

我们首先就是要对于主要问题的规划存储非结构化数据进行研究分析，主要有：

管理成本以及硬件成本等非结构化数据的存储成本。

在非结构化数据中其具有的物理存储位置，比如说网络附加存储（NAS）设备或者是文件服务器。

1.3.2查询与使用非结构化的问题

我们如何使用这些数据，需要考虑的就是这些数据具有何种的应用，一些需要考虑的问题包括：

发展的挑战，建立使用结构化数据和你好吗？使用数据的应用程序可以包含代码的建设、提取以及更新、删除非结构化的数据，同时维护有关的关系数据源以及如何的额使用数据源之间关系的一致性。

1.4 系统构建的主要工作及论文结构

1.4.1 系统构建的主要工作

在进行论文撰写的时候，本人由项目需求，来进行数据的调查收集，进而使得系统得以完成设计和测试，下面几点是本人所做的工作：

首先是进行需求的调查。其进行了多个项目部门的参观，对于公司当前的经营情况以及过程进行了了解，进而使得项目建设需求分析得以有效形成，从而进行需求分析文档的编写工作。

其次就是进行技术方面的选择。这要求以需求特点以及本人所具备的知识存储为依据，在框架设计上，系统选择的是NET框架中的设计，其编程语言选择的是C#，并且在后台数据的选择上选取了SQLServer2008。

第三就是对系统进行概要设计，主要包含的就是方案的设计方面、系统架构的设计方面，系统结构的设计方面，以及数据库系统在接口上的设计，其主要就是底层的数据库操作接口，比较常见的操作界面以及其多种数据在业务的逻辑层以及数据的访问层中的接口设计表。接着就是要进行设计文档的摘要的撰写。

第四就是系统具备的详细的步骤，主要就是供应商管理、资产管理、采购管理、功能模块的设计，如系统帮助、用户权限的管理等，以及一些其他的数据表。在最后便是进行界面设计，主要含有的就是界面的布局和设计，界面的皮肤和样式等，促进系统风格的统一性，进而达到界面美观的效果。

第五就是在系统的测试阶段，主要包含的有测试的方法、的事的环境、测试的目的所在，还有测试最终呈现的结果。

1.4.2 本文设计系统的特色

可以实现统一管理的优化，半结构化与非结构化的混合数据，相对于非结构化数据系统存在之前，同时增加了控制的模式提高了访问的效率，管理与维护起来非常的方便。针对于大量的数据，在利用检索技术以及数据库管理技术的基础上面实现了数据的完整性、提高了系统的安全性与容错性。可以实现对非结构化数据的全文的检索，提高了查询的效率，结构化的数据融合模式以及电缆式的索

引模式，两种方法联合起来操作。

1.5 论文的组织结构

本次论文将分为六个部分进行阐述。

第一部分就是绪论部分，该部分对非结构化数据的背景以及现状进行介绍，并深入分析公司在显示中所面临的挑战。接着说明在论文撰写过程中所需的准备工作，并且介绍了非结构化数据资产管理系统的特点。

第二部分是对非结构数据现状给以深入分析，借此来进行其结果设计原则的分析，并且借助于非结构数据原则来对其设计结构来进行最终的分析。

第三部分是就系统使用的技术和数据库给以进行有效说明，这在后面的文章中也是以这些技术为主进行实施，其核心的开发是在NET Framework 平台下进行的，其编程语言是C#，数据库则是SQLserver2008。

第四部分是对于系统功能进行需求上的分析，并且以实际为依据来进行应用需求、开发模式、功能需求以及开发平台的提供。

第五部分是设计非结构化数据资产管理系统，这也是整篇论文的中心所在，借助三层架构模式开发系统的提出对于视图和数据表等也进行了详细规划。

第六部分则是对系统进行具体实现，在操作层面进行设计内容的落实，这也是设计的难点，其对系统模块的类、结构以及接口的实现进行了有效规划。

在最后则进行系统测试，这表明完成设计之后，整个系统进入到了调试阶段，对于调试的用例以及方法进行列出。

本章小结

本章内容是论文的绪论部分，介绍的主要是非结构化数据资产管理系统设计的实现上的需求，并且对于当前国际上统一的管理呃存储方法进行介绍，并且一次为基础进行设计雅韭，对于以B/S架构为基础的数据存储管理系统进行了分析。最后对于系统的建设以及设计工作等进行了详细的介绍。

第2章非结构化数据应用现状

2.1需求分析

根据非结构化数据应用现状国内大企业的研究成果，结合图像管理协会，garnter权威业务管理内容作为基本的研究对象，对于企业非结构化数据管理的平台需要可以实现重点集中统一管理的非结构化数据储存的模式，非结构的综合分析模式，对于外部提供的为公共服务与业务应用系统进行必要的访问四个关键的需求，全面覆盖到内容的采集、管理、储存以及内容应用等很多的领域里面。

2.1.1数据储存模式

在业务应用系统的很多大型企业以及其具有的非结构化数据模式里面，分散储存应用现状的基本使用，通过非结构化数据管理平台的建设，对非结构化数据存储中心的企业大数据量的建立，此外优化存储结构的制定是需要以存储优化策略为依据的，对存储资源的利用率进行有效提高，进而使得企业的非结构化数据得以完成集中存储，对内部IT基础设施进行简化，也就使得数据安全的控制点得以有效降低，使得企业的核心业务系统实现其整体性能的增强。目标得以实现的基础则是内部非结构化数据得以被有效利用。

2.1.2数据集中模式的需求

非结构化的数据管理模式不仅仅是企业非结构化数据储存的基本模式，与此同时企业是结构化数据管理标准的规则制定者与执行者。各种各样的非结构化数据管理标准的制定，为解决现有的非结构化数据管理存在最为关键的问题，利用这些可以满足非结构化数据集中管理模式的额具体需要。如果建立元数据内容的有关标准，内部统一的元数据进行管理，之后通过全球数据访问建立有关的标准，实现业务应用系统以及数据共享与交换等，建立这些数据采集的标准，我们可以建立标准的进行数据的采集，可以满足业务应用储存系统数据

采集的需求。总的来说，我们通过制定标准的开发产品同时实施大量档案的建设，可以提高企业信息化策略，如法规，工程图纸，合同，票据，统计报告和其他类型的非结构化数据的可以提供集约化的管理水平，实现自动化的非结构数据管理。

2.1.3全部生命周期的需求分析

对于生命周期的管理指的为有关内容的创造，应用，综述，影响，分布，退休等对于整个生命周期的影响，全部的生命周期管理具有的最大价值就是协调与共同维护的内容在整个生命周期的创造者和使用者，创造者，可以完全的控制生命周期内容具有的全部管理过程。生命的周期管理是以统一版本管理为基础的，其对于访问控制和存储管理是统一的。以国家含量为依据来进行整个生命周期的控制。还有就是进行工作流的结合。借助于对工作流以及版本的管理，对于访问控制以及存储管理进行结合。要使得生命周期管理过程更加的丰富多彩，则需要同工作街技术有效的衔接起来，以业务需要为依据，来进行生命周期管理的实现。使得电子部门间实现数据无缝传输，完成数据在综述、应用体积创造等的影响问题，对于自动化过程控制进行了摧毁，完成了用户自动化的推动。为实现部门间的沟通效率以及工作效率。2.1.4对外统一的需求服务

非结构化数据管理在企业系统里面具有很多的功能可以实现，例如含有内容的储存与内容的访问等，同时还含有内容的检索等。这些不仅仅是增加了企业信息化建设的成本，同时也是的信息系统建设生命周期变得更加的长。作为一个专门服务于大型非结构化数据管理食品行

业单位基本的信息平台，其需要对于基本公共服务的外国进行有效提供，（主要有内容接入服务、管理服务、存储服务以及运行监测服务等），还要对多种工具进行提供（挖掘工具等）其能够对非结构化数据使用服务进行内部业务应用系统的一致性的提供，使得非结构化数据管理平台的应用价值得以有效提高。

2.1.5多类型应用系统接入需求

现阶段，大企业业务系统通常具备的特点就是多样性以及逻辑性，其是以J2EE以及SAP的开发为基础的。为了使得企业价值得以有效提高，这要求企业业务平台的能力必须有不同的有序，标准的婚礼。因此，这就要求平台的相关接入规范以及整体访问相匹配进行有效解决办法的提供。

2.1.6数据加工和决策支持需求

对非结构化数据进行集中存储，这就使得深加工数据获得了有效基础。这就要求一决策需求为依据，来对文本数据、加工信息的提取等进行有效分析。对于数据的相关分析，会对于全文检索以及决策支持服务平台进行一个有效提供。在非结构化数据仓库平台结合结构化数据中心数据库来实现数据的决策。生成各种支持文件（所有数据中心存在的数据源），使得公司工作效率得以有效提高，在最后，对于以上所述的需求会由非结构化数据滚利平台来进行有效满足，平台也会成为真正意义上的数据中心非结构化数据存储业务，进而使得非结构化数据渠道企业的业务系统得以共享。使其将国际先进内容以及管理技术向企业进行引进。进行创新增值服务容器的提供，比如说对于文