数字档案馆建设基本思路与构建

数 字 档 案 馆 建 设 基 本 思 路 与 构 建 杭州市档案局 赵建国、林杭顺、陈莉莉、梁凯

【摘 要】随着社会、经济现代化步伐加快和我国加入WTO以后，社会公众对档案、文件的利用需求和要求不断提高。作为国家综合性档案馆责无旁贷的要迎合信息化发展的要求并全面提供档案信息资源为党委、政府领导、市级机关工作服务和社会公众服务。档案馆保存各种文字、图表、声像等不同的馆藏载体及政府部门在其长年的政务工作中积累了大量原始档案资料，当今档案载体及其信息载体呈现出多样化的特点，因此，如何加快档案信息化管理工作非常关键。为了更好地使馆藏档案数字化资源融入于社会基础信息资源库，数字档案档案馆建设势在必行。以信息技术为主要特征的知识经济时代，信息化建设已成为评价一个国家信息基础水平的重要标志。档案馆作为社会信息资源系统的一个重要组成部分，正面临着信息化时代的挑战。当今在档案学理论界开始对数字档案馆进行了讨论和研究，内容涉及数字档案馆的概念、特征、要素、结构以及对国外数字档案馆的关注等方面。数字档案馆较之传统档案馆的在档案的存放时效、查询速度及信息共享方面的优势是明显的，在国外先进国家都已经有了成功的建设运行实例。本文从数字档案馆的建设，以建设的目标、内容、系统、关键技术等方面进行初探，抛砖引玉，供大家参考，请指正批评。

【关键词】信息化 档案 建设

一、数字档案馆的总体建设目标

数字档案馆系统将是一个区域性、开放型的文件、档案信息中心，能够为机关各单位和社会各界人士提供网上档案查询服务，以达资源共享。对有价值的图像、文本、语音、影视、软件和科学数据等多媒体进行收集、组织和规范化再加工，并进行高质量的保存和管理，通过网络提供高速跨库连接的多媒体信息存取服务，促进社会各类信息高效、经济地传递。这将极大地推

动了档案部门信息化工作。

数字档案馆应是一个分布式的大型数据库，即以分布式的海量数据库为支撑，基于检索智能技术和宽带高速网络技术的大型开放、分布式信息库。要充分结合先进的信息技术、主机系统、扫描技术、网络系统、存储技术和安全管理体系。使档案工作提高到全新的管理模式，将带来显著的管理效益和社会效益，重点体现以下几个方面：

规范和制订档案、现行文件的有关标准和相关的信息标准；

规范档案馆业务处理流程，提高办公效率，减轻工作强度，实现办公自动化；

实现档案局与政府机关各部门档案室之间、下属区县（市）档案局（馆）数据及局内各部门的双向信息共享和交流，提高信息使用效率；

整合信息资源，为政府的数据统计和决策提供相应的支持；

推动职能上网和提供档案信息服务，建立一站式网站，面向公众进行服务。

二、数字档案馆建设内容

根据总体建设目标，在整个系统的建设中，包括了以下几个方面的主要内容：总体架构说明

数字档案馆建设包括内网系统（数字化档案系统）、政府外网系统（网上档案馆系统）、外网系统（门户档案系统）三个系统的建设，这三个系统互有区别，又有一定的数据共享联系。

内部局域网主要实现档案馆内部办公自动化、档案数字化综合应用系统。实现无纸化办公，数据信息共享，档案数字化管理，提高办公效率。

政府外网部分即包括与政府部门之间的数据共享，提供政府部门统一的档案管理系统和档案查询系统；同时专网还包括与上下级档案馆系统之间的数据共享，集中数据，方便共享和检索以及档案综合业务处理系统。同时解决档案信息孤岛问题。

外网部分主要是档案门户网站，它将作为展示档案馆整体形象的窗口，同时也成为档案职能部门联系群众、服务群众的一座桥梁，为社会公众提供大量的开放档案和现行文件信息。

这三个网络根据其功能和用途不同，其保密需求程度不同，根据政府相关文件规定，外网系统与内网及专网之间需物理隔离，专网与内网之间也需逻辑隔离，保证网络系统的安全。建议采用防火墙技术实现内网与专网之间的逻辑隔离，采用安全岛技术实现外网与内网及专网之间的物理隔离。达到数字档案馆特定安全保障体系。

三、数字档案馆系统设计思

1、应用支撑平台总体结构

数字档案馆系统的应用支撑平台逻辑结构如图所示：

综合平台实现体系分解为四个层面的架构。

1.1在架构最底层，是最基础的开发平台，即基于J2EE和ORACLE或DB2的开发体系架构的分布式应用开发环境。

1.2在这个环境之上，是一个中间件平台层。这个中间件平台层提供了可工作于不同应用内容项目中的核心服务功能，作为基础服务平台支撑在其上开发的应用逻辑的运行。这个中间件平台由应用服务器软件（Application Server）、部件化的功能包和相应的二次开发接口组成，例如与CA认证系统的接口。应用服务器（Application Server）推荐使用IBM公司的WebSphere。中间件平台层还包含了3个中间件平台：分布式异源数据交换共享管理中间件、非结构化信息管理中间件、分布式动态工作流管理中间件与检索服务中间件。

1.3在中间件平台之上的是针对不同应用系统的应用逻辑功能。这些应用逻辑功能实现了反映各个应用系统具体工作的内容。

1.4最上层的就是具体的个性化应用界面，实现单点登录和个性化应用集成。

通过这样一个完整、统一的门户支撑架构，数字化档案馆的各种分布式应用系统和网络资源，就被完整地相互交织在一起，起到了相互数据沟通、相互服务调用、相互业务协同的“无缝结合”的情景。

2、数字档案综合应用系统设计

以高速扫描仪、音视频设备为信息入口，将纸张、照片、录音、录像、缩微胶片上的信息转换成电子档案，并将数字化信息的图文数据库存储到海量存储载体中，通过相应的检索技术，实现以“以文本为检索对象，图文转化接口为检索结果”的全文检索，实现数字化信息管理自动化。全面完成档案、文件信息的数字化。

2.1具体内容如下：

建立档案管理参考标准（数字档案是新的载体的档案，与传统档案不同）。建立数字档案管理新规范。

建立档案数字化系统和对馆藏档案进行数字化加工。支持对各种不同类型载体的档案进行数字化处理和转换，完成馆藏档案的数字化。

建立统一数据平台，对各种跨平台数据进行自动交换形成国家规定数据交换格式。

建立数字档案管理平台和业务处理系统。实现网络处理档案局（馆）所有的档案管理业务的工作目标：支持通过网络交换（即电子归档，包括管理信息、数字化档案和数字档案）；支持海量存储和检索解决方案（内网、外网）；对有文本、图像、图形、音频、视频等不同形式载体的数字档案要有相应的检索和分类方法。

建立区域性档案中心。建立与市政府局各部门和各区县（市）档案馆的档案和政府文件的互联查询资源共享。

2.2主要功能：

在内网上应实现的功能:档案数据采集：（案卷级著录、文件级著录、专题著录、扫描录入、资料著录、图片著录、资料扫描、现行文件著录、多媒体导入）等；档案资源管理：（全宗数据管理、报表管理、业务工作管理、资料数据管理、现行文件数据管理、库房管理等）；档案利用发布：（利用管理、综合查询）等系统。

在政府外网上实现的功能: 政府机关、各上下档案馆之间统一的档案管理、数据交换、分布查询等系统。

在互联网上实现的主要功能：政务公开、馆藏指南、网上查档、网上办事等

真正实现“三网”资源共享和信息互动。

3、技术实施原则

数字化档案馆现对纸质资料、视频、音频或缩微胶卷进行电子化处理的目标。由相关机构集中地组织负责资料扫描、加工、查询及相应的管理运作的工作。档案电子化应能适用集中化、大作业量模式，支持集群式复合作业流程。利用高速扫描仪发挥批作业的效率，高效地提取文档数据，对扫描部分详细编目。借助高容量光学存储介质，结合先进的图像处理（扫描、图像压缩算法、转换等）技术，实现大容量图像档案的存储。

4、系统性能要

4.1系统的执行效率

在系统整体结构上采用分布式结构，在档案整理、扫描、人工审核、质量控制等各环节，通过控制中心合理动态分配工作，从而提高系统整体效率和处理能力。对于图像处理来讲，规范操作过程是提高质量及效率的首要条件。因此，在各个环节中应充分考虑系统的处理速度和执行效率。

4.2系统的兼容性

采用将整个业务流程分步骤处理并通过控制中心控制数据流的方式，使整个系统能够在一定程度上适应不同的业务需求，在针对具体业务进行修改的过程中保持系统体系结构的稳定。同时，还要考虑与其他地区和行业的业务兼容性问题，为今后业务的发展奠定基础。

4.3系统的安全性

针对该系统,主要从以下几个方面来保证在该系统中流转的电子档案的安全性和原始性。

4.3.1用户权限控制

系统需要有分级的权限设置，保证通过身份验证机制有效地杜绝非法访问。

在该系统中，设置以下几种用户权限：

扫描加工权限：相应的人员可以对档案进行扫描加工、质量检查、建索

引；

数据修改及图像编辑权限：有这种权限的人员，对扫描好的电子影像资料进行编辑；

查询权限：查询权限按实际情况进行设置。对各类用户群体操作权限上存在不同，则在对档案的查询权限上就要有所体现。

对应于实际工作中分工不同的用户，对应不同的权限。保证某人有明确的分工以及赋予他对应的权限，保证了工作流的顺畅性和稳定性。

4.3.2备份机制定期对新扫描的档案资料做光盘、磁带备份，为保证系统数据安全。

备份的理由：

由于存储的数字化影像需要很大的硬盘空间，为了保证工作流能长久的快速有效运作，将记录定期的进行备份。备份的同时，删除硬盘上的记录。这样做一方面使得保存的记录方便调阅，一方面使得硬盘空间能保持足够工作的大小。

系统中，可以选择SAN的存储设备作为大容量的存储设备。

4.3.3数据存储的安全性

主要体现在数据查询过程中的身份验证。防止非法用户通过其他手段访问数据库或浏览图像。

4.3.4索引和存储

对数字化文档建索引，其中，索引的两个重要关键字：档案产生时间及档案对应的类别档案的分类等有关标准和规范密级评定及日后的密级调整，涉及一些被查看限制的档案。

存储过程中，按照文件级—>专题级—>全文进行存储。

4.3.5系统的稳定性

软硬件系统配合要合理，硬件上采用高性能的处理机，操作系统采用高效稳定的设置。档案馆信息化工程是一个需要高速度、高智能化、高准确性的应用软件系统，可根据研究、开发、测试情况不断改进完善本方案。

4.4系统结构图

说明

数据库

数字档案馆工程建议使用ORACLE或DB2数据库。

服务器

为节约系统使用的网络带宽，保证系统工作流畅、稳定，提供的影像管理系统使用二台服务器，即数据库服务器和影像服务器。

数据库服务器接受基本档案资料的查询请求。若有关于图像的查询请求，系统自动把图像查询目标定位到影像服务器，由影像服务器负责响应查询终端的图像查询请求。

5、工作流程设计

索引建立

IIS服务器查询工作站

影像服务器存储设备

6、工作流程说明

6.1档案整理

检查档案资料是否存在差错，资料是否齐全。档案资料的准备在扫描作业中是很重要的工作。它需要将档案资料进行整理，以方便快速连续扫描及建档作业，资料破损亦需事先修补。档案的整理工作应该由专门人员进行，按有关部门要求进行整理，按档案的类别、时间进行分类，减少索引的工作量。

对应于不同的扫描方式，资料的整理工作存在着不同。

逐份扫描

每次整理、扫描、索引一份档案资料

适合资料份数较少、每份资料扫描页数较多的情况

批量扫描

整理好的多份资料一次扫描，自动分档，分别索引

适合资料份数较多、能自动建立索引的情况

批量转化

图像文件经O C R转化文本格式文件处理

6.2扫描加工

扫描人员登录，系统会自动记录其扫描员工号，连同系统时间，自动导入到数据库中，此数据和原始数据库系统数据关联，建立电子影像和原始数据库的一一对应关系，避免二次录入，同时方便定位原始数据库的物理存放位置。

6.3质量检查

对于扫描好的图像，由质量检查人员进行把关，检查扫描影像质量是否符合最终存储归档标准。对在高速扫描过程中出现的不合格图像做人工处理。如果发现漏页、重张等问题，要求及时补扫或在系统中删除重张那页。对于扫描影像不清晰的，在影像问题记录单上记录并重新扫描。当发现有不符合规则的图像，利用系统提供的功能，对扫描好的图像进行修改或更正。

6.4建立索引

建索引的目的是说明电子影像所代表的意义，方便以后查询，该系统是从键盘人工输入索引信息。鉴于要处理文档资料的不同分类（馆藏档案资料和非馆藏档案资料），在该系统中分两步实施，对于馆藏档案资料，输入相关信息，通过将馆藏档案资料对应的影像、新增添的索引数据与原先的档案资料记录结合起来，可以得到一些基本信息如物理存放位置连同输入人员、扫描日期等信息会自动导入到系统的数据库中，形成新的档案记录，方便以后的一种或多种索引条件进行组合查询。

对于非馆藏档案资料，输入人员对照屏幕所示的影像输入相应信息，如主题、内容等，形成档案记录，然后将这些档案记录送入主机上的档案管理系统的索引模块和存储压缩模块，形成完整的索引信息。

对于不清晰的影像以任务列表的形式通知扫描人员重扫，同时对于每份资料中顺序不对的影像进行可视化动态插入和错单的删除。

6.5数据的存储与备份

当扫描影像、质检和建索引都已完成后，可将资料转储到大容量存储设备，如光盘柜、磁盘阵列上，增加整个系统容量。

在系统中一方面考虑到存储的容量，另一方面考虑到查询的速度。应该采取的方案是：将近期频繁查询的影像资料存储在磁盘阵列中，将远期影像资料存储在光盘柜中。对于影像资料，应进行动态更新，及时把最近不常用的电子影像及时从磁盘阵列转移到光盘上，存放在光盘柜中，并支持单盘调阅功能，同样的将最近频繁查询的影像资料存储到磁盘阵列中。

考虑到可能会发生档案丢失或者被改动的情况。为了确保文档系统的安全性和可靠性，即使文档管理系统即使遇上突发事件也能进行恢复，建议对已存储的文档进行备份。

6.6本地数据转换

对于存储在硬盘或者光盘上的影像资料，针对不同的需要，可以将其格式进

行转换。这样能够充分利用有关客户资料的数据，避免重复录入。通过规定格式的转换，引入信息影像系统数据库，建立信息影像的辅助索引。

6.7信息查询

影像查询采用IE浏览器的形式进行，使系统查询客户端只要用标准的浏览器，即可实现对信息影像的访问，将系统的维护成本降低到最低。考虑系统的可扩展性，因为考虑到系统的发展方向是大集中的信息影像管理中心，所以在查询方式上不仅考虑到局域网查询，而且考虑到广域网查询，在系统设计时将采用先进的压缩技术和网络传输技术。当用户进行全文检索以及逻辑运算检索时，选择正确的关键字或者关系，在网页上键入或选择相应的项，文档管理系统内部处理这些项，通过索引得到该索引文件对应的电子影像。这里可能得到不止一个电子影像，可以通过列表的形式将所有搜寻到的所有电子影像列出。可以设置将所有的电子影像按选定的个数（1…N）在屏幕上显示出来（相当于预览），再在其中选择某个具体影像，从而达到我们的查询目的。

因为影像在网络传输时需要占用较多的网络资源，所以操作员可以在是否查看文字信息和是否查看图像信息之间灵活选择。

7、索引方案设计

索引方案的设计是数字化档案工程的核心。

索引方案的设计，直接关系数据库的建立。良好的索引方针的制定，不但能减轻工作人员的工作量，而且对于更好的存储影像资料和相关索引起到了相当大的作用。

对于业务量比较小的情况，采取的变通方法是：要求工作人员严格按某种规则摆放档案资料，然后进行扫描，简化索引过程。

方案的目标就是在为每一份的档案资料影像建立准确的索引的前提下，将数据录入量控制在一个可实际操作的合理范围。以下将是探讨几种索引方法的对比分析，并提出可行建议方案，实现为每一份的档案资料影像建立准确的索引，将使档案资料查询工作十分快捷。然而，建立索引又是一项十分费时费力的工作。数字档案馆应该根据自身情况，选择一种最佳的索引建立方案。

7.1索引方案的对比分析

A：手工建立索引： 由工作人员依照档案影像，根据档案馆相应的业务规则，对每个影像手工输入索引信息，从而产生该影像的索引文件。这种方式能够正确地建立一一对应索引。

B：自动建立索引： 采用图文转换OCR系统，根据全文内容自动抽词建立索引信息并自动识别出图像。

7.2索引方式

比较以上方法，主张采用人工方式处理索引问题。

档案整理：在扫描之前按规则整理档案的顺序；扫描此次档案资料，以多页TIF方式保存，自动识别、纠偏、去黑边。

质量保证：由人工检查判断得到的TIFF数目和资料的实际数目是否一致，影像资料是否清晰正确。若达到既定标准则可以认为该次扫描成功，将文件及其信息提交到指定存储位置，否则提示重新扫描。

索引原理：对资料进行分析并提取有用信息按时间进行排序，然后将生成的文件列表按时间进行排序，通过比较实际的业务记录数目和影像文件的数目是否相同来判断该次扫描是否有效。如果有效，将按顺序建立业务数据和档案资料电子文件的一一对应关系。依据有关档案标准的规定，区分档案所属类型，记录档案时间，这两个索引关键字在查询权限设置中起到很大的作用。

8、图像技术处理

8.1图像压缩存储

数字化档案馆系统中的图像信息应有如下要求：

1) 尽最大可能保存原件的所有信息（数字化本身就损失了很多信息）；

2) 需要“永久保存”；

3) 需要便于查阅；

4) 需要便于网络传输；

5) 在满足以上条件基础上需要占用最小空间。

数字化的图像存储就是要尽可能多地将原始资料的图像信息保留至数字化载体中。由于图像数字化后数据量非常巨大，压缩技术一直就是图像存储的重要课题。图像压缩的原理是在保证一定的图像质量的前提下，以一种数学运算方法将图像的数据量降到最小。图像压缩分为无损压缩和有损压缩，顾名思义无损压缩就是不破坏原有图像信息或所有图像信息均可通过一定的算法恢复的压缩方法，而有损压缩则是在可接受的图像质量条件下对图像进行的一种不可复原的压缩方法。有损压缩比无损压缩有更高的压缩比，因而压缩后的图数据量更小，因此多用于网络传输等对数据量要求较为严格的条件下。

根据对相关技术与标准，在选择图像处理标准时，根据如下原则：

8.1.1标准性

标准性即是要求选用的图像标准或方法符合国际上的通行标准、事实标准或通行做法，以保证不会在国际交流中的产生困难，从而保证一定的互操作性。

标准性有利于进行质量控制，因为一方面能够借此建立起统一的质量体系和衡量标准；另一方面通用的标准会有更多的软硬件支持，可以很容易地利用一些实用工具来帮助我们控制质量或改善品质。

只有符合现有的通用标准，才具有较强的生命力。标准性提供了可扩充性，具有升级的能力，具备被向下兼容的权利。

8.1.2可操作性

①是指所采用的标准规范及工作流程要符合工作人员实际的能力和技术水平，使一般工作人员经过短时间的培训就能够操作。信息资源的建设是一个劳动密集型的行业，虽然具有相当的知识要求，但大量的基础工作不能要求普通工作人员都具备应付复杂工作的能力，过于复杂的标准和处理过程也不利于品质的控制。

②是指现有的硬件或软件能够满足标准或操作要求，或者仅通过有限合理的

升级即能满足实际需求的。根据实际的经验，图像处理的精度要求一高，对图像处理的硬件要求就要提高很多，同时大幅度增加处理时间。因此，所定的处理标准一定要定在现有软硬件能够在合理的时间内进行处理的层次上。

③是指必须考虑网络应用的现实情况。从目前的发展趋势看，数字化图像资源最首要的用途应是满足网络应用的需求。在考虑应用标准的时候，首要的出发点是一定要满足在网络上的应用需求。比如必须考虑在现有的网络环境下图像能否以合理的时间和速率在网上传输。图像处理一般来说都是属于海量数据内容的电子数据处理，信息量很大。数字化后的图像在目前的一般网络带宽上进行传输速度很慢，要达到实用程度有一定的困难。这就要求在制定标准的时候必须考虑到这一问题。同时在考虑选用存储标准的时候，也必须考虑其在网络上的通用性。

8.1.3前瞻性

在制定图像处理标准时，所考虑的首要问题之一是所选用的标准及技术必须具有一定的生命力，不能选用已逐渐面临被淘汰的技术和标准。此外在考虑软硬件因素的时候，应适当的留有发展余地。如在网络带宽发展的情况下，就能合理的时间内传送更高质量的图像。同样对于电脑、显示器，其它硬拷贝等设备也要考虑到它们快速发展的可能性。在制定标准的情况下留有相当的发展空间。

在采用通用标准的情况下，对目前尚未成为标准的先进技术或规范进行仔细研究和考察，综合其技术和生命力诸方面的因素，适当的采用一些合理的内容，以提高所建设的信息资源和开发的系统的生命力。

综合上述原则，建议将图像分成不同的种类以满足不同的应用需求。即对应于扫描后的不同图像，应用不同的压缩存储格式。

8.2图像加密

图像加密对关键的图像数据进行加密。主要体现在数据的最终存储加密和数据查询过程中的身份验证、加密和文件传输加密。防止非法用户通过其他手段访

问数据库或浏览图像。为此应对影像中敏感的信息实行区域加密，并对密钥实行分级管理，保证不同的人员浏览内容与其对应权限的一致。

9、办公自动化

办公系统包括了办公事务系统和业务流转系统。办公事务系统提供机关内部的一般事务性工作工具，比如：公文处理、会议安排、各类通知、文件传阅等；业务流转系统按照流程处理各种业务内容，例如：档案室业务管理、职称评定、档案信息化等，这些内容可能是在机关内各个处室间交叉的；

框架示意如下图所示：

9.1核心工作流层

之所以要实现一个工作流中间层的主要基于对以下一些关键问题的考虑： 在协同工作相关的各种类型应用中，均存在着类似的工作流控制机制，

这为实现一个工作流驱动层提供了需求驱动

需要提供一种对协同工作流程模式的描述方法，并实现一个接口层，以

系统支持层 业务应用层

提供对各种动态变化的流程模式（灵活修改和增添新的流程内容）的适

应

基于多层结构的体系设计和部件化设计思想提示了实现一个可供调用的中间工作流驱动层将带来软件结构和执行效率上的改进

流程设计、组织和访问策略定义以及工作流控制引擎构成了核心工作流层。应用代理中介基于核心工作流层提供的标准访问接口，通过调用核心层的功能来完成各类复杂的业务。还句话说，应用代理中介就是针对不同的业务特点设计的应用程序，而将一些有关流程控制的任务交给核心工作流层去完成了。

带来的好处体现在：

将有关流程的控制实现和具体应用作了分离，降低了前端应用实现的复杂度 大大降低了流程重组对整个系统的影响

基于一个标准实现的接口框架，为与其他标准工作流实现系统的交互提供可能

在实现中，核心工作流层以EJB(Enterprise Java Bean)技术进行了类封装，以可以在网络中分布式发布的对象组件形式供应用代理中介调用。也就是说，应用中介可以在一个服务器环境下实现，而核心工作流层则可以在互联网上的另一个服务器环境下实现。同时，EJB组件还可以利用运行环境的群集技术，实现负载均衡和热备份，提高了可靠性。

9.2业务应用层

业务应用层既是功能的组织实现层，同时也是最终客户的访问界面层。为了将整个政务系统的实现整合成一个界面良好的桌面办公环境，实现通过一个工作界面，就可以完成各项办公事宜：

一个统一的办公桌面，桌面上列出了按分类组织的各种栏目，以个人视图将 办公事务和档案管理所有功能集成

将各类待办事件以消息的方式列出在用户登录到办公桌面后的首页上,用户打开消息后进入相应的处理界面

甚至实现针对不同紧急程度的消息，可以由用户设置是否提供无线短消息服务，在未及时打开消息的情况下，由系统发送短消息以提供提醒服务

这样，对无论何种身份、哪个处室的工作人员而言，见到的将是同一个业务界面。而在这个界面中，则包含了他们所需的所有办公及业务资源，不同的只是需要处理的事情或可以执行的办公、业务功能而已。

四、数字档案馆系统关键技术

1 海量存储技术

参见存储，这里不再叙述。

2 信息检索技术

2.1海量数据检索技术

在海量数据的查询优化处理中，查询优化处理器分两个阶段完成海量数据查询的优化处理，第一阶段是优化阶段，第二阶段是调度阶段。对应于这两个阶段，查询优化处理器包括两个处理程序：第一个处理程序称为优化器，第二个处理程序称为调度器。在优化阶段，优化器把每个海量数据查询划分为多个子查询，并对每个子查询进行优化处理；在调度阶段，调度器以减少存储器的I/O开销为目

标，确定所有可独立执行子查询的执行顺序，并按照规定的查询顺序执行子查询。

优化器是在关系数据库查询优化器的基础上设计的，当一个用户查询提交给TPO查询优化处理器时，优化器首先进行词法和语法分析等预处理工作，产生一个查询树，并将其分解为多个子查询，使得每个子查询的操作量的大小不超过磁盘缓冲区的大小，然后优化器分别优化处理每个子查询，最后把优化后的子查询集合提交给调度器，由于预处理和子查询优化都可以使用成熟的关系数据库系统中的查询预处理和查询优化算法完成优化器的关键部分是子查询分解。子查询分解由两个子过程组成：第一个称作是操作关系划分过程，第二个称作是子查询提取过程。操作关系划分过程把每个操作关系的SCAN操作替换为combine操作，每个操作关系替换为该关系的数据段集合。子查询提取过程的输入是数据段查询树，子查询提取过程首先处理数据段查询树中操作之间的依赖关系，把数据段查询树转换为同步数据段查询树，然后从数据段查询树提起子查询，建立多个子查询队列。

调度器的输入是具有子查询序列的集合同步数据查询树。调度器主要完成：（1）当I/O设备空闲时，从存储器移动到磁盘缓冲区的下一个数据段应该是哪个数据段。（2）当磁盘缓冲区满并且需要深入一个数据段时，应该从磁盘缓冲区中剔除哪个数据段。（3）根据当前磁盘缓冲区中的数据段，下一个调度执行的子查询应该是哪一个子查询。

2.2 基于中文信息处理的关键词查询技术

衡量档案、文件中心检索的主要指标检索效率高低，它不但具有足够的检索速度，而且要有足够查准率和查全率。众所周知，全文检索是一种非常理想的检索工具，而且是一种不可或缺的检索工具。由于档案信息内容均为中文，由此带

来下列问题：

1) 检索的查准率问题

对中文内容理解程度的深浅、对中文抽词的正确性好坏，会直接影响到

检索查准率的高低；

2) 检索的查全率问题

由于档案目录中用词的不一致问题，直接影响到检索的查全率高低；

3) 分类检索问题

如果不考虑词间的参照关系，做不到很好的分类检索以及上位词扩检和

下位词缩检；

当前的全文检索系统没有很好的解决上述问题。

一个比较理想的基于中文信息处理的关键词查询技术需要解决下列问题：

1) 正确的扫描方式和抽词算法

2) 关键词的自动标引算法（包括降低漏标率和误标率的措施）

3) 自动学习的算法

4) 智能化优化检索算法

5) 主题词表或关键词表的构建（包括和公文主题词表的协调问题）3 信息的共享策略

信息共享是档案信息中心的关键,只有真正做到了信息共享,才能更充分地发挥档案目录中心的作用。

当前，对于信息共享尚缺乏一个共同的深入的理解，由一种这样的说法，有了网络就实现了信息共享，我们认为这样地理解是不全面的，或者讲不深刻的。我们认为，信息的共享可以分为三个级别，通讯级共享，存储级共享和语义级

共享。

3.1 通讯层的共享

所谓通讯层共享,是指在信息传输层上实现共享,通讯层的共享的基础是网络,有了网络,才可以将共享的信息通过网络传输过来,实现通讯上的共享。没有网络，要共享的信息“可望而不可及”，不能使用。由此可以看出，网络解决了共享的“路”的问题。

3.2 存储层的共享

所谓存储层共享，是指在信息的存储层上实现了共享，存储层实现的基础是信息的存储结构，知道了信息的存储结构，才有可能将信息读取出来，一个信息结构保密的系统，是很难将其信息读取到的，读不到信息如何实现共享呢。所以可以将存储结构理解为共享的“钥匙”，有了“钥匙”才能开开门，将共享的信息取出来，否则只能“望门兴叹”，无法使用。由此可以看出，信息结构解决了共享的“权”的问题。

3.3 语义层的共享

所谓语义层共享，是指在信息的理解层上实现了共享，理解的基础是信息的规范化使用问题。只有理解了信息的语义，才能知道那些信息是我需要的，那些信息是不需要的。信息共享最根本目的是信息的利用，无目的地拿取信息，即使拿到又有什么用呢。所以，可以将语义层理解为共享的“找”，解决了如何“找”的问题，才能从浩瀚的信息海洋中选取出对你最有用的信息，否则，面对海量的信息你就会感到“无从拿起”。由此可以看出，语义上的理解解决了共享的“眼”的问题。