事实数据库
事实和数据型数据库
第八章事实和数值型数据库第一节事实和数值型数据库概述在现代化图书馆的电子资源建设中，各种类型数据库的发展已经为图书馆的服务手段带来了飞跃性的变革。
数据库从存储的内容上可分为目录文摘数据库、全文数据库、事实型数据库、数值型数据库。
在图书馆电子资源建设的初期，二次文献数据库曾发挥了全面快速检索文献的作用，是电子资源的主要组成部分。
但随着文献信息的日益膨胀，面对INTERNET 网络信息的纷繁庞杂，用户越来越需要准确、真实、适用、具体、能够直接回答问题的针对性强的信息。
因此以一次信息（包括全文、事实、图形、数值信息）为主的源数据库已经成为数据库发展的主流，并将成为图书馆电子资源的发展重点。
以上几章中着重介绍了学术性文献库，在本章中我们将就另外两种目前具有重要的发展前途的数值型数据库及事实型数据库做一个概述性的介绍。
3.1事实数据库的发展历史如果从利用计算机作数据处理的角度来讲，则处理事实数据要比处理书目数据早得多。
但作为数据集合的数据库来讲，书目数据库的发展要比事实数据库的发展早一些。
最早的数据库是50年代的存于磁带上的书目库。
第一个事实数据库产生于1967年，是由美国Data 公司根据与俄亥俄律师协会的合同建立的俄亥俄法律法令全文库，收录有全美50个州的法律法令。
1968年，美国的Data Resource Inc公司成为第一家重要的数值数据库服务公司。
在70年代初期，事实数据库发展比较缓慢，其速度远远不及文献数据库的发展速度。
但由于事实数据库直接向用户提供原始情报，或经过加工存贮的“纯情报”，比如商业经济方面的数值数据库，直接向用户提供物价、产品规格、产值等方面的数据。
因此，越来越深受用户的欢迎。
自70年代中期以后，事实数据库迅速发展，没过多久其速度便赶上和超过了文献数据库的发展。
据统计，在1975年，欧洲只有51个事实数据库。
但到1985年，则猛增到1063个，平均每两年增加一倍。
1983年，世界数据库的总数为1845个，比1975年增加了38倍。
第五讲：事实和数值型数据库
搜数网的数据来源于国家及各省市地方统计局 的统计年鉴及海关统计、经济统计快报、中国 人民银行统计季报等月度及季度统计资料，其 中部分数据可追溯至1949年，以及部分海外地 区的统计数据。所有搜数网输出的统计表格皆 附有数据来源及出处，保证数据的严谨及权威。 并发用户数：5个
咨讯行、中经网、国研网的一般检索方式
人物传记资源中心
Biography Resource Center
包括一百多万个人物的传记，内容涵盖文学、 科学、政治、政府、历史、多文化研究、商业、 娱乐、体育、艺术和当今事件等等。此数据库 把80个最常被参考的Gale著名传记数据库与 280种以上的全文刊物结合，可供查询知名人 物的详细资料。 /itweb/wuhan
中国汽车行业季度分析报告
4.中国经济信息网专题资料库
《中经网》是由国家信息中心制作的以提 供经济信息为主的专业性信息服务网络。 提供的信息形式多样，有视频、文字、图 片、数据、图表等多种形式，且其内容涵 盖面较广，有对各行各业的现状、动态、 发展等的全方位的报道与分析。
网址： /index/index/index.as p
同时链接地图、国旗及各国统计资料)， Related Website (相关参考网络资源, 提供20万个以上经过百科全书编者评 审的优质网站链接)，Britannica Spotlights （不列颠百科 独家收录的特殊主题深度介绍），Timelines （大事纪年 表，主题涵盖建筑、科技、生态、艺术等），还有150种 经过筛选的在线杂志和期刊。 Encyclopedia Britannica Online 在保留原百科全书质量 和特点的基础上，又增加了许多新的功能，如按主题字顺 排列的浏览功能，强大的检索功能，可检索词条达到98， 000个。 大英百科全书网络版每周更新一次。
23.国内事实数值型数据库(1)法律法规数据库
•
“中国司法案例库”主要收录我国大陆法院的各类案例，由民事案 例、刑事案例及行政案例3个数据库组成。现收录我国大陆法院的 各类案例76000余篇。数据每天更新。
•
该数据库根据我国三大诉讼法对民事案例、刑事案例以及行政案 例的不同特征提供了对应的检索功能。既提供标题和全文关键词 检索方式，还提供了多项检索选项。同时设置了分类导航检索， 包括案由分类、专题案例和地域指引。
该库由北京大学法律翻译研究中心与北大英华联合推出。提供中国 法律法规，案例和中外税收协定，以及法律新闻等中国法律信息的 英文译本，涉及 公报、 法律新闻、WTO 与中国等内容。译文包 括北京大学法律翻译研究中心翻译的文本、国家立法机关提供的官 方译本及经有关机构授权使用的译本。
•
数据库每日更新，通常在新的法律文件颁布后几日内完成翻译。
•
一、北大法意网—法律法规系列数据库
主页
一、北大法意网—法律法规系列数据库
1.法律法规库
•
法律法规库主体由大陆法规库、国际条约库、香港法规库、澳门 法规库、台湾法规库共5个数据库组成。 收录约27万部法规，其中大陆法规库收录约26万部法规。每年至 少更新3万部各类法规。全库总记录数超过44万条 。 库主界面设置了法规引导检索、快速检索和高级检索方式。
二、北大法宝—中国法律信息总库
（1）中国法律检索系统 • • 该库收录1949年至今38万多篇法律法规文献。 由17个子库组成：法律法规规章司法解释库、地方法规规章库、中 华人民共和国条约库、外国与国际法律库、最高人民法院公报案例 库、中国法院裁判文书库、法律文书样式库、合同范本库、仲裁裁 决与案例库、经典案例评析库、中国法律条文释义库、实务指南库 、法学教程库、香港法律法规资料库、台湾法律法规资料库、台湾 法律法规资料库、法学文献库、立法背景资料库。 • 数据每天更新。
数据与事实型数据库的概念
数据型数据库和事实型数据库是两种不同类型的数据库概念。
1.数据型数据库：数据型数据库主要用于存储和管理结构化数据，这些数据以表格形式
组织，采用行和列的结构。
数据型数据库通常使用关系型数据库管理系统（RDBMS），如MySQL、Oracle等。
它们适用于需要对数据进行复杂查询、事务管理和数据完整性保证的场景。
数据型数据库强调数据的一致性和准确性，支持事务处理和数据关系建立。
2.事实型数据库：事实型数据库主要用于存储和分析大量的历史数据，以支持数据分析
和决策支持系统。
事实型数据库采用星型或雪花型模式来组织数据，其中一个中心表包含了主要的事实数据，而其他维度表则包含与该事实数据相关的维度信息。
事实型数据库通常用于数据仓库和商业智能系统中，用于快速查询和分析大量数据，并生成报表和数据分析结果。
总之，数据型数据库主要用于存储和管理结构化数据，强调数据的一致性和准确性，适用于复杂查询和事务处理；而事实型数据库主要用于存储和分析大量的历史数据，以支持数据分析和决策支持系统，适用于快速查询和分析大量数据的场景。
两者在数据组织结构和使用目的上有所不同。
高校图书馆事实数据库统计项目精简版
事实数据库统计项目
单位
填报细则
大项
小项
A图书馆基本情况
A1馆舍
A1馆舍总面积
平方米
系统自动生成，为全部馆舍之和。总馆有多处馆舍的分别在馆舍1、馆舍2、馆舍3……中填报。分馆不在此填报。在建馆舍面积不计算在内。
A1.1.1馆舍1名称
A1.1.2馆舍1启用时间
人
A3.1.3.3第二学士学位
人
A3.1.3.4本科
人
A3.1.3.5大专
人
A3.1.3.6大专以下
人
A3.1.4职称
正高级职称
人
A3.1.4.2副高级职称
人
A3.1.4.3中级职称
人
A3.1.4.4初级职称
人
A3.1.4.5其他
人
A3.2合同制职工
人
指与校人事处签订劳动合同，但不占正式编制的常年聘用人员。
A4.1.1其中教职工
人
指办证教职工数。
A4.1.2其中学生
人
指办证学生数。
A4.2折合在校生数
人
各类学生数均为学校注册数，不是A4.1.2的办证学生数。由系统自动生成。计算公式为：在校生人数＝本、专科学生数+硕士生数x1.5+博士生数x2+留学生数x3+预科生数+进修生数+成人脱产班学生数+夜大（业余）学生数x0.3+函授生数x0.1（根据教育部教发[2004]2号文）。以下各项生均指标均以此数据作为分母。
B5办公费
元
指办公费、业务费、通讯费（含上网费和电话费）、差旅费等。
B6生均文献资源购置费用
事实数据库名词解释
事实数据库名词解释事实数据库（Factual Database），又称为实时数据库或真实数据库，是一种专门用于存储和查询实时数据的数据库系统。
它具有高速、高效的特点，并且能够保证数据的一致性和完整性。
事实数据库主要用于存储实时数据，包括运营数据、交易数据、传感器数据等，这些数据的变化非常频繁，需要实时更新和查询。
事实数据库的特点主要有以下几个方面：1. 实时性：事实数据库能够实时地存储和查询数据。
它能够快速接收和处理大量的实时数据，并能够提供实时查询结果。
对于需要实时处理的应用场景，如金融交易系统、物流管理系统等，事实数据库非常适用。
2. 高性能：事实数据库具有高性能的特点。
它能够提供高速的数据读写操作，能够在很短的时间内完成大量的数据处理任务。
对于需要大规模并发访问的应用场景，如电商平台、社交网络等，事实数据库的高性能非常重要。
3. 数据一致性和完整性：事实数据库能够保证数据的一致性和完整性。
它采用事务机制来确保数据的一致性，对数据进行事务级别的隔离和锁定，避免数据的冲突和损坏。
另外，事实数据库可以定义数据的约束和规则，对数据进行验证和过滤，确保数据的完整性。
4. 扩展性：事实数据库具有良好的扩展性。
它能够支持大规模的数据存储和查询，并能够动态扩展和优化系统资源，适应不断增长的数据量和访问量。
对于需要处理大规模数据的应用场景，如物联网、大数据分析等，事实数据库的扩展性非常重要。
5. 多种查询支持：事实数据库支持多种查询方式，包括结构化查询语言（SQL）、类SQL查询语言和编程接口等。
它能够灵活地处理不同类型的查询需求，并能够通过索引、分区和优化等技术来提高查询效率。
事实数据库广泛应用于各个领域，如金融、电商、物流、智能制造等。
它能够支持实时数据的存储和查询，帮助企业实时监控、预测和决策，提高运营效率和竞争力。
同时，在互联网、物联网等技术的推动下，事实数据库的应用场景不断扩大，对数据库的性能和可扩展性提出了更高的要求。
“高校图书馆事实数据库”统计指标修订情况概述
８ ６
萼 ’
幸 ｉ 、
“ 校 图 书 馆 事 实 数 据 库” 计 指 标 修 订 情 况 概 述 高 统
人员 纳入 统计 ； Ｈ 资 源利 用 情 况 ” 未 对 科 技查 “ 项
２ ０ 年 正式 上 线 “ 育 部 高 校 图 书馆 事 实 数 据 库 ” ０１ 教
（ 以下 简称事 实数 据库 ） 实 现统计 数 据 的 网上填 报 。 ， ２ ０ 年 教育 部 高校 图丁 委 又 根 据 各 方 面反 映 的 问 ０６
高 校 图 书 馆 统 计
“ 校 图 书 馆 事 实 数 据 库 ＂ 计 指 标 高 统 修 订 情 况 概 述
口 何 雪梅 李 睦 胡 秀梅 谭 云 江 高凡
摘要 从原 统计 指标存 在 的主要 问题 、 订 目标 、 修 主要修 订 内容举要 三 个 方 面 ， 本 次“ 对 高校
进行 补充 和完善 。
２１ ０ ０年 １ ２月 ， 由教育 部 高校 图工 委 牵 头 ， 集 召
专家 ， 结合 以往 统 计 中出 现 的 问题 和 高 校 图 书 馆 发 展 的实 际情况 ， 照 美 国研 究 图 书馆 协会 （ ｓｃ — 参 Ａｓｏ ｉ ａ ｔ ｎｏ ｅ ｅｒｈＬ ｂａｉｓ Ａ ） ｉ ｆ ｓａｃ ｉｒｒ ， ＲＬ 的年 度统计 指 标 ｏ Ｒ ｅ ］ 和香 港 高校 图书 馆 联 盟 的统 计 指 标 】对 事 实 数 据 ， 库 的统计 指标 作 了修 订 ， 并在 征 求各 省 、 自治 区 、 直
化学事实数据库NIST
Section 6: Fluid Properties 主要包括水的一些性质，气体的维里系数、范德华常数、 临界常数、蒸气压、蒸发焓和熔化焓等 Section 7: Biochemistry Section 8: Analytical Chemistry 无机物测定用有机分析试剂，指示剂，电动势序列，酸和 碱的解离常数，水溶液的性质，有机化合物在水溶液中的 溶解度和亨利定律常数等 Section 9: Molecular Structure and Spectroscopy 键长，化学键强度，偶极矩，电负性，小分子的基本振动 频率，双原子分子的光谱常数，红外相关图表等 Section 10: Atomic, Molecular, and Optical Physics
化学事实数据库 NIST 、CRC handbook
NIST Chemistry WebBook
NIST Chemistry WebBook 是美国国家标准与技术研究 所（NIST）的标准参考数据库（Standard Reference Data）中的化学部分，该站点被认为是网上著名的物性 化学数据库
CRC在线化学物理手册
/
CRC handbook包含内容
Introduction Section 1: Basic Constants, Units, and Conversion Factors Section 2: Symbols, Terminology, and Nomenclature Section 3: Physical Constants of Organic Compounds 该表收集了10,000多种有机化合物 的熔点、沸点、密度、折射率数据和在不同溶剂中的溶解性能 Section 4: Properties of the Elements and Inorganic Compounds 给出近3000种无机化合物的一些主要性质和数据 Section 5: Thermochemistry, Electrochemistry, and Solution Chemistry 化学物质的标准热力学性质表，包括标准摩尔生 成焓、标准摩尔吉布斯能、标准摩尔熵和定压摩尔热容
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
收稿日期:2004-04-13;修返日期:2004-06-01基金项目:国家“863”计划资助项目(2001AA413020);国家“十五”科技攻关计划项目(2001B A204B 01)实时数据库系统关键技术及实现*叶建位,苏宏业(浙江大学先进控制研究所工业控制技术国家重点实验室,浙江杭州310027)摘 要:简要地论述实时数据库的基本概念和特点,分析了实时数据库与传统关系数据库的差异。
同时,重点研究了基于Windows 平台下实时数据库的实现中关键技术的设计思想和技术路线。
根据上述设计思想研制开发的ESP-iSYS 实时数据库已经在多个工业控制现场得到成功应用。
关键词:实时数据库;组件技术;数据高效存取技术;事务调度模式中图法分类号:TP311.13 文献标识码: A 文章编号:1001-3695(2005)03-0045-03Key Technology of Real-Tim e Dat aBase SystemYE J ian-wei,S U Hong-ye(National Laboratory of Industr ial Control Technology,Institute of Advanced Pr oces s C ontr ol,Zhejiang Univers ity,Hangzhou Zhejiang 310027,China)Abst ract :The concept ion and cha racterist ic of rea l-tim e dat abase a nd t he difference bet ween real-t im e dat abas e a nd rela tional dat aba se are dis cuss ed briefly.T he philos ophy of des ign and t he key technology to im plem ent rea l-tim e dat abas e on Window s plat form are s tudied in this pa per.ES P-iS YS system ,which is developed a ccording t o technology a bove,has been a pplied to s everal practica l project s successfully.Key wo rds:Rea l-Tim e Da ta Bas e(RTDB);C om ponent Technology;High Perform a nce Da ta Acces s;Ta sk S cheduling1 引言过程工业在过去的十几年内得到了巨大的发展,其中重要的改进是通过将已经得到广泛应用的集散控制系统(Distribu-ted Cont rol S ys tem )与新兴的计算机技术进行结合,实现过程控制逐渐从底层向上层渗透,形成集控制、优化、管理、经营于一体的综合自动化新模式[1]。
但是由于技术发展的原因,控制网络上分布着不同厂商的不同种类的监控系统,每个系统只能采集和管理相应装置或设备在运行过程中产生的部分实时数据。
因此迫切需要一个统一的数据平台来集成各种控制系统的数据,同时该数据平台应当为先进控制、实时在线优化和生产执行系统(Ma nufact uring E xecuting S ys tem,MES)等提供实时数据的支持[2]。
实时数据库系统(Real-Time Dat aB ase S yst em ,RTDBS)正是为实现此类需求而产生的。
近年来实时数据库系统的应用成功地实现了现场控制系统过程生产数据的集成,建立了企业管理系统与底层控制系统之间的数据通信,为全厂过程实时信息的综合集成奠定了基础。
2 实时数据库系统特点传统的关系数据库系统长于处理稳定的数据,强调维护数据的完整性、一致性,其性能目标是高系统吞吐量和低代价,但对处理的定时限制没有严格要求。
而传统的实时系统(RTS)虽然支持任务的定时限制,但它针对的是结构关系简单、稳定不变和可预测的数据,不涉及维护大量共享数据及它们的完整性和一致性,尤其是时间一致性。
实时数据库的数据和事务均有显式的时间限制,系统的正确性不仅依赖于事务的逻辑结果,而且依赖于该逻辑结果所产生的时间[3]。
实时数据库不是数据库和实时系统的简单结合,它需要在数据模型、体系结构、事务处理模式、数据存储方式等诸多方面重新进行研究和开发[4]。
由此可知实时数据库在设计和实现时需要注重以下几个方面:(1)实时性。
RT DB S 作为外部系统的一个客观反映,它表示了外部系统的当前状态,只有数据与外部系统的实际情况相吻合时,数据才有意义。
所以要求RTDBS 必须高效,能够实现实时反应。
(2)容错性。
由于工业控制现场的情况复杂,各种干扰较为常见,可能导致采集的数据被污染。
这就要求RTDBS 须具备一定的容错性,防止出现数据败坏(Da ta C orrupt)。
(3)稳定性。
任何数据库系统都要求稳定性,但由于现实中直接基于RTDB S 的应用往往一样强调实时性(基于RTDBS 的典型应用如先进控制软件和在线实时数据优化等),所以系统的稳定性被提到了更高的高度,RTDBS 是绝对不能轻易重启动的。
(4)鲁棒性。
过程控制应用中,RTDB S 多应用于分布式环境与多个数据源连接,工业现场的环境容易导致个别数据源出现数据流波峰或者通信受阻。
因此RTDB S 必须能承受数据流量冲击保证系统的实时性和稳定性。
・54・第3期 叶建位等:实时数据库系统关键技术及实现3 实时数据库系统关键技术3.1 基于组件技术的模块化体系组件模型(C om ponent)是构造二进制兼容软件的规范,利用组件技术构建的软件具备更好的可伸缩性和可扩展性,并且组件模型能方便地解决分布式环境中的共享和协作问题。
基于Windows平台的组件技术是微软公司力推的C OM/DC OM 技术。
COM/DCOM作为软件组件之间互相通信的一种标准,可以实现二进制兼容和位置透明(即无论对方位于另外一个进程甚至另外一个机器都可以透明地进行通信)[5]。
实时数据库中核心业务封装在不同的独立进程COM服务器(Out-Of-Process COM S erv er)中,彼此之间通过COM进行接口调用而不是简单的数据交换。
COM所提供的LPC(Local P rocedure Ca lls)通道经过特别的优化,在执行效率和数据通信带宽方面均优于常规IPC(Int erprocess Com m unicat ions)方式,使得实时数据库的实时性得以保证。
而且COM本身提供了线程管理模式,使得核心业务模块可以避免手动处理复杂的线程同步和数据共享,所有的接口访问都被自动同步和序列化(S e-rializ e),保证数据安全并且防止访问冲突。
同时,当前在数据通信接口方面OPC规范日益流行,并已经成为工业控制界的事实标准,大量设备及控制系统均采用OPC接口,而OPC规范本身就是基于微软的COM/DC OM技术设计的。
实时数据库的数据采集模块同样采用COM/DCOM技术,能够实现与底层OPC服务器无缝整合(Seam less Integrat ion),使得实时数据库可以方便地实现分布式构架而不必手动处理网络通信。
3.2 被动式内核结构实时数据库为了保证鲁棒性和稳定性,采用类似操作系统中内核体系的结构,并将各核心模块尽量独立,即便特定模块出现故障系统也可以自动重新启动该模块并且将系统恢复到故障前的状态。
由于将内核模块与直接面向用户的常规业务应用(如流程图、趋势图、系统组态、数据查询和报表等)以及数据采集模块(从底层数据源采集数据,如OPC接口、DDE接口、TC P/IP接口、RS-232接口等)隔离开来,大大提高了系统的稳定性和鲁棒性。
并且内核服务全部注册成系统服务运行,这种方式至少具备以下优点:(1)即便服务器没有完成登录,系统服务已经可以运行,该情况在出现系统由于硬件故障或断电后重启时尤其有用;(2)可以让低级别的用户(如操作员)以非管理员身份在服务器登录并且进行操作而不至于因为登录用户权限不足导致系统无法运行;(3)系统服务只能运行一个实例;(4)系统服务方便管理员进行控制,可以避开常规的C OM 应用计数来控制服务器的启动和停止。
事实上采用系统服务方式运行数据库系统核心的做法几乎是所有大型数据库系统(典型的如Oracle和OS IS oft PI)的标准方式。
内核模块采用被动模式工作,即内核模块本身不主动从数据源读取数据,而是通过数据采集模块完成数据读取并且将数据Push到内核模块中,并且外部应用则通过主动读取内核模块的方式获得数据,内核模块本身不提供主动数据通知服务。
同时,将数据采集模块管理功能隔离在独立的内核模块,当某个数据采集模块出现故障时可以自动重新启动该采集模块。
虽然这种结构存在着降低系统实时性的风险,但是可以将内核模块隔离在复杂的现场环境之外,即便由于数据源本身行为失当导致对应的数据采集模块崩溃也不至于危及到其他数据采集模块以及数据库系统内核服务。
图1描述了实时数据库内核体系的详细结构。
图1 实时数据库内核体系结构3.3 高效数据存取技术实时数据库必须实现高效的数据存储,才能在应对海量数据的同时保证系统的实时性。
过程工业中以位号方式标志数据,与此相应,位号是实时数据库中数据存储的基本单位。
实际应用中,实时数据库中往往有上万甚至十几万个位号,如何在这种情况下实现高效率数据存取是保证实时性的关键。
在实时数据库中实现高效数据存取必须解决以下三点:(1)快速位号检索。
能够在上万或更多位号中快速定位指定的位号。
(2)访问同步以及数据共享。
考虑到实时性,不能单纯地采用锁定来处理并发访问,同时又要确保数据一致性。
(3)高速数据读写。
能够快速地存取数据。
3.3.1 快速位号检索实时数据库必须面对海量的位号,位号的检索速度对于保证实时数据库实时性至关重要。
工程经验表明实际应用中大量外围业务和应用软件均会频繁存取位号,大量C PU时间被用于检索位号。
工业控制领域使用名称标志位号,但字符串处理速度极慢,所以实时数据库为每个组态的位号分配一个ID(64位整数),并保证ID不重复(即便位号被删除,其ID也不能被复用,64位整数足够长可以确保在正常的操作模式下不会用尽)。
测试及现场运行证明基于ID的检索比基于字符串的检索速度高一个数量级以上。
系统在创建位号实例时动态地为新生成的位号分配一个索引号(32位整数,不是ID)。
该索引从0开始按位号实例的创建次序递增,当组态删除该位号时,位号的实例并没有被释放而是进入了回收池。