数据仓库中元数据若干问题的讨论

!""#年第 $$ 期
福
建
电
脑
&’
数据仓库中元数据若干问题的讨论
李志辉
! 湖北经济学院计算机与电子科学系 湖北 武汉 !"#$%& "
! 摘 要 " 元数据是数据仓库实现和管理的灵魂 # 是联系数据仓库中各部分的纽带 $ 本文对元数据的含义 % 分类和 生命周期等问题进行了讨论 # 同时对元数据管理中的管理结构 % 标准化和系统功能等问题进行了较为详细的论述 $ ! 关键词 " 数据仓库 & 元数据 & 元数据管理 引言 企业数据量的日益膨胀以及数据的多样性和复杂性 ! 使人 们不禁感叹二十年前查询不到数据是因为数据太少 ! 而现如今 查询不到数据则是因为数据太多了 " 如何及时地从海量的原始 数 据 中 提 取 更 多 #更 好 的 信 息 !为 企 业 的 决 策 分 析 服 务 !成 为 人 们一直关心的问题 " 在这种情况下 ! 数据仓库技术应运而生 " 数 据仓库能把企业决策所需的信息从企业原始数据中分离出来! 把分散的 # 难以访问的原始操作数据转化为集中统一 # 随时可用 的 信 息 !实 现 了 对 信 息 合 理 #全 面 而 高 效 的 管 理 !因 此 很 快 在 金 融 #证 券 #保 险 等 联 机 事 务 处 理 密 集 型 行 业 得 到 广 泛 的 应 用 !取 得了较好的效益 " 随着数据仓库技术应用的不断拓展 ! 元数据开 始成为企业信息综合管理的关键 ! 元数据管理越来越引起人们 的重视 " 元数据及其管理是数据仓库系统的核心部件 ! 是内部技术 人员开发与维护数据仓库的蓝图 ! 是商业终端用户导航数据仓 库以及定位有用信息的路标 " 在一个数据仓库项目中 ! 保证元数 据的统一 # 有效和规范的管理是整个项目成功的关键所在 " 因此 对元数据及其管理的研究具有较高的实用价值 " " 数据仓库中元数据的若干问题 "#! 关于元数据的含义 长期以来 ! 由于元数据本身较强的实践性 ! 元数据这个概念 的定义很少得到研究者们的关注 ! 对于元数据的理解和认识也 就停留 在 对 $%&’& &()*’ %&’& % 这 个 词 的 粗 糙 翻 译 上 ! 谈 到 元 数 据 时 ! 几乎无一例外地将其解释为 $ 关于数据的数据 %" 一句话 ! 看 似简单明了 ! 实质上却没有什么内容 " 随着数据仓库技术应用的不断拓展 ! 人们逐步认识到元数 据在数据仓库中的重要性 ! 从而开始对元数据进行理论上的研 究 " 从目前给出的对元数据的定义来看 ! 大多是面向特定的应 用 ! 尤其是数据密集型应用 ! 如地理信息系统 ! 多媒体系统 ! 数据 挖掘系统等 " 面向应用的元数据定义并不能刻画元数据的真正 内涵 " 理解元数据的含义不应只局限于具体的应用 ! 而应从狭义 和广义两个角度来把握 " 从狭义上理解 ! 元数据是描述基础信息 内容对象的数据 & 工具 ’( 从广义上理解 ! 元数据是一种基本信息 组织方法 ! 为数据仓库应用系统各个层次的内容提供规范的定 义 # 描述 # 交换和解析机制 ! 为分布的 ! 多种和多层内容构成的数 据仓库应用系统提供互操作和整合的纽带 ! 为计算机智能地识 别 # 处理 # 集成各种信息内容 # 信息过程和信息系统提供工具 " "#" 关于元数据的分类 对数据仓库的元数据进行分类是对其进行有效管理的首要 前提 " 从不同的角度出发可以将数据仓库的元数据分成不同的 类别 ! 下面给出几种比较典型的分类方法 " 从元数据是关于数据仓库系统中基础数据的还是关于数据 处理过程的这个角度出发 ! 可以将数据仓库元数据分为基础数 据的元数据和数据处理的元数据 " 基础数据的元数据包含了数 据仓库系统中关于数据源 # 数据仓库和数据集市的结构信息 ( 数 据 处 理 的 元 数 据 包 含 了 数 据 装 载 #清 洗 #更 新 #分 析 和 管 理 的 信 息" 从元数据的功能是实现数据存取还是数据获取这个角度出 发 ! 数据仓库元数据又可以分为前仓元数据和后仓元数据 " 从数据仓库系统用户这个角度出发 ! 数据仓库元数据又可 以分为商业元数据和技术元数据 " 商业元数据是为系统最终用
!
户服务的 ! 目的是使用户能够理解系统各项操作以便更好地应 用数据仓库系统为其服务 ( 技术元数据是为数据仓库系统管理 员和系统应用开发人员服务的 ! 目的是使数据仓库的开发和维 护人员能够更好地进行各项操作 " 而从对元数据内涵认识和理解不同这个角度出发 ! 有的学 者还提出将元数据分为狭义元数据和广义元数据 " 狭义元数据 是指描述数据的内容 # 质量 # 环境及数据的一些其他特色的数 据 ( 广义元数据是指实现对数据的描述 # 转换 # 操作 # 管理的数据 和知识 " 目前 ! 业界大多数将数据仓库系统的元数据按照系统用户 的不同分为商业元数据和技术元数据两类 " "#$ 关于元数据的生命周期 在数据仓库系统中 ! 元数据的生命周期可分为三个基本阶 段 ! 即收集 # 维护和配备 " 这三个阶段相互促进 ! 使元数据在数据 仓库环境中发挥重要作用 " 元数据收集阶段的任务是识别元数据并将其收入元数据库 中 " 在适当时间收集适当的元数据是成功实施元数据驱动的数 据仓库的基础 " 要达到较高的准确性 ! 元数据的收集必须尽可能 自动化 " 但由于对数据仓库有用的元数据包含各种不同类型的 内容 ! 从物理结构数据到逻辑模型数据 ! 再到企业的使用情况和 业务规则 " 这些类型中的每一类都有自己的元数据收集策略 ! 有 的可以在某种程度上自动化 ! 有的则要由人工来完成 " 在维护阶段中 ! 元数据必须紧跟实际情况的变化 " 例如 ! 如 果关系表的结构发生了变化 ! 存入的有关该表的元数据也需要 及时更新以反映这种变化 " 确保元数据准确并维护良好的唯一 方法就是尽可能使维护过程自动化 " 元数据的配备阶段是向用户提供形式适当的元数据和适用 的工具 ! 这是在收集和维护元数据中所付出的代价就要形成成 果的阶段 " 在数据仓库环境中 ! 不同的用户 & 包括数据仓库开发 人员 # 仓库维护人员和最终用户 ’ 在使用内容和方法上存在较大 差异 ! 因此应为不同用户配备不同形式的元数据 " 成功配备元数 据的关键之一在于正确地使元数据与每一类用户的特定需求相 匹配 " 把适当的元数据提供给适当的用户 ! 对数据仓库工作的成 功极为重要 " 具体实现时可能要针对不同的用户采用不同的工 具 ! 但这些不同的工具应采用同一元数据库来存储元数据 " $ 数据仓库中元数据管理的若干问题 $#! 关于元数据的管理结构 目前 ! 数据仓库系统主要有三种典型的元数据管理结构 ! 即 集中结构 # 分散结构和邦联结构 " 在数据仓库的管理和使用等方 面 ! 每一种管理结构都具有自己的优势和缺陷 " &$ ’ 集中结构 " 其基本思想是建立统一的元数据模型 ! 用该 模型定义和管理各种元数据 ! 并将所有元数据集中存储在中心 元数据库中 " 所有工具和数据仓库直接访问中心元数据库 ! 而不 局部存储和管理元数据 " 这种结构的优点是元数据全局可用 ! 无 需元数据交换机制 ( 缺点是对中心元数据库维护复杂 ! 访问速度 慢 ! 工具不具有自治性 " 对于大多数中等规模的组织 ! 这种结构 可以满足元数据管理的需要 " &! ’ 分散结构 " 为了解决中心元数据库管理结构存在的缺 陷 ! 目前大多数数据仓库系统中采用一种基于交换机制的分散 式元数据管理结构 " 这种管理结构通过建立相应的元数据交换 标准 ! 使得不同数据仓库工具能够使用不同的数据模型和不同
1(
福建Biblioteka 电脑!""#年第 $$ 期
的表示形式 ! 而这些工具之间可以通过元数据交换标准进行连 接和通信 " 这种管理结构的最大优点是不同工具可以高度自治 地访问局部元数据库 ! 提高了访问速度 ! 但系统需要提供元数据 交换机制来满足不同局部元数据库之间的互操作和连接等问 题 ! 相应地增加了系统的负担 ! 另外这种管理结构使得数据和元 数据分散在多个系统中 ! 增大了对它们协调和管理的难度 " #% $ 邦联结构 % 这种结构是前面两种结构的折衷 ! 结合了前 面两种结构的优点 ! 比较适合数据仓库环境中的元数据管理 " 每 个工具拥有自己的元数据库 ! 因而支持快速访问和自治 ! 并提供 与共享元数据库的交换接口 ! 共享元数据库管理的所有共享元 数据 " 局部元数据库可以采用异构的表示形式 ! 而共享的元数据 库必须采用统一的元数据表示表示形式 ! 如基于标准的元数据 模型 &&’( 或 )*( $ 或自定义模型 % 邦联结构的优点是保护了元 数据库的自治性和异构性 ! 每个局部元数据库自己确定需要导 出哪些元数据到共享的元数据库中 ! 缺点是元数据库的结构比 较松散 ! 元数据导航较为复杂 % !"# 关于元数据管理的标准化 元数据管理之所以困难 ! 一个很重要的原因就是缺乏统一 的标准 % 在这种情况下 ! 各公司的元数据管理解决方案各不相 同 % 近 几 年 ! 随 着 元 数 据 联 盟 (+) &(,-. +.-. )/.01-1/2$ 的 开 放 信 息 模 型 &’( &&3,2 ’24/56.-1/2 (/7,0 $ 和 &(8 组 织 的 公 共 仓 库模型 )*( &)/66/2 *.5,9/:;, (/7,0 $ 标准的逐 渐 完 善 ! 以 及 (+) 和 &(8 组织的合并 ! 为数据仓库厂商提供了统一的标准 ! 从而为元数据管理铺平了道路 % !"#$% 的 &’# 模型 (+) 成立于 $<<# 年 ! 是一个致力于 建 立 与 厂 商 无 关 的 ’ 不 依 赖 于 具 体 技 术 的 企 业 元 数 据 管 理 标 准 的 非 赢 利 技 术 联 盟 !该 联盟有 $#= 多个会员 ! 其 中 包 括 微 软 和 ’>( 等 著 名 软 件 厂 商 " $<<< 年 ? 月 (+) 接受了微软的建议 ! 将 &’( 作为元数据标准 " &’( 的目的是通过公共的元数据信息来支持不同工具和系 统之间数据的共享和重用 " 它涉及了信息系统 & 从设计到发布 $ 的各个阶段 ! 通过对元数据类型的标准描述来达到工具和知识 库之间的数据共享 " &’( 所声明的元数据类型都采用统一建模 语 言 @(A 进 行 描 述 ! 并 被 组 织 成 易 于 使 用 ’ 易 于 扩 展 的 多 个 主 题 范 围 !这 些 主 题 范 围 包 括 分 析 与 设 计 ’对 象 与 组 件 ’ 数 据 库 与 数据仓库 ’ 业务工程 ’ 知识管理等 " 虽然 &’( 标准并不是专门针对 数 据 仓 库 的 ! 但 数 据 仓 库 是 它 的 主 要 应 用 领 域 之 一 " 为 了 鼓 励 工 具 开 发 商 采 用 &’( !(+) 提出的 &’( 主要依赖于被 广 泛 接 受 的 工 业 标 准 ( 采 用 @(A 作 为 基 本 的 描 述 模 型 ! 使 用 B(A 作 为 元 数 据 的 交 换 标 准 ! 采 用 CDA 进行数据查询 % 目前市场上基于该标准的元数据管理工具 已经比较成 熟 ! 例 如 微 软 的 E,3/;1-5F 和 )G 的 E,3/;1-5F 均 采 用 了 &’( 标准 % ("&#) 组织的 %*# 模型 &(8 是 一 个 拥 有 #== 多 会 员 的 国 际 标 准 化 组 织 ! 著 名 的 )&E>G 标准即出自该组织 % 公共仓库元模型的主要目的是在异 构环境下 ! 帮助不同的数据仓库工具 ’ 平台和元数据库进行元数 据交换 % !==$ 年 % 月 !&(8 颁布了 )*( $H= 标准 % )*( 模型既 包括元数据存储 ! 也包括元数据交换 ! 它是基于以下三个工业标 准 制 定 的 (IJK @(A ( 它 对 )*( 模 型 进 行 建 模 ) I!L (&M & 元 对 象 设施 $( 它是 &(8 元模型和元数据的存储标准 ! 提供在异构环境 下 对 元 数 据 库 的 访 问 接 口 ) I%L B(’ &B(A 元 数 据 交 换 $( 它 可 以 使元数据以 B(A 文件流的方式进行交换 % )*( 为数据仓库和商业智能 &>’ $ 工具之间共享元数据 ! 制 定了一整套关于语法和语义的规范 % 它主要包含以下四个方面 的 规 范 ( IJL )*( 元 模 型 &(,-. (/7,0 $( 描 述 数 据 仓 库 系 统 的 模 型 ) I!L )*( B(A ()*( 元 模 型 的 B(A 表 示 ) I%L )*( +N+ ( 参考文献