大数据业务--数据仓库与数据挖掘
大数据业务--数据仓库与数据挖掘
商业智能应用的基础–全方位数据整合
商业智能系统不论其呈现给用户的应用面为哪种形式，不论其采用的技术为MDM (Master Data Management)、动态实时分析(OLAP)、数据挖掘(Data Mining) 等，不论其数据架构为数据仓库(Data Warehouse)、数据集市(Data Mart)或者Hadoop，该应用系统整体架构的最底层必为数据整合(ETL) 的机制。有些小型或简单的BI项目会采用Hard Code方式，以程序、批处理指令集搭配系统调度来实施数据整合；一旦系统扩充愈加复杂或遭遇系统快速变更、新增功能时，则因缺乏弹性，导致BI应用效益较为底下，甚至沦为不再更新的「固有系统」。因此一套数据整合平台是BI系统持续营运的必要条件。
导入全方位数据整合平台，发挥BI极致效益
工欲善其事，必先利其器。Trinity是一套可充分支持BI系统且助其发挥极致效益的数据整合平台，具备下列优势：
●易学易用、强大且完整的功能，缩短导入与变更开发时间
Trinity提供简易GUI与强大的功能模块，简化开发过程、降低开发成本，进而缩短系统导入与变更时的上线时间。
●高弹性扩充架构，满足快速变动的业务需求
通过内嵌组件plug-in，Trinity用户可依需求定制开发Java、C+等组件，扩充系统功能，让系统的应用更具弹性以迅速反应业务需求，提升整体绩效。
●首创工作排程管理整合，提供End-to-End全方位作业控管
Trinity独家内建工作排程管理系统，将复杂的数据整合工作流程，以创新的分布式架构执行，并透过易学易用的GUI轻松进行繁复的流程设计及大量作业的维运管理。此外，BI系统的作业从底层源数据汇整，直到前端报表产出，虽然横跨多套AP或程序，实应视为一体。Trinity的流程管理在具体实施时，可涵盖End-to-End(源数据汇总至最终报表输出)作业的整体流程控管，如下图。
●无缝连接关系数据库与Hadoop，快速导入BigData分析应用
近几年BigData成为显学，但如何导入BigData应用与企业数据分析，却因缺乏成熟的工具或应用软件，导致开发人员由摸索学习Hadoop开始、然后编写许多复杂的程序。为了协助企业加速导入BigData分析应用，Trinity提供BigData ETL管理，将Hadoop复杂的MapReduce处理程序纳入排程管理控管，不但增进管理性，更大幅减少程序开发而提升生产力。
此外，目前基于关系型数据的BI技术诸如OLAP、Mining等都已成熟，许多企业也已建立BI系统，在数据的分析应用端应符合现有需求，目前的困难是难以处理Big Data。通过简单易用的Big Data ETL作业，Trinity可将半结构与非结构化数据作为BI底层的新数据源，与既有的关系型数据一并汇总纳入企业数据仓库中，后面即可套用业界成熟的数据分析方案如下图。
云平台连锁酒店解决方案
由于经济趋缓，连锁酒店集团竞争日益激烈；为了提升竞争优势，故而相继导入IT技术，大额投资电脑硬件和软件系统、标准机房、专业人才来为酒店提供竞争力。相对的这些固定投资也大幅提升了酒店的成本，而随着IT技术日新月异，这样的军备竞赛势必持续下去；因此如何能够有效投资而致胜，遂成为酒店投资者重要的课题。
云平台集中式管理
迎接云计算、大数据趋势的来临，导入TrinityPMS基于云平台连锁酒店集团解决方案就是这个问题的最佳解答！单一数据库、数据中心的架构；为数据统一、管理、分析做好了长远储备，为连锁酒店做好了长期保持竞争优势的强大工具。这样的设计，量身定制中央管理系统才会更好的为连锁酒店制定业务标准化、制定管理控制、制定销售政策，达成下列绩效：
●定制以适合您的连锁酒店集团业务需要
●可缩放以适合您的连锁酒店集团功能大小
●可帮助您成为生产力、盈利更专业。
●真正统一集团控制，集团控制每一个分店使用功能及操作。
●真正数据统一，可以方便提供数据挖掘服务。
系统优势
1.平台云端化—降低整体成本TCO (Total Cost of Ownership)
●全集团只需要建立一个机房、技术人员只需维护一个机房。
●大幅减少硬件投入成本，用普通PC机器代替专业服务器。
●系统部署简单，技术人员不用去分店，就可以实现系统安装。
●硬件升级也只是添加PC机器，原来购买的机器继续使用，同时又提供了整体运算性能。
●软件升级，只需要集团机房升级，分店自动升级。
1 2.集中式管理—实现集团标准化管理
●房型集团标准化。
●房价集团标准化。
●工作流集团标准化运营。
●服务流程标准化。
1 3.单一数据中心设计—数据集中管理，一举免除同步、灾备与整合分析等难题
●很方便进行所有分店数据进行数据分析。
●集团统一会员。
●集团统一客历档案。
●集团统一消费数据。
●集团统一中央预定。
●集团可以集中查看经营情况或者进入分店查看。
1 4.集团权限控制—完善资安政策
●集团可以设置分店所有操作者权限。
●集团可以控制分店启用和停止。
●集团可以控制房型和房价。
●集团可以操作流程。
●集团可以控制报表的显示。
1 5.浏览器访问操作模式—实现维护简单
●采用浏览器访问操作模式，安装客户端变得及其简单。
●只要浏览器能访问，就可以使用系统了。
●分店不需要专业技术人员配置。
案例分享：一家50家分店连锁酒店集团
●业务需求
现有50台服务器放在分店使用，需要减少服务器投入；每个分店配置了专业技术人员，需要精简；会员只是统一了卡片，会员积分采用同步方式、稳定性很差；集团查看分店经营数据无法及时查看、审计，希望是通过同步方式，集团才能查看，并且集团无法统一控制所有分店权限；分店系统维护量大，需要安装客户端才能访问给自系统。
●解决方案
采用TrinityPMS 基于云平台连锁酒店集团解决方案，管理平台云端化，所有分店直接访问集团云服务器；一举解决客户的业务需求与现状问题。
●达成效益
1. 降低投资：50台服务器减少到10台云计算普通pc电脑
2. 降低人力：50人技术人员减少到8个专业技术人员。
3. 管理集中化与标准化：集团有效控制所有分店，包括数据、权限、审计、报表分析。
分析型客户关系管理系统
一般企业所建置的客户关系管理系统(CRM)是属于在线应用系统，可称之为操作型客户关系管理；另有一种客户关系管理是属于商业智能领域，将相关数据汇整后经由分析得出业务、营销所需之报表，以供管理者拟订决策，这就是分析型客户关系管理系统(ACRM)。诸如网站、卖场、大型通路商、银行信用卡部门等企业，拥有大量网络浏览或事务数据，若以一般OLAP产出报表，那只是简易的数据归纳罢了，其实不到分析层次；其后续分析乃由营销人员凭借业界实务经验而实施其计划，然后再作调整。我们是否能够作进阶的分析与应用呢？
UniMarketing提供企业智慧营销解决方案
UniMarketing提供企业就客户之行为(浏览、购买、购卡等)数据作深度的数据探勘(Data Mining)，进而遂行其后续之计划：
●建立预测模型
提供营销部门预测之结果以供其作决策，例如业界知名的卖场啤酒与尿布关联性、怀孕各阶段行为预测等案例。
●拟订相关营销计划
例如投放针对性客制化eDM、调整产品组合或售价、重新规划卖场货架摆放或动线、筛选最具价值客户群量身订定特定营销项目、信用卡授信与客户流失管理等等。
●成果追踪
追踪与检讨营销方案实施的成效，以便后续调整。
●实施模型调整
依营销结果调整模型，再精进营销分析与计划。
依据上述过程，UniMarketing客户关系管理模型探勘流程如下：
经由UniMarketing的建置，企业才能够有智慧的进行客户关系管理，而非凭借经验。根据业界相关
案例，Data Mining往往能够挖掘出超乎主事者经验的结果，这才是企业智慧的展现。
Basel法规遵循- 金融业信用风险评分系统
金融市场早已全球化，各国主管机关均认识到金融体系安全及稳定的保障，必须经由国际合作来解决；因此公司治理的角色在金融体系中日益重要，法规遵循则为公司治理项目中极其重要的一环。
基于Basel II的精神：管理及时化、分析数量化、风险管理独立化与揭露透明化，银行风险管理机制主要着重于信用、市场和作业风险；而以审慎的态度辨识风险且加以管理；有赖于完善的分析工具。独家提供UniRisk信用风险管理平台
UniRisk是一套易于操作、可以广泛应用在金融业的信用风险评分系统，相关系统留存轨迹及验证指标均符合Basel协议；于系统导入建立PD/LGD模型，提供下列：
授信准驳
债权回收预测
放款/应收款减损评估
差别定价
额度建议
等以风险为基础之客户关系管理功能。
电信业业务分析综合解决方案
TrinityTBS Telecom BI Suite
移动通信已是民众生活密不可分的一部份，也逐渐成为民生不可缺的基本需求。现今电信市场普及率极高且竞争益趋激烈，需求虽日新月异，但在产业未有大幅技术与应用创新之下，形成服务替代性大、客户对服务质量与价格异常敏感的情况。而业者如何在营运模式与营销手法上建立差异化服务，持续提供多元内容以有效维系客户忠诚度，就成为其竞争力的关键。
导入资料分析，创造营运优势
电信业者持续累积了大量应用系统与用户数据，其中蕴含了无限的商业价值。为了于前述的市场竞争中开创与保持优势，活化资料的资产成为致胜之道。藉由导入Trinity TBS Telecom BI Suite，将数据汇总分析，让管理人员及时获得有用的信息，以做出正确的判断；让信息应用角色从支持企业日常营运，提升为优化决策分析。透过工具的协助，直接分析经营数据，找出企业的优势与弱势，强化核心竞争能力。
TrinityTBS效益如下：
●免除人为耗时整理，各据点每日销售战报实时呈现。
●洞察业绩未达目标、客户流失、服务满意低落因素。
●掌握商品进货质量、库存周转、销售绩效整合信息。
●实时导入项目补贴、折扣、折让试算商品预估盈亏。
●汇总基地台证照、站台、工单、费用、电路等信息。
●归纳消费者服务付费交易，产生潜力重要客户名单。
TrinityTBS解决方案
TrinityTBS提供：
●动态实时(OLAP) 报表
分析的过程中，必需常使用不同角度来看个结果，并且可以在最短的时间内，将信息快速并精确呈现出来。
●自我服务(Self Service) 仪表板
免除信息人员为临时特定需求做开发或协助，系统管理者可轻松且快速经由自我服务，快速建立(easy-to-configure) 仪表板、审视关键绩效指针、执行动态枢纽分析与图表绘制。
●预测分析模型
透过数据探勘分析出不同价值等级或客户行为的属性及预测规则，可以让营销人员执行更精准的营销活动，每个营销活动都能更紧密的贴近会员客户的需求。
●弹性扩充架构
市场变化快速，分析的需求必须迅速因应。数据源数据的整合及分析采用具扩充架构的工具，足以满足业务变动的分析需求。
其模块功能如下：
销售业绩分析Sales Performance Analysis ●行动与固网业务每日战报
●区经理／门市／业务绩效排行
●消费者申办、停机与异动情况
●诈欺风险行为揭露
●退租评分与客户流失预测基地台维运分析Cell site Maintain Analysis ●站台生命周期管理
●厂商工程质量绩效
●站台涵盖范围分布
●电路设备使用状态
●站台维运费用比较
D evice进销存分析Device ERP Analysis
●通路／商品获利能力
●供货商进货质量评鉴
●库存周转与成本控管
●商品实时财务盈亏预估
●最佳商品组合协销预测
小额付费分析Micro Payment Analysis ●服务收益与拆帐比例
●消费者交易行为模式
●额度消费与潜在机会
●客户购买行为预测
●RFM客户忠诚度预测
企业移动决策支持解决方案
2000年我们进入互联网时代，2010年我们进入移动互联网时代，人们在生活中已经感受到智能手机和平板电脑带来的各种好处。而移动商务智融合了计算机技术、通信技术、互联网技术，可以让用户通过移动终端设备随时随地获取所需的业务数据及分析展现，实现决策分析无处不在的实时动态管理，成为了企业高层和基层员工辅助决策的有力工具。
企业移动决策支持解决方案
在企业决策支持方面，已有成熟的金融、电信、互联网、能源、零售、制造、政府等行业应用案例，能在IOS、Android、Blackberry等平台的各类平板电脑、智能手机为企业领导和管理层、高级分析人员提供移动商务智能解决方案，包括：
●各部门经营日周报综合
●KPI展现和深入交叉分析，重要数据分析
●整合多媒体和视频，批注和邮件分发。
除此之外，项目团队可以根据用户需求，订制开发，快速实施上线，并提供全方位后续客户服务。旨在为客户创造收入、增加利润、提高效率、规避风险。同时，企业可以藉由决策支持系统的建立，完成从管理视角的数据整合、管理、分析工作。
系统架构
解决方案整体架构主要分为数据收集整理、ETL、展现开发以及个性化推送四个模块。藉由优秀的数据管理工具Trinity，以及德昂移动商务智能平台，可以架设方便及时准确的移动管理驾驶舱。
功能与特点
●信息针对性
针对管理阶层与部门需求，制作各别化分析报表。
●传递及时性
由个性化推送功能，即时将信息主动传输至移动终端设备。
●使用便利性
持IOS、Android、Blackberry等跨平台系统，符合企业BYOD(Bring your own device)工作潮流。
●移动特性
支持各类平板电脑与智能手机等移动设备，让外勤人员或忙碌的管理阶层能充分利用时间，随时掌握最新信息。
●界面直观性
提供视觉化管理驾驶舱界面，以呈现丰富的报表。
新一代数据库云平台解决方案
云计算时代的大数据平台，不仅要以高性价比、高可扩展的硬件体系支撑PB级别，甚至ZB级别的海量结构化、半结构化以及非结构化的数据存储；同时还需要能够高速挖掘这些数据价值，为企业创造利润，真正实现「大数据=大价值」。洞悉此趋势，Pivotal與Trinity Data攜手合作，提供下列解决方案。
高性能数据分析解决方案（HPDA）
大数据时代，数据变成信息和知识的周期往往决定了企业核心业务的价值。如何最大程度缩短这一周期，已经成为提升企业核心业务价值的关键所在。
高性能数据分析方案（HPDA）利用Trinity JCS把传统的ETL周期从小时，分钟级别降低到秒级别；用户再通过Greenplum DB高效的海量数据分析挖掘能力，最大程度把业务数据转变成信息和知识的周期降到最低，实现真正意义的实时商业智能(BI)，提升企业的核心业务价值。
分析型数据库云
企业需要通过数据库云整合数据资产，对数据资产进行标准化。形成灵活扩展、易于变更、可管控的、可隔离的系统架构，实现支持标准开发、用户自服务、多元化开发多种应用支持模式。形成松耦合、可异构的基础数据和应用数据两级架构。
Pivotal 在VMWare虚拟化平台上，结合Chorus产品和Greenplum DB通过为不同需求创建数据沙箱，实现灵活，易于变更，高可扩展，可管控，可隔离，绿色环保的高效分析型数据库云平台，帮助应用实现解耦的同时，使企业可以驾驭自身数据资产，利用全新协作分析模式充分挖掘数据价值，全面提升企业数据信息管理能力。
新一代统一分析平台
需求：由于数据的快速增长，带来Big Data大数据的挑战，其中包括大量的半结构化和非结构化数据。在数据存在形态上，结构化、半结构化、非结构化数据常常需要转换后，才能进行数据分析和深度数据挖掘。
Greenplum统一分析平台（UAP）结合Greenplum DB和Greenplum Hadoop作为数据库云平台，采用Trinity BDM资料整合功能，为企业构建高效能分析型数据库云。客户可以以此平台为基础利用Greenplum行业和数学统计方面的专家，充分挖掘自身数据价值，实现数据资产从成本中心到利润中心的转变，以数据驱动业务。
特点：业界惟一可以同时解决结构化、半结构化、非结构化大数据挑战的分析平台。在不同数据形态之间可以并行传输和转换，轻松应对大数据挑战。
其他行业别应用解决方案
电信行业
●信令分析数据平台方案
●数据集市平台方案
金融行业
●数据分析云计算平台(DB Cloud ODS & EDW & DM)
●Big Data历史数据查询系统
●实时(Real-Time)管理驾驶舱
政府、制造、零售行业
●基于数据分析云(DB Cloud)的商业智能(BI)系统
●实时(Real-Time)全中文搜索查询系统
●Greenplum Hadoop大数据分析平台
银行业商业智能一站式服务平台
在当今激烈的金融行业竞争中，“以科技引领服务”的趋势将会越来越明显，基于商业智能技术的创新服务，尤其是资源相对较少的中小型银行借以突破现况、塑造优势的秘诀。
一站式服务平台展現数据价值，创造业务优势
一站式数据综合服务平台采用一体化的设计思路，将数据平台、数据应用及数据处理实现了一体化的集成，以产品的形式，提供企业了一整套端到端的、实现数据到信息到知识到价值的集成的解决方案。高效、实用、快捷部署及便捷扩展性，将为企业赢得时间优势和市场先机，是专门针对中小银行、农商行等银行金融企业提供的数据服务解决方案。系统主要功能模块包括：
●基础数据平台：数据仓库
●业务应用：统一报表中心、领导驾驶舱、统一监管报送、客户关系管理、绩效考核等。
特点说明
一站式服务平台是总结长期的行业(特别是银行业)经验所积累之一整套逻辑数据模型、业务分析模型与整体实施方法论以及运营管理规范，且经实践证明(Best Practice)的完整的解决方案。
●标准的企业级数据仓库实施方法论
提供标准、可扩展的数据仓库实施方法论，其中涵盖从业务探索、数据探索、模型设计、架构设计到ETL实施、应用开发的所有环节。同时也包括一套标准的数据仓库实施规范、文档模板、标准交付件等。
●银行企业级数据仓库逻辑数据模型（BS_LDM）
此数据模型已经在银行业的数据仓库实施过程中得到了实际应用，同时支持了大量的银行分析型应用。
●通用的银行业务分析模型（BS_CBL）
提供一套快速响应和支撑银行分析性业务需求的通用数据模型（Banking Solution Common Business Layer）,通过数据分层、汇总及结合指标体系的方式，对银行主数据进行基于分析和应用的逻辑处理和组织，实现主数据、指标（如总账指标）等的快速响应和复用，极大降低开发工作量、提升数据质量及指标的一致性。
BS_CBL可以作为企业常规管理应用（如报表、绩效管理、关键指标体系、监管报送等）的业务支撑层及标准数据接口，数据来源可以是业务系统，也可以是任何数据平台。
●数据仓库开发及运营管理共9大类规范
因应产业的快速变动与竞争，作为企业的基础信息平台，后续的运营、管理、支撑工作更是数
据仓库充分发挥价值的关键。提供一整套从环境、开发规范、流程到数据质量、项目质量的规范体系，这套体系包括环境建设、组织建设、流程建设，可以帮助客户在业内经验的基础上快速、有效地建立起整个系统运营支撑体系。
●完整的端到端解决方案
作为企业信息应用的基础平台，数据仓库重点的是要支撑企业末来不断发展的应用，包括内部管理、外部监管、市场营销等。这其中需要整个系统架构、模型等要有良好的扩展和支撑能力。
除了基础的数据仓库平台，还提供包括企业报表中心、银行业绩效管理及考核（PMM）、高管系统等应用解决方案。实际的数据端到端的完整的解决方案保证了平台建设的扩展能力。
系统架构图：
快速数据查询解决方案
商务智能系统面临的最大的问题—查询速度
● BI调查报告（BI Survey9）(2010):为什么BI项目会失败？位列第一的原因是“查询速度太
慢”
● 2010 TDWI最佳实践“45% 的查询被投诉太慢，并成了问题之首”
以上二者揭露了数据处理速度对BI系统的挑战，这个事实在大数据潮流下更显重要，令从业人员无所回避。
世界上最快的查询数据仓库
Vectorwise以崭新的列式数据库架构，根本性解决查询速度，是交互式报表，数据分析和商务智能所
适用的最快的数据库；提供业界经由极少的数据库调优、极少的硬件投资与最快捷简单的部署，达成BI系统极致的效益。
TPC--‐H 1TB数据测试
系统特点
1.不再需要聚合数据
2.更快的速度，更少的硬件需求
3. 与传统数据库架构的比较
4.技术优势领先竞争对手4年
Vectorwise极速的秘诀
数据仓库的数据质量
（一）数据质量的衡量标准、好处和问题 数据质量的好坏是决定一个数据仓库成功的关键，但是需要从那些方面衡量数据仓库中数据的质量呢?可以从下列方面衡量系统中的数据质量： 准确性：存储在系统中的关于一个数据元素的值是这个数据元素的正确值； 域完整性：一个属性的数值在合理且预定义的范围之内； 数据类型：一个数据属性的值通常是根据这个属性所定义的数据类型来存储的； 一致性：一个数据字段的形式和内容在多个源系统之间是相同的。 冗余性：相同的数据在一个系统中不能存储在超过一个地方； 完整性：系统中的属性不应该有缺失的值； 重复性：完全解决一个系统中记录的重复性的问题； 结构明确：在数据项的结构可以分成不同部分的任何地方，这个数据项都必须包含定义好的结构； 数据异常：一个字段必须根据预先定义的目的来使用； 清晰：一个数据元素必须有正确的定义，也就是需要一个正确的命名； 时效性：用户决定了数据的时效性； 有用性：数据仓库中的每一个数据元素必须满足用户的一些需求； 符合数据完整性的规则：源系统中的关系数据库中存储的数据必须符合实体完整性及参考完整性规则。 既然数据质量是成功的关键，那么，提高数据质量有那些好处： 对实时信息的分析：高质量的数据提供及时的信息，是为用户创造的一个重要益处；
更好的客户服务：完整而准确的信息能够大大提高客户服务的质量； 更多的机会：数据仓库中的高质量数据是一个巨大的市场机会，它给产品和部门之间的交叉销售打开了机会的大门； 减少成本和风险：如果数据质量不好，明显的风险就是战略决策可能会导致灾难性的后果。 提高生产率：用户可以从真个企业的角度来看待数据仓库的信息，而全面的信息促使流程和真个操作更顺畅， 从而提高生长率； 可靠的战略决策制定：如果数据仓库的数据是可靠而高质量的，那么基于这些信息进行的决策就是好的决策。 在数据处理过程中，会有那些数据质量问题： 字段中的虚假值 数据值缺失 对字段的非正规使用 晦涩的值 互相冲突的值 违反商业规则 主键重用 标志不唯一 不一致的值 不正确的值 一个字段多种用途
数据仓库与数据挖掘课后习题答案
数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web 使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库？数据仓库的特点主要有哪些？ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支
持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 2）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 3）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 4）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 5）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构 c.单独的数据集市体系结构 d.分布式数据仓库结构
数据仓库数据库设计的心得总结
数据仓库数据库设计的心得总结 数据仓库是企业商业智能分析环境的核心，它是建立决策支持系统的基础。一个良好的数据仓库设计应该是构建商业智能和数据挖掘系统不懈的追求。下面把数据仓库数据库设计的心得做一小结。 一透彻理解数据仓库设计过程 商业智能和数据挖掘归根到底是“从实践中来，到实践中去”。也就是说现实需求决定系统需求，业务数据决定系统构架，最终使用的时候又必须作用于现实需求，同时通过决策的行为影响业务。那么可以把数据仓库的设计看做是前一部分，即“从实践中来”，数据仓库的应用可以看做是“到实践中去”。把“从实践中来”这个过程进行抽象，数据仓库的设计就是“客观世界→主观世界→关系世界”的过程。 在前面几节完成了6个任务：选择被建模主题的商业过程、确定事实表的粒度、区分每一个事实表的维和层、区分事实表的度量、确定每一个维表的属性、在D BMS中创建和管理数据仓库。实际上这些任务都可以归结到从客观世界到关系世界的过程。那么把这个过程再进行归纳，可以得到如图3-61所示的综合了模型、方法和过程的示意图。 图3-61 数据仓库设计过程的模型和方法示意图 二把握设计的关键环节
如果将时间、精力、金钱和人事优先花在前面的20%，那么这20%会创造出80% 的价值。这就是有名的2/8原则。下面将介绍在数据仓库设计中，哪些因素是属于这20%的范围。 1．需求 需求分析在任何如见项目中都是最为重要的因素之一。企业模型是从企业的各个视点对企业数据需求及数据间关系的抽象。通过将企业模型映射到数据库系统，可以很快地了解现有数据库系统完成了企业模型中的哪些部分，还缺少哪些部分。然后再将企业模型映射到数据仓库系统，发现企业需要的（或可以构造的）主题。通过这样的过程完成对企业数据需求和现有数据的了解，达到明了原有系统和需要建设的主题域间共性的目的。 2．关键性能指标（KPI） 一般而言，一个决策支持系统最重要的就是要呈现决策数据。而KPI就是决策过程中要显示的数据结果的部分，如销售数量、销售金额、毛利和运费等数值部分的数据。这些KPI是通过与相关的维表进行连接而映射出来的。在分析星形模式时，往往要首先确定KPI。 3．信息对象 信息对象是指在每个分析过程中那些会影响到决策的因素。以销售分析为例，时间、产品、员工与客户就是影响决策的大因子，而每个因子又可以分离出多个分层结构，如时间可分为年、季度、月、周和日等，员工可分为年龄层、年龄、年薪层、年薪和员工所在城市等，也就是影响决策的详细因子。这些都是信息对象。从这里我们可以看出，每个大因子如时间、产品、员工与客户等就可以构成如时间维表、产品维表、员工维表与客户维表等。而时间维表又可分为年、季度和日等字段。在分析和设计这些信息对象组成的维度时，需要注意维的唯一性和公用性，千万不要在不同的主题中定义多个表示同一内容的维，如果有可能，一个维表要尽量被多个主题共享。 4．数据粒度 在数据仓库的每个主题中，都必须考虑事实数据的粒度。粒度的具体划分将直接影响到数据仓库中的数据量及查询质量。在数据仓库开始进行分析时。就需要建立合适的数据粒度模型，指导数据仓库设计和其他问题的解决。如果数据粒度定义不当，将会影响数据仓库的使用效果，使数据仓库达不到设计数据仓库的目的。 5．数据之间的联系 在数据仓库中，不同主题的数据之间的物理约束或许不再存在，但无论这些数据如何变化，要知道必须有一些“键”在逻辑上保持着不同数据之间的联系，这样
大数据仓库与大数据挖掘技术复习资料
数据仓库与数据挖掘技术复习资料 一、单项选择题 1.数据挖掘技术包括三个主要的部分（ C ） A．数据、模型、技术 B．算法、技术、领域知识 C．数据、建模能力、算法与技术 D．建模能力、算法与技术、领域知识 2.关于基本数据的元数据是指: ( D ) A.基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息； B.基本元数据包括与企业相关的管理方面的数据和信息； C.基本元数据包括日志文件和简历执行处理的时序调度信息； D.基本元数据包括关于装载和更新处理,分析处理以及管理方面的信息。 3.关于OLAP和OLTP的说法,下列不正确的是: ( A) A．OLAP事务量大,但事务内容比较简单且重复率高 B．OLAP的最终数据来源与OLTP不一样 C．OLTP面对的是决策人员和高层管理人员 D．OLTP以应用为核心，是应用驱动的 4．将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？( C ) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘5．下面哪种不属于数据预处理的方法？ ( D ) A.变量代换 B.离散化 C. 聚集 D. 估计遗漏值 6.在ID3 算法中信息增益是指（ D ） A.信息的溢出程度 B.信息的增加效益 C.熵增加的程度最大 D.熵减少的程度最大 7.以下哪个算法是基于规则的分类器 ( A ) A. C4.5 B. KNN C. Bayes D. ANN 8.以下哪项关于决策树的说法是错误的（ C ） A．冗余属性不会对决策树的准确率造成不利的影响 B．子树可能在决策树中重复多次 C．决策树算法对于噪声的干扰非常敏感 D．寻找最佳决策树是NP完全问题 9.假设收入属性的最小与最大分别是10000和90000，现在想把当前值30000映射到区间[0,1],若采用最大－最小数据规范方法，计算结果是（ A ）
数据仓库项目常见管理问题
1.项目管理问题 1．企业经历过两次失败的数据仓库建设，现在是第三次，人们普遍认为这次也将会失败。项目经理应该作些什么来消除人们对数据仓库的消极看法？ 2．企业的业务系统方，即OLTP方的工作人员对数据仓库方不配合，比如对数据仓库的源数据申请置之不理。项目经理应该如何来应付这种情况？ 3．企业的管理层变动较频繁，支持数据仓库的企业领导可能会离开，面对这种情况，项目经理应该如何应付？ 4．企业雇佣一家咨询公司来实现一个数据仓库，但是企业的CIO认为数据仓库的建设是对其职位和权威的挑战，不断给咨询人员和项目设置障碍。咨询人员应该如何来应付这种情况？ 5．企业管理层希望试验系统（原型系统）具有和生产系统相同级别的数据质量。项目经理应该如何做，才能让管理层相信，试验系统不必和生产系统具有相同级别的数据质量？ 6．用户部门领导对共享数据不配合或者只在表面上配合。他们希望能够控制谁能查看什么数据以及什么时候可以查看。数据仓库团队怎样才能让部门领导把数据的访问权共享出来？ 7．建立好的数据几乎满足所有的成功标准。但是企业的高级管理层对数据仓库的反应很冷淡。数据仓库团队应该如何应付这种情况？ 2.项目需求问题 1．数据仓库项目已经开发了6个月的时间，在项目的开发过程中，数据仓库团队发现业务源系统正在被重写，业务系统在不断的变化，一个新的系统开发出来预计只有8个月的寿命。数据仓库团队应该如何应付这种情况？ 2．源系统和数据仓库系统同期建设。但是源系统在不断的变化中，而且源系统的开发团队没有将变化告知数据仓库团队，数据仓库团队在测试过程中出现故障才发现这些变化。这种没有告知有可能是故意的。数据仓库团队应该如何来应付这种情况？ 3．数据仓库项目开始时，企业制定了一套有效的数据仓库目标。但是，随着时间的流逝，企业又制定了一些决策，采取了一些行动，这些决策和行动与最初的目标背道而驰。数据仓库团队应该如何应付这种情况? 4．数据仓库项目进展十分顺利，但是根本没有办法判断项目将来是否能够成功。要想为数据仓库确立一个完全合适的目标是不可能的。企业应该如何来面对这种状况？
《数据仓库数据平台与数据中台对比》
数据仓库数据平台与数据中台对比 在大数据时代，凡是AI类项目的落地，都需要具备数据、算法、场景、计算力四个基本元素，缺一不可。处理大数据已经不能仅仅依靠计算力就能够解决问题，计算力只是核心的基础，还需要结合不同的业务场景与算法相互结合，沉淀出一个完整的智能化平台。数据中台就是以云计算为数据智能提供的基础计算力为前提，与大数据平台提供的数据资产能力与技术能力相互结合，形成数据处理的能力框架赋能业务，为企业做到数字化、智能化运营。 目前，外界与业内很多人对于数据中台的理解存在误区，一直只是在强调技术的作用，强调技术对于业务的推动作用，但在商业领域落地的层面上，更多时候技术的发展和演进都是需要跟着业务走，技术的发展和进步需要基于业务方的需求与数据场景应用化的探索来反向推动。这个也就是为什么最近知乎、脉脉都在疯传阿里在拆“大中台”？个人猜想，原因是没有真正理解中台的本质，其实阿里在最初建设数据中台的目的主要是为了提升效率和解决业务匹配度问题，最终达到降本增效，所以说“拆”是假的，在“拆”的同时一定在“合”，“拆”的一个方面是企业战略布局层面上的规划，架构升级，如果眼界不够高，格局不够大，看到的一定只是表面；另一方面不是由于组织架构庞大而做“拆”的动作，而是只有这样才能在效率和业务匹配度上，做到最大利益化的解耦。
数据中台出现的意义在于降本增效，是用来赋能企业沉淀业务能力，提升业务效率，最终完成数字化转型。前一篇数据中台建设的价值和意义，提到过企业需要根据自身的实际情况，打造属于自己企业独有的中台能力。 因为，数据中台本身绝对是不可复制的，从BCG矩阵的维度结合各家市场资源、市场环境、市场地位以及业务方向来看，几乎所有企业的战略目标都是不一样的。如果，有人说能把中台卖给你、对于中台的解读只讲技术，不讲业务，只讲产品，不讲业务，不以结合企业业务目标来解决效率和匹配度为目的的都有耍流氓嫌疑。数据中台的使命和愿景是让数据成为如水和电一般的资源，随需获取，敏捷自助，与业务更多连接，使用更低成本，通过更高效率的方式让数据极大发挥价值，推动业务创新与变革。 为了进一步统一大家的认知，更加清晰的认识数据中台出现的意义，本篇按顺序介绍如下: ? ? ? ? 数据中台演进的过程数据仓库、数据平台和数据中台的概念数据仓库、数据平台和数据中台的架构数据仓库、数据平台和数据中台的区别与联系
数据仓库与数据挖掘试题
武汉大学计算机学院 20XX级研究生“数据仓库和数据挖掘”课程期末考试试题 要求：所有的题目的解答均写在答题纸上，需写清楚题目的序号。每张答题纸都要写上姓名和学号。 一、单项选择题（每小题2分，共20分） 1. 下面列出的条目中，（）不是数据仓库的基本特征。B A.数据仓库是面向主题的 B.数据仓库是面向事务的 C.数据仓库的数据是相对稳定的 D.数据仓库的数据是反映历史变化的 2. 数据仓库是随着时间变化的，下面的描述不正确的是（）。 A.数据仓库随时间的变化不断增加新的数据内容 B.捕捉到的新数据会覆盖原来的快照 C.数据仓库随事件变化不断删去旧的数据内容C D.数据仓库中包含大量的综合数据，这些综合数据会随着时间的变化不断地进行重新综合 3. 以下关于数据仓库设计的说法中（）是错误的。A A.数据仓库项目的需求很难把握，所以不可能从用户的需求出发来进行数据仓库的设计，只能从数据出发进行设计 B.在进行数据仓库主题数据模型设计时，应该按面向部门业务应用的方式来设计数据模型 C.在进行数据仓库主题数据模型设计时要强调数据的集成性 D.在进行数据仓库概念模型设计时，需要设计实体关系图，给出数据表的划分，并给出每个属性的定义域 4. 以下关于OLAP的描述中（）是错误的。A A.一个多维数组可以表示为（维1，维2，…，维n） B.维的一个取值称为该维的一个维成员 C.OLAP是联机分析处理 D.OLAP是数据仓库进行分析决策的基础 5. 多维数据模型中，下列（）模式不属于多维模式。D A.星型模式 B.雪花模式 C.星座模式 D.网型模式 6. 通常频繁项集、频繁闭项集和最大频繁项集之间的关系是（）。C A.频繁项集?频繁闭项集?最大频繁项集 B.频繁项集?最大频繁项集?频繁闭项集 C.最大频繁项集?频繁闭项集?频繁项集 D.频繁闭项集?频繁项集?最大频繁项集
数据仓库与数据挖掘-教学大纲
《数据仓库与数据挖掘》教学大纲 一、课程概况 课程名称：数据仓库与数据挖掘 英文名称：Data warehousing and data mining 课程性质：选修 课程学时：32 课程学分：2 授课对象：信息类的大学本科高年级学生 开课时间：三年级下学期 讲课方式：课堂+实验 主讲老师： 二、教学目的 本课程把数据视为基础资源，根据软件工程的思想，总结了数据利用的历程，讲述了数据仓库的基础知识和工具，研究了数据挖掘的任务及其挑战，给出了经典的数据挖掘算法，介绍了数据挖掘的产品，剖析了税务数据挖掘的案例，探索了大数据的管理和应用问题。 三、教学任务 完成《数据仓库与数据挖掘》教材内容，及教学计划中的互动实践内容，另有学生自主选题的大作业、选作的论文报告。32学时：课堂24、实验2、课外2、研讨4学时。 四、教学内容的结构 课程由9个教学单元组成，对应于《数据仓库与数据挖掘》的内容。 第1章数据仓库和数据挖掘概述 1.1概述1 1.2数据中心4 1.2.1关系型数据中心 1.2.2非关系型数据中心
1.2.3混合型数据中心（大数据平台）1.3混合型数据中心参考架构 第2章数据 2.1数据的概念 2.2数据的内容 2.2.1实时数据与历史数据 2.2.2时态数据与事务数据 2.2.3图形数据与图像数据 2.2.4主题数据与全部数据 2.2.5空间数据 2.2.6序列数据和数据流 2.2.7元数据与数据字典 2.3数据属性及数据集 2.4数据特征的统计描述22 2.4.1集中趋势22 2.4.2离散程度23 2.4.3数据的分布形状25 2.5数据的可视化26 2.6数据相似与相异性的度量29 2.7数据质量32 2.8数据预处理32 2.8.1被污染的数据33 2.8.2数据清理35 2.8.3数据集成36 2.8.4数据变换37 2.8.5数据规约38 第3章数据仓库与数据ETL基础39 3.1从数据库到数据仓库39 3.2数据仓库的结构39 3.2.1两层体系结构41 3.2.2三层体系结构41 3.2.3组成元素42 3.3数据仓库的数据模型43 3.3.1概念模型43 3.3.2逻辑模型43 3.3.3物理模型46 3.4 ETL46 3.4.1数据抽取47 3.4.2数据转换48 3.4.3数据加载49 3.5 OLAP49 3.5.1维49 3.5.2 OLAP与OLTP49 3.5.3 OLAP的基本操作50
浅谈数据仓库中的元数据管理技术
浅谈数据仓库中的元数据管理技术 孙力君仇道霞方峻峰宋楠 山东省烟草公司信息中心 摘要：数据仓库是数据库的发展方向之一，对企业管理和决策支持起着重要的辅助作用。简要介绍了数据仓库和元数据的基本概念，重点阐述了元数据的概念、作用、CWM标准、来源，并就元数据具体应用进行了初步的研究和探讨。 关键词：数据仓库；元数据； 1. 引言 随着市场竞争的越来越激烈，烟草行业的信息化建设不断的深入发展，全行业形成了“以信息化带动烟草行业现代化建设”的基本共识，明确了“统一标准、统一平台、统一数据库、统一网络”，逐步实现系统集成、资源整合、信息共享的信息化建设总体要求，走过了“由基础性向应用性、由局部性向全局性、由分散性向集中性建设”的三个转变历程，初步形成了“数字烟草”的行业信息化建设格局，既对行业数据中心的建设提出了迫切的要求，也为行业数据中心建设奠定了坚实的基础。 随着数据库技术尤其是数据仓库技术的发展，人类能更容易获得自己需要的数据和信息，由于元数据是数据仓库中非常重要的组成部分，因此讨论和研究元数据在数据仓库中的作用和应用，具有非常重要的意义。 元数据管理是山东烟草数据中心建设的重要组成部分，元数据管理平台为用户提供高质量、准确、易于管理的数据，它贯穿数据中心构建、运行和维护的整
个生命周期。同时，在数据中心构建的整个过程中，数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节，均需要通过相应的元数据的进行支撑。元数据管理的生命周期包括元数据获取和建立、元数据的存储、元数据浏览、元数据分析、元数据维护等部分。 通过元数据管理，形成整个系统信息数据资的准确视图，通过元数据的统一视图，缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据，梳理业务元数据之间的关系，建立信息数据标准完善对这些数据的解释、定义，形成企业范围内一致、统一的数据定义，并可以对这些数据来源、运作情况、变迁等进行跟踪分析。完善数据中心的基础设施，通过精确把握经营数据来精确把握瞬息万变的市场竞争形式，使山东烟草在市场竞争中保持优势。 总的来说，元数据管理平台集成相关的元数据，形成企业的全局数据视图，提供企业级共享元数据的平台，是烟草业务系统的基础设施，对业务系统的发展、应用和数据质量的提升有着深远影响。 2.数据仓库概述 目前有关数据仓库的概念有多种，其中最经典的，引用最为广泛的定义是W.H.Inmon在《Building the Data Warehouse》一书中给出的，他指出：“数据仓库是面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理层的决策过程”。[1] 之所以要引入数据仓库，是因为随着信息时代的到来，如何从大量已存在的数据中提取出自己所感兴趣的信息并进行分析和预测越来越成为企业管理者和决策者所关心的问题。为了更好的进行管理和决策，许多企业都选择了数据仓库，利用数据仓库可以对各种源数据进行抽取、清理、加工
数据仓库与数据挖掘习题
数据仓库与数据挖掘习题 1.1什么是数据挖掘？在你的回答中，强调以下问题： (a) 它是又一个骗局吗？ (b) 它是一种从数据库，统计学和机器学习发展的技术的简单转换吗？ (c) 解释数据库技术发展如何导致数据挖掘 (d) 当把数据挖掘看作知识发现过程时，描述数据挖掘所涉及的步骤。 1.2 给出一个例子，其中数据挖掘对于一种商务的成功至关重要的。这种商务需要什么数据挖掘功能？他们能够由数据查询处理或简单的统计分析来实现吗？ 1.3 假定你是Big-University的软件工程师，任务是设计一个数据挖掘系统，分析学校课程数据库。该数据库包括如下信息：每个学生的姓名，地址和状态（例如，本科生或研究生），所修课程，以及他们累积的GPA（学分平均）。描述你要选取的结构。该结构的每个成分的作用是什么？ 1.4 数据仓库和数据库有何不同？它们有那些相似之处？ 1．5简述以下高级数据库系统和应用：面向对象数据库，空间数据库，文本数据库，多媒体数据库和WWW。 1．6 定义以下数据挖掘功能：特征化，区分，关联，分类，预测，聚类和演变分析。使用你熟悉的现实生活中的数据库，给出每种数据挖掘的例子。 1．7 区分和分类的差别是什么？特征化和聚类的差别是什么？分类和预测呢？对于每一对任务，它们有何相似之处？ 1．8 根据你的观察，描述一种可能的知识类型，它需要由数据挖掘方法发现，但未在本章中列出。它需要一种不同于本章列举的数据挖掘技术吗？ 1. 9 描述关于数据挖掘方法和用户交互问题的三个数据挖掘的挑战。 1. 10 描述关于性能问题的两个数据挖掘的挑战。 2.1 试述对于多个异种信息源的集成，为什么许多公司宁愿使用更新驱动的方法（构造使用数据仓库），而不愿使用查询驱动的方法（使用包装程序和集成程序）。描述一些情况，其中查询驱动方法比更新驱动方法更受欢迎。 2.2 简略比较以下概念，可以用例子解释你的观点 （a）雪花模式、事实星座、星型网查询模型 （b）数据清理、数据变换、刷新 （c）发现驱动数据立方体、多特征方、虚拟仓库 2.3 假定数据仓库包含三个维time，doctor和patient，两个度量count 和charge，其中charge 是医生对一位病人的一次诊治的收费。 （a）列举三种流行的数据仓库建模模式。 （b）使用（a）列举的模式之一，画出上面数据仓库的模式图。 （c）由基本方体[day，doctor，patient]开始，为列出2000年每位医生的收费总数，应当执行哪些OLAP操作？ （d）为得到同样的结果，写一个SQL查询。假定数据存放在关系数据库中，其模式如下：fee（day，month，year，doctor，hospital，patient，count，charge） 2.4 假定Big_University的数据仓库包含如下4个维student, course, semester和instructor，2个度量count和avg_grade。在最低的概念层（例如对于给定的学生、课程、学期和教师的组合），度量avg_grade存放学生的实际成绩。在较高的概念层，avg_grade存放给定组合的
数据仓库与数据挖掘学习心得
数据仓库与数据挖掘学习心得 通过数据仓库与数据挖掘的这门课的学习，掌握了数据仓库与数据挖掘的一些基础知识和基本概念，了解了数据仓库与数据库的区别。下面谈谈我对数据仓库与数据挖掘学习心得以及阅读相关方面的论文的学习体会。 《浅谈数据仓库与数据挖掘》这篇论文主要是介绍数据仓库与数据挖掘的的一些基本概念。数据仓库是支持管理决策过程的、面向主题的、集成的、稳定的、不同时间的数据集合。主题是数据数据归类的标准，每个主题对应一个客观分析的领域，他可为辅助决策集成多个部门不同系统的大量数据。数据仓库包含了大量的历史数据，经集成后进入数据仓库的数据极少更新的。数据仓库内的数据时间一般为5年至10年，主要用于进行时间趋势分析。数据仓库的数据量很大。 数据仓库的特点如下： 1、数据仓库是面向主题的； 2、数据仓库是集成的，数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出来，进行加工与集成，统一与综合之后才能进入数据仓库； 3、数据仓库是不可更新的，数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询； 4、数据仓库是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求，它在商业领域取得了巨大的成功。
作为一个系统，数据仓库至少包括3个基本的功能部分：数据获取：数据存储和管理；信息访问。 数据挖掘的定义：数据挖掘从技术上来说是从大量的、不完全的、有噪音的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。 数据开采技术的目标是从大量数据中，发现隐藏于其后的规律或数据间的的关系，从而服务于决策。数据挖掘的主要任务有广义知识；分类和预测；关联分析；聚类。 《数据仓库与数据挖掘技术在金融信息化中的应用》论文主要通过介绍数据额仓库与数据挖掘的起源、定义以及特征的等方面的介绍引出其在金融信息化中的应用。在金融信息化的应用方面，金融机构利用信息技术从过去积累的、海量的、以不同形式存储的数据资料里提取隐藏着的许多重要信息，并对它们进行高层次的分析，发现和挖掘出这些数据间的整体特征描述及发展趋势预测，找出对决策有价值的信息，以防范银行的经营风险、实现银行科技管理及银行科学决策。 现在银行信息化正在以业务为中心向客户为中心转变6银行信息化不仅是数据的集中整合，而且要在数据集中和整合的基础上向以客为中心的方向转变。银行信息化要适应竞争环境客户需求的变化，创造性地用信息技术对传统过程进行集成和优化，实现信息共享、资源整合综合利用，把银行的各项作用统一起来，优势互补统一调配各种资源，为银行的客户开发、服务、综理财、管理、风险防范创立坚实的基础，从而适应日益发展的数据技术需要，全面提高银行竞争力，为金融创新和提高市场反映能力
数据仓库中元数据的管理
数据仓库中元数据的管理M etadata M anagem en t i n a Data W arehouse 同济大学计算机科学与工程系(上海200092) 史金红 吴永明 【摘要】 介绍了数据仓库中四种基本类型的元数据,说明了不同类型元数据的收集和维护方法,并着重对分布式元数据的集成和管理进行了详细的阐述。 关键词:数据仓库,数据商场,决策支持,元数据 【Abstract】 T h is p ap er in troduces fou r typ es of m etadata and the m ethods of co llecting and m ain tain ing them.It focu ses on the m etadata m anagem en t and in tegrity. Key words: da ta warehouse,da ta mart, dec ision support,m etada ta 1 引言 随着社会的发展和计算机技术的进步,人们已不满足于用计算机只作简单的数据处理和事务处理。进一步用现有的数据进行分析和推理,从而为决策提供依据的需求导致了决策支持系统(D SS)的出现。90年代以来计算机技术、网络技术和数据库技术的迅速发展为D SS提供了必要的技术环境, OL T P和办公自动化普遍应用积累的大量数据为D SS提供了必要的数据基础,日趋激烈的市场竞争促进了各级管理和决策人员对D SS的实际需求,因此自从1991年W.H.Inm on提出数据仓库的概念和1993年E.F.Codd提出OLA P概念以来,已有许多商品化的数据仓库管理系统和联机分析处理工具软件面市。以上诸因素的共同作用促成许多公司、机构纷纷为提高自己的竞争能力建立数据仓库系统以进行决策支持。 元数据是成功的数据仓库的重要组成部分,它可以帮助数据仓库项目小组明确而全面地理解潜在数据源的物理布局以及所有数据元的业务定义,帮助数据仓库用户有效地使用仓库中的信息,帮助数据库管理员了解某些表的变化将对数据仓库产生怎样的影响以及不同商业过程对应的应用等等。项目小组在开发过程中应当识别元数据并将它收入到元数据商店中,实施适当的过程捕作企业数据结构和应用的变化,从而修改相应的元数据,并向用户提供适当的工具访问元数据。 2 元数据的基本类型 元数据按照其用户可以分为技术元数据和商业元数据。技术元数据提供给数据仓库的技术人员,数据仓库技术人员在仓库的开发和维护中使用这类元数据。商业元数据是商业用户在仓库中寻找他们所需商业信息的一个辅助。但是,技术人员可能也需要访问几种类型的商业元数据,如和商业用户讨论信息需求和建立企业的数据模型。同样,商业用户也需要尝试高水平的技术元数据。 元数据按其内容可以分为四个基本类型: 1)关于数据仓库潜在数据来源的信息,包括现有的业务系统、可得到的外部数据和目前手工维护的信息。例如,一个组织可以从中识别数据来源的潜在仓库数据源有:几个现有的应用程序,由财务部门保存的基于PC机的电子报表,从某一卖主处购买的销售数据,目前由顾客服务部门在纸上保存的顾客联系记录。 2)关于数据模型的信息,包括业务实体、关系、企业规则和企业数据模型。 3)关于业务数据与仓库数据结构间的映射信息。只要那些来源中的一个数据元与仓库建立了映射关系,就应该记录下这些数据元间的逻辑联系以及发生的任何变换或变动。 4)关于数据仓库中信息的使用情况。了解这类信息对更好地调整仓库性能、更多地利用现有查询以及理解仓库中的信息怎样用于解决企业问题是很重要的。 3 元数据的收集和维护 在适当的时间收集适当的元数据是成功实施元数据驱动的数据仓库的基础。为保证较高的准确
《××项目数据仓库数据质量报告》
版本号： 数据仓库数据质量报告 项目名称：
变更记录 变更审阅
一、引言 1．编写目的 这部分说明文档编写目的，描述本系统特点及使用数据仓库技术实现的业务目标。 2．背景 这部分是项目背景描述。 3．参考资料 这部分列出本文档引用资料的名称，并说明文档上下级关系。 4．术语定义及说明 这部分列出本文档中使用的术语定义、缩写及其全名。 二、数据质量评估工作范围 1．本次数据质量评估的目标 这部分明确本次数据质量评估的目标，这些目标可能包括： ●识别数据质量的关键问题，以使这些问题可以通过源数据系统数据弥补、数据补充系统或者是ETL流程进行清洗等手段解决 ●建立管理和控制机制，并使之能在短期和长期均发挥监控数据环境的作用 ●建立在信贷信息数据仓库中管理及维护数据的长期计划 2．本次项目确定的数据质量标准 这部分将《软件需求说明书》中制定本项目数据质量标准复制到这里，作为本次数据质量评估交付时的标准。 3．参与本次评估的人员组成 这部分详细说明参与本次数据质量评估的人员组成和职责分工。 4．数据质量评估方法 这部分说明本次项目使用的数据质量评估方法，包括记录评估结果的表格样式、数据质量评估工作的流程、数据质量评估结果的认证流程、评估结果的交付流程等。
三、数据质量评估结果 1．数据源数据质量评估结果 这部分将《初级数据质量分析报告》作为附件添加到文档后。 2．数据仓库数据清洗转换规则 这部分根据《初级数据质量分析报告》的结果记录数据仓库数据清洗转换的规则，只针对重点数据域设计作出说明。 四、数据质量监控维护方案 1．数据质量监控团队组织 这部分将尽可能地定义数据质量监控团队人员的组成、角色和分工。 2．数据仓库数据质量问题管理 这部分记录明确执行数据仓库数据质量监控和修改流程的触发条件，包括质量问题的类型及质量分类的标准等。 3．数据仓库数据质量监控管理计划 这部分是针对可以预见的数据质量问题提出监控管理的计划，包括沟通途径、会议计划、管理流程等。 4．数据仓库数据质量修正方案 这部分将可能使用的数据质量修正方案列在其中，必要时需要提供详细的数据修改流程和计算公式。通用的修正方案包括在数据源中修改、在ETL程序中修改、在数据仓库里修改和使用数据补录程序修改。
数据仓库与数据挖掘课后习题答案
数据仓库与数据挖掘课后习 题答案 -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。 3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。 4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库数据仓库的特点主要有哪些 2） 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 3）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 4）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 5）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 6）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构
数据仓库元数据管理
1.1.1 第一章元数据概论 企业的计算机系统每年会产生很多数据，很多企业面临着这样的困境，难以有效的管理大量的、繁杂的、不一致的数据，并方便地访问、利用这些数据进行辅助决策。 建立数据仓库提供一个方法，把数据转化为有用的、可信赖的信息，支持商业决策。建立数据仓库一个重要的工作是元数据管理。元数据（Metadata）就是数据的数据，用于建立、管理、维护和使用数据仓库。。元数据管理是企业级数据仓库中的关键组件，贯穿于建立数据仓库的整个过程。 元数据使得用户可以掌握数据的历史情况，如数据从哪里来？流通时间有多长？更新频率是多大？数据元素的含义是什么？对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下，在瞬间万变的商业环境下，元数据可以更好的支持需求的变化，降低项目风险。 通常把元数据分为技术元数据（Technical Metadata）和业务元数据（Business Metadata）。技术元数据是描述关于数据仓库技术细节的数据，这些元数据应用于开发、管理和维护数据仓库；业务元数据从商业和业务的角度描述数据仓库的数据，提供了良好的语义层定义，业务元数据使业务人员能够更好的理解数据仓库分析出来的数据。 元数据贯彻于建立数据仓库的整个过程，不只是ETL过程需要元数据的支持。 图1 元数据的应用 在使用元数据的同时，随着数据仓库市场的发展，业界出现许多数据仓库管理和分析的工具，各种工具使用不同的元数据标准来表示和处理，不同系统之间的迁移、数据交换变得困难。于是，我们希望用一种单一的元数据标准，使得各种组织的元数据具有单一的元模型（MetaModel），因此，需要建立一种标准使得不同的数据仓库和商业智能系统之间可以相互交换元数据。 1.1.2 第二章元数据标准 1.1. 2.1 一、元数据标准CWM OMG于2001年颁布元数据标准CWM 1.0（Common Warehouse Metamodel Version 1.0）。CWM定义一个描述数据源、数据目的、转换、分析的元数据框架，以及定义建立和管理数据仓库的过程和操作，提供使用信息的继承。 目前宣布支持CWM的厂商包括：IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。 CWM基于3个工业标准： UML - Unified Modeling Language，OMG建模标准； MOF - Meta Object Facility，OMG建立元模型和模型库的标准，提供在异构环境下的数据交换的接口； XMI - XML Metadata Interchange，OMG元数据交换标准。 UML在CWM中得到充分的应用，担任3个不同的角色： 1），UML用来做为与MOF对应的meta-metamodel。UML相当于MOF Model,，UML Notation和OCL(Object Constraint Language)，被用来做为建模语言、图形符号、约束语言，
(数据仓)数据仓库与数据挖掘分析
Adventure Works分销商销售数据分析 ---Women’s Tights 一、概述 Women’s Tights型号共三种产品，分别为“Women’s Tights,L”、“omen’s Tights,M”和“omen’s Tights,S”。这三种商品在拿大、法国和英国均有销售。 在Adventure WorksDW数据库中查询得知三种产品的总销售额如下： 表 1 三种商品销量对比 English Product Name Sales Amount Women's Tights, L$93,554.46 Women's Tights, M$17,727.64 Women's Tights, S$90,550.91 总计$201,833.01 查询命令为： SELECT DimProduct.EnglishProductName AS产品, SUM(FactResellerSales.SalesAmount)AS销售额 FROM DimProduct INNER JOIN FactResellerSales ON DimProduct.ProductKey = FactResellerSales.ProductKey GROUP BY DimProduct.EnglishProductName, DimProduct.ModelName HAVING(DimProduct.ModelName ='Women''s Tights') 从上表可以看出，[Women's Tights, L]与[Women's Tights, S]的销量相当，而[Women's Tights, M]的销量明显低于另两种，其销量只占总销量的9%。会有如此大的差距呢？下面运用OLAP技术进行分析。 为叙述方便，下文用“M”简称[Women's Tights, M]，用“L”表示[Women's Tights, L]，用“S”表示[Women's Tights, S]。 二、多维数据集的设计
数据仓库元数据管理
数据仓库元数据管理 余友波 数据仓库之路原创资料 https://www.360docs.net/doc/2115301636.html,
1.1.1 第一章元数据概论 企业的计算机系统每年会产生很多数据，很多企业面临着这样的困境，难以有 效的管理大量的、繁杂的、不一致的数据，并方便地访问、利用这些数据进行辅助 决策。 建立数据仓库提供一个方法，把数据转化为有用的、可信赖的信息，支持商业 决策。建立数据仓库一个重要的工作是元数据管理。元数据（Metadata）就是数据 的数据，用于建立、管理、维护和使用数据仓库。。元数据管理是企业级数据仓库 中的关键组件，贯穿于建立数据仓库的整个过程。 元数据使得用户可以掌握数据的历史情况，如数据从哪里来？流通时间有多长？更新频率是多大？数据元素的含义是什么？对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下，在瞬间万变的商业环境下，元数据可以更好的支持需求的变化，降低项目风险。 通常把元数据分为技术元数据（Technical Metadata）和业务元数据（Business Metadata）。技术元数据是描述关于数据仓库技术细节的数据，这些元数据应用于开发、管理和维护数据仓库；业务元数据从商业和业务的角度描述数据仓库的数据，提供了良好的语义层定义，业务元数据使业务人员能够更好的理解数据仓库分析出来的数据。 元数据贯彻于建立数据仓库的整个过程，不只是ETL过程需要元数据的支持。 图1 元数据的应用 在使用元数据的同时，随着数据仓库市场的发展，业界出现许多数据仓库管理 和分析的工具，各种工具使用不同的元数据标准来表示和处理，不同系统之间的迁 移、数据交换变得困难。于是，我们希望用一种单一的元数据标准，使得各种组织 的元数据具有单一的元模型（MetaModel），因此，需要建立一种标准使得不同的 数据仓库和商业智能系统之间可以相互交换元数据。 https://www.360docs.net/doc/2115301636.html,