数据仓库层次规范学习笔记
数据库复习整理笔记.doc
学习好资料欢迎下载加密的基本思想根据一定的算法将原始数据（术语为明文，Plain text）变换为不可直接识别的格式（术语为密文，Cipher text）。
不知道解密算法的人无法获知数据的内容。
触发器（ Trigger）用户定义在关系表上的一类由事件驱动的特殊过程，一旦定义，任何用户对表的增加、修改和删除工作均由服务器自动激活相应的触发器，在DBMS 核心层进行集中的完整性控制。
触发器类似于约束，但是比约束更加灵活，可以进行更为复杂的检查和操作，具有更精细和更强大的数据控制能力。
重点掌握并能够灵活运用关系模式规范化的方法和关系模式分解的方法，这也是本章的难点。
关系数据库：基于关系模型的数据库，利用关系来描述现实世界。
关系模式由五部分组成，即它是一个五元组：R(U,D,DOM,F)R：关系名U：组成该关系的属性名集合D：属性组U中属性所来自的域DOM ：属性到域的映象集合F：属性间的数据依赖关系集合由于 D 和 DOM 对模式设计关系不大，因此可以把关系模式看做一个三元组： R <U, F> 。
例如：关系模式： S（Sno, Sdept, Sno→ Sdept）当且仅当 U 上的一个关系r 满足 F 时，r 称为关系模式 R <U, F>的一个关系。
数据依赖是数据库模式设计的关键，它是一个关系内部属性与属性之间的一种约束关系，这种约束关系是通过属性间的值是否相等体现出来的数据间的相互关系。
它是现实世界属性间相互联系的抽象，是数据内在的性质，是语义的体现。
数据依赖有很多类型，其中最重要的是：函数依赖（ Functional Dependency，简记为 FD ）多值依赖（ Multivalued Dependency，简记为 MVD ）其中，函数依赖起着核心的作用，是模式分解和模式设计的基础，范式是模式分解的标准。
一个“好”的模式应当：不会发生插入异常、删除异常、更新异常，数据冗余应尽可能少。
数据仓库_3_数据仓库的基本结构
多技术接口：用不同技术实现数据的接收和传送
2015/6/3
Data Warehouse
14
3.2 数据仓库管理
存储和管理
控制数据存放的物理位置：在物理块/页一级上进行 控制，存放在合适的位置
并行处理：DW中数据管理最强大的特征，目的就 是极大提高性能
针对决策支持的查询优化：数据冗余、多语言接口 支持多维分析的查询模式 变长数据的有效管理：变长数据经常更新和变化，
基本数据的管理方式：前者具有自由空间（数据更新时临时数据使 用的附加空间），后者没有自由空间；
索引：前者限制索引数量，后者则需要多种索引优化访问。 物理上的优化：前者是针对事务访问，而后者则是针对分析访问。
2015/6/3
Data Warehouse
18
3.2 数据仓库管理
2. 数据仓库管理 - 数据仓库建模
工作：抽取、筛选、清理、加载等 高速装载大量数据：
并行装载：将数据分为几个独立的工作流 设立缓冲区：对数据进行缓冲处理，在缓冲区中合并数据
2015/6/3
Data Warehouse
7
3.2 数据仓库管理
数据仓库中的数据
企业内部各个部门当前及其历史上的细节性业务数据 为了进行分析决策操作而生成的分析型综合数据
优点
采用此方法可避免对整个数据库的对比扫描，具有较高的刷 新效率。
缺点
这样的应用程序并不普遍，修改现有的应用程序的工作量又 太大。
2015/6/3
Data Warehouse
24
3.2 数据仓库管理
3.2.3 数据仓库管理 - 数据刷新方法 - 建立映象文件
天大《数据库原理》学习笔记八
主 题：《数据库原理》学习笔记内 容：《数据库原理》学习笔记八——数据库技术新发展8.1数据库技术发展概述短短三十年已从第一代的网状、层次数据库系统，第二代的关系数据库系统，发展到第三代以面向对象模型为主要特征的数据库系统。
数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等等互相渗透，互相结合，成为当前数据库技术发展的主要特征。
8.2数据模型及数据库系统的发展数据模型是数据库系统的核心和基础。
按照数据模型的进展，数据库技术可以相应地分为三个发展阶段。
8.2.1第一代数据库系统第一代数据库系统指层次和网状数据库系统，其代表是：l1969年I B M公司研制的层次模型的数据库管理系统I M S（I n f o r m a t i o n M a n a g e m e n t S y s t e m）。
l美国数据库系统语言协商会C O D A S Y L（C o n f e r e n c e O n D a t a S y s t e m L a n g u a g e）下属的数据库任务组D B T G（D a t a B a s e T a s k G r o u p）于六十年代末七十年代初提出了D B T G报告，确定并建立了数据库系统的许多概念、方法和技术。
D B T G所提议的方法是基于网状结构的。
它是数据库网状模型的典型代表。
这两种数据库系统具有下列共同特点：l支持三级模式的体系结构三级模式通常指外模式、模式、内模式。
模式之间具有转换(或称为映射)功能。
层次数据库和网状数据库均支持三级模式结构，通过外模式与模式、模式与内模式之间的映象，保证了数据库系统具有数据与程序的物理独立性和一定的逻辑独立性。
l用存取路径来表示数据之间的联系这是数据库系统和文件系统的主要区别之一。
数据库不仅存储数据而且存储数据之间的联系。
数据之间的联系在层次和网状数据库系统中是用存取路径来表示和实现的。
(完整版)数据库原理学习笔记
第一章，数据库系统概述1.11，数据（DATA）：数据是数据库存储中的基本对象,描述事务的符号记录。
数据解释；对数据含义的说明，数据的含义成为数据的语义。
2，数据库（DB）：长期存储在计算机内，有组织的可以共享的数据的集合。
3，数据库管理系统（DBMS）：数据库管理系统软件。
（1），数据定义功能（DDL，数据定义语言），对数据库重的数据对象进行定义（2），数据操纵功能（dml 数据操纵语言）（3），数据库的运行管理，保证数据的安全性，完整性，系统恢复，多用户对数据库的并发使用（4），数据库的建立和维护功能，数据库初始数据输入，切换，数据库的存储，回复功能，数据库的重组功能，性能监视分析功能4，数据库系统（DBS）：由DB DBMS DBA 应用系统组成。
1.2数据的处理指的是对各种数据进行搜集存储加工和传播数据管理，对数据进行分类组织编码存储和检索和维护数据库管理技术经历了人工管理，文件系统，数据库系统三个阶段。
数据库系统管理的特点1，数据结构化，与文件系统的根本区别，可以存储数据库中的某一个数据项，某一组数据项，，一个记录或一组记录。
2，共享性高，冗余度低，易扩充3，数据的独立性高a)物理独立性b)逻辑独立性4，数据由DBMS统一管理和控制a)数据的安全性保护b)数据的完整性检查，即正确性c)并发控制数据库恢复数据库系统的组成1，数据库a)硬件平台及数据库；i.要求有足够大的内存ii.要有足够大的磁盘的直接存储设备iii.要求系统有较高的通道，提高数据的传输率b)对软件的要求i.DBMS 数据库的建立维护和使用配置的软件ii.支持DBMS运行的操作系统iii.具有数据库借口的高级语言及其编译系统iv.以DBMS为核心的应用开发工具v.为特定应用环境开发的数据库应用系统c)人员数据抽象级别不同，具有不同的数据视图i.数据库管理员1.决定数据库的信息内容和结构2.决定数据库的存储结构和存储策略（为了提高存取效率和空间利用率）3.定义数据的安全性要求和完整性约束条件4.监控数据库的使用和运行5.数据库的改进和重组结构ii.系统分析员，数据库设计人员1.负责应用系统的需求分析和规范说明确定系统的软硬件配置，并参与数据库系统的概要设计iii.应用程序员1.负责设计和编写应用系统的程序模块，并进行调试和安装。
数据库学习笔记与总结
数据库学习笔记与总结1.数据库1.1.基本查询语句1. S electSELECT column_name,column_name FROM table_name;SELECT * FROM table_name;SELECT DISTINCT column_name,column_name FROM table_name;2. W hereSELECT * FROM Websites WHERE country='CN'SQL 使用单引号来环绕文本值，如果是数值字段，请不要使用引号运算符描述= 等于<> 不等于。
注释：在SQL 的一些版本中，该操作符可被写成!= > 大于< 小于>= 大于等于<= 小于等于BETWEEN 在某个范围内LIKE 搜索某种模式IN 指定针对某个列的多个可能值SELECT * FROM Websites WHERE country='CN' AND alexa > 50SELECT * FROM Websites WHERE country='USA' OR country='CN';SELECT * FROM Websites WHERE alexa > 15 AND (country='CN' OR country='USA');3. O RDER BYORDER BY 关键字默认按照升序对记录进行排序。
如果需要按照降序对记录进行排序，您可以使用DESC 关键字。
SELECT column_name,column_nameFROM table_nameORDER BY column_name,column_name ASC|DESC;SELECT * FROM Websites ORDER BY country,alexa;4. I NSERT INTOINSERT INTO table_nameVALUES (value1,value2,value3,...);NSERT INTO table_name (column1,column2,column3,...) VALUES (value1,value2,value3,...);5. U PDEATEUPDATE table_nameSET column1=value1,column2=value2,...WHERE some_column=some_value;6. D ELETEDELETE FROM Websites WHERE name='百度' AND country='CN';1.2.高级查询1.LIKESELECT TOP 50 PERCENT * FROM Websites;SELECT * FROM Websites WHERE name LIKE 'G%'"%" 符号用于在模式的前后定义通配符（缺省字母）；“_”代替一个字符2.IN、BETWEEN、AS(1) IN 操作符允许您在WHERE 子句中规定多个值(2) BETWEEN 操作符用于选取介于两个值之间的数据范围内的值(3) AS 为表名称或列名称指定别名SELECT * FROM WebsitesWHERE name IN ('Google','菜鸟教程')SELECT column_name(s)FROM table_nameWHERE column_name BETWEEN value1 AND value2;3.JOIN(1)INNER JOIN 与JOIN 是相同的。
数据仓库开发规范
数据仓库开发规范目录数据仓库开发规范 (1)数据仓库框架 (2)数据库命名规范 (3)数据仓库框架数据据仓库框架为便于跟踪数据的处理过程、数据加载效率等方面因素的考虑，如数据仓库框架图所示，在报表平台及驾驶舱页面指标更新时，可以在对DW层及MID 层数据进行调整。
数据仓库框架采用ODS、DW、MID三层框架结构：1.ODS层ODS层获取从OA、EAS、流向、填报、EXCEL采集的数据，区分维表和事实表数据分类。
2.DW层DW层对ODS层的数据进行加工处理，该层处于ODS与MID层之间，在该层主要实现：1)联和主数据（日期、组织架构、产品、产品类型等维度）实现指标的数据归类处理；2)为MID层提供数据分类的梳理，主要根据建设主体的应用。
3.MID层（数据集市）数据集市层面向BI平台展示应用，指标逻辑计算实现在该层实现。
根据系统建设需要区分为客户档案、流向分析、财务经营效果表三个数据集市，目的在数据加载时根据数据应用主题能加快数据的加载效率。
数据库命名规范基本原则采用26个英文字母和0－9这十个自然数，加上下划线_组成，共36个字符，不出现其他字符。
采用英文单词或英文短语（包括缩写）作为名称，参照字典表给出的基础命名，没有的去翻译，不使用无意义的字符或汉语拼音。
英文字母全部大写。
一套系统中英文使用同一单词，并使用单数形式。
数据库对象命名规范数据库表命名规范数据库表字段命名基于基本原则，字段命名新增原则有：无意义的编码列如自增列、UUID等采用表名+ID 如DIM_CUSTOMER_ID 有业务意义的编码列如员工工号、机台编号等采用字段义+CODE 如EMPLOYEE_CODE标志字段统一采用字段义+FLAG，如CHECK_FLAG。
数据仓库_3_数据仓库的基本结构
数据仓库_3_数据仓库的基本结构在当今数字化的时代，数据仓库成为了企业管理和决策支持的重要工具。
要深入理解数据仓库，就必须了解其基本结构。
接下来，让我们一起揭开数据仓库基本结构的神秘面纱。
数据仓库的基本结构可以大致分为源数据、数据存储与管理、数据访问三个主要部分。
源数据是数据仓库的基础。
它来自企业内部的各种业务系统，比如销售系统、财务系统、人力资源系统等，也可能来自外部的数据来源，如市场调研数据、合作伙伴提供的数据等。
这些源数据通常具有多样性和复杂性，格式各异，质量参差不齐。
在数据进入数据仓库之前，需要进行一系列的数据抽取、转换和加载（ETL）操作。
抽取就是从源系统中获取数据；转换则是对数据进行清洗、整合、标准化和计算等处理，以确保数据的质量和一致性；加载就是将处理后的数据加载到数据仓库中。
数据存储与管理是数据仓库的核心部分。
这部分通常包括数据存储结构和数据管理技术。
数据存储结构可以分为分层存储和多维数据模型。
分层存储将数据按照不同的层次进行组织，比如按照细节程度分为操作数据层、数据清洗转换层、数据集市层和数据仓库层等。
操作数据层存储原始的业务数据，数据清洗转换层对数据进行处理和转换，数据集市层则是为特定的业务部门或主题提供数据支持，数据仓库层则是企业级的综合数据存储。
多维数据模型则是一种常见的数据仓库模型，例如星型模型和雪花模型。
星型模型由一个事实表和多个维度表组成，事实表包含业务的度量数据，维度表则描述了事实的各个方面。
雪花模型是对星型模型的扩展，将维度表进一步分解为更细的层次。
在数据管理方面，需要考虑数据的存储方式、索引结构、数据压缩和数据分区等技术。
有效的数据管理可以提高数据仓库的性能和存储效率。
数据访问是数据仓库与用户交互的部分。
它包括查询工具、报表工具、分析工具和数据挖掘工具等。
查询工具允许用户通过编写 SQL 语句或使用图形化界面来获取数据。
报表工具能够将数据以格式化的报表形式呈现给用户，帮助用户快速了解关键指标和趋势。
数据库学习笔记
数据库学习笔记集成电路的发展到目前为止,依次经历了SSI,MSI,LSI,VLSI四个阶段。
微型计算机可采用不同的主振频率的CPU芯片。
叵现有芯片的主振频率为8MHZ，也就是说它的主振周期为0.125US，（主振周期=1/主振频率）若已知每个机器周期平均含有4个主振周期，该机的平均指令执行速度为0.8MI/S，那么该机的平均指令周期为 1.25US,（平均指令周期=1/平均指令执行速度）平均每个指令周期含有 2.5个机器周期（平均机器周期数=平均指令周期/平均机器周期）。
若改用主振周期为0.4US的CPU芯片，则计算机的平均指令执行速度为0.25MI/S （平均指令执行速度=1/平均指令周期=1/主振周期*平均机器周期含主振周期数*机器周期数）。
若要得到平均每秒40万次的指令执行速度，则应采用主振频率为4MHZ的CPU 芯片。
（平均指令执行速度=1/{（1/主振频率）*主振周期数*机器周期数}）单个磁头在向盘片的磁性涂层上写入数据时，是以串行方式写入的。
虚拟存储管理系统的基础是程序的局部性理论。
此理论的基本含义是程序执行时对主存的访问是不均匀的。
局部性有两种表现形式：时间局部性和空间局部性。
它们的意义分别为最近被访问的单元，很可能在不久的将来还要被访问和最近被访问的单位，很可能在它附近的单元还要被访问。
根据局部性理论，DENNING提出了工作集的理论。
设有四级流水线，分别完成取指、译码、运算、存数四步操作，各步时间依次为30ns\50ns,80ns和100ns。
则流水线的操作周期应为100ns。
（取平均时间取决于流水线最慢的一步）每步操作时间依次为60、100、50、70 ns。
该流水线的操作周期应为100 ns。
若有一小段程序需要用20条基本指令完成则得到第一条指令结果400ns，结果完成该段程序需2300 ns。
在流水线结构的计算机中，频繁执行条件转移指令时会严重影响机器的效率。
当有中断请求发生时，若采用不精确断点法，则将不仅影响中断响应时间，还影响程序的正确执行。
数据仓库分层
数据仓库分层
⼀、为什么要对数据仓库进⾏分层？
我们对数据进⾏分层的⼀个主要原因就是希望在管理数据的时候，能对数据有⼀个清晰的掌控，详细来讲有以下⼏个原因：
1.清晰数据结构：每⼀个数据分层都有它的作⽤域，这样我们在使⽤表的时候能够更⽅便的定位和理解。
2.空间换时间：通过建设多层次的数据模型供⽤户使⽤，避免⽤户直接使⽤底层操作型数据，可以更⾼效的访问数据。
3.把复杂问题简单化：将⼀个复杂任务分解成多个步骤来完成，每⼀层只处理单⼀的步骤，简单容易理解，⽽且便于维护数据的准确性，当数据出现问题后，不⽤修复所有的数据，只需要从有问题的步骤开始修复。
4.便于处理业务的变化：随着业务的变化，只需要调整底层的数据，对应⽤层对业务的调整零感知。
⼆、数据仓库标准上可以分为ODS、DW、DM和APP四层
1. ODS层（近源层、临时存储层）：从数据粒度上来说ODS层的数据粒度是最细的。
ODS层的表通常包括两类，⼀个⽤于存储当前需要加载的数据，⼀个⽤于存储处理完后的历史数据。
表结构与源系统表结构⾼度相似，通常在ods层主要会做字段的筛选，枚举值转换，编码统⼀，异常&缺失数据处理等操作
2.DW层（中间层）：按主题建模（域->主题）的明细数据层，数据粒度与ods层⼀致。
3.DM层（数据集市层）：集市层是按照业务主题、分主题构建出来的、⾯向特定部门或⼈员的数据集合。
4.APP（应⽤层）：这层数据是完全为了满⾜具体的分析需求⽽构建的数据，也是星形或雪花结构的数据。
从数据粒度来说是⾼度汇总的数据。
从数据的⼴度来说，则并不⼀定会覆盖所有业务数据。
数据库系统工程师学习笔记四
笔记四数据分片的方式有多种，水平分片和垂直分片是两种基本的分片方式，混合分片和导出分片是比较复杂的分片方式。
水平分片是指按一定的条件将关系按行（水平方向）分为若干个相交的子集，每个子集为关系的一个片段。
垂直分片是指将关系按列（垂直方向）分为若干个子集。
因此为保证全局数据的可重构和最小冗余，分片满足的必要条件是对于任一分片，总存在另一个分片能够和它进行无损连接。
导出分片是指导出水平分片，即水平分片的条件不是本身属性的条件而是其他关系的属性的条件。
混合分片是指按上述三种分片方式得到的片段继续按另一种方式分片。
-----------------------------分布式数据库的体系结构分为全局外层、全局概念层、局部概念层和局部内层。
全局外层即全局外模式，是全局应用的用户视图；全局概念层是全体数据的逻辑结构和特征的描述，按照分片映射到各局部概念层。
局部概念层是对全局关系在这个节点上物理图像的逻辑结构及特征的描述。
局部内层描述局部概念模式涉及的数据在局部DBMS中的物理存储。
场地自治是指各局部的DBMS可以独立地管理所辖局部数据，通过局部概念层（相当于集中式的模式层）进行访问。
--------------------------------一次封锁协议和两段锁协议属于集中式事务处理所采用的技术两阶段提交协议分为参与者提交请求和协调者应答两个阶段三阶段提交协议要求在两阶段协议基础上提供参与者状态--------------------------------分布式数据库中每个节点都能够执行局部应用请求，是指 （场地自治性）参与分布式数据库的每一服务器分别独立地管理数据库，好像每一数据库不是网络化的数据库。
每一个数据库独立地被管理，称为场地自治性。
--------------------------------分布式数据库用户无须知道数据的物理位置，称为 （位置透明）--------------------------------分布式数据库能够提高某些查询效率是因为其具有 （数据副本）--------------------------------分布式数据库允许部分数据存在多个复本，而用户不必知道这些复本的存在，称为复制透明。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
系统信息模型从存储内容划分
STAGE接口信息模型
ODS/DWD信息模型
MID信息模型
DM信息模型
元数据信息模型
1）.STAGE是生产系统数据源直接拷贝，由ETL过程对数据源进行直接抽取，在格式和数
据定义上不作任何改变。与生产系统数据的唯一不同是，stage层数据具有时间戳。
STAGE层存在的意义在于两点：
（1) 对数据源作统一的一次性获取，数据仓库中其他部分都依赖于stage层的数据，不
再重复进行抽取，也不在生产系统上运算，减小生产系统的压力
（2）在生产系统数据已经刷新的情况下，保存一定量的生产系统的历史数据，以便在二
次抽取过程中运算出错的情况下可以进行回溯。
2）.ODS/DWD层（对应原模型的ODS和DW层）信息模型：简称DWD层是数据仓库的
细节数据层，是对STAGE层数据进行沉淀，减少了抽取的复杂性，同时ODS/DWD的信息
模型组织主要遵循企业业务事务处理的形式，将各个专业数据进行集中。为企业进行经营数
据的分析，系统将数据按分析的主题的形式存放，跟stage层的粒度一致，属于分析的公共
资源。
3）.MID信息模型：轻度综合层是新模型增加的数据仓库中DWD层和DM层之间的一个过
渡层次，是对DWD层的生产数据进行轻度综合和汇总统计。轻度综合层与DWD的主要区
别在于二者的应用领域不同，DWD的数据来源于生产型系统，并未满意一些不可预见的需
求而进行沉淀；轻度综合层则面向分析型应用进行细粒度的统计和沉淀。
4）.DM信息模型：为专题经营分析服务，系统将数据按分析的专题组织成多维库表的形式
存放，属于分析目标范畴的数据组织与汇总，属于分析的专有资源。其信息主要来源于DWD
层和MID层汇总，反映实时的经营状况，时间维度为天。而历史经营状况分析，时间维度
一般为月，同时也具有季度、年这样的维度。
5）MDW元数据信息模型：描述数据及其环境的数据，即是对数据资源的描述，是信息共
享和交换的基础和前提，用于描述数据集的内容、质量、表示方式、空间参与、管理方式以
及数据集的其他特征。一般来说，它有两方面的用途。首先，元数据能提供基于用户的信息，
如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次，元数据能支持系统对数
据的管理和维护，元数据机制主要支持以下五类系统管理功能：
（1）.描述那些数据在数据仓库中；
（2）.定义要进入数据仓库中的数据和从数据仓库中产生的数据；
（3）.记录根据业务事件发生而随之进行的数据抽取工作时间安排；
（4）.记录并检测系统数据一致性的要求和执行情况；
（5）.衡量数据质量。
各层物理表前缀
在构建数据仓库时，至少应该具备以下物理几层：
联通数据模型规范要求的层次 数据中心物理模型层次名称 物理表前缀
维度数据层 DIM_
数据集市层（DM） 展示层 DM_
主题域 DW_F_
轻度汇总层（MID） 轻度汇总层 DW_M_
细节数据层（ODS/DWD） 细节数据层 DW_V_
接口层（STAGE） 接口层 SRC_
所有数据库对象名称均使用26个大写英文字母、下划线或数字来命名并不得以下划线开
头。