mssql数据库表行转列,列转行终极方案

SQLServer(多语句表值函数代码)

SQLServer(多语句表值函数代码) 代码如下： set ANSI_NULLS ON set QUOTED_IDENTIFIER ON go CREATE FUNCTION [dbo].[ufnGetContactInformation](@ContactID int) RETURNS @retContactInformation TABLE ( -- Columns returned by the function [ContactID] int PRIMARY KEY NOT NULL, [FirstName] [nvarchar](50) NULL, [LastName] [nvarchar](50) NULL, [JobTitle] [nvarchar](50) NULL, [ContactType] [nvarchar](50) NULL ) AS -- Returns the first name, last name, job title and contact type for the specified contact. BEGIN

DECLARE @FirstName [nvarchar](50), @LastName [nvarchar](50), @JobTitle [nvarchar](50), @ContactType [nvarchar](50); -- Get common contact information SELECT @ContactID = ContactID, @FirstName = FirstName, @LastName = LastName FROM [Person].[Contact] WHERE [ContactID] = @ContactID; SET @JobTitle = CASE -- Check for employee WHEN EXISTS(SELECT * FROM [HumanResources].[Employee] e WHERE e.[ContactID] = @ContactID) THEN (SELECT [Title] FROM [HumanResources].[Employee] WHERE [ContactID] = @ContactID) -- Check for vendor

列式存储

1.定义 1.1.定义 Sybase在2004年左右就推出了列存储的Sybase IQ数据库系统,主要用于在线分析、数据挖掘等查询密集型应用。列存储，缩写为DSM，相对于NSM(N-ary storage model)，其主要区别在于： DSM将所有记录中相同字段的数据聚合存储; NSM将每条记录的所有字段的数据聚合存储; 1.2.优点 列存储的主要优点有两个： 1) 每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量，据C-Store, MonetDB的作者调查和分析，查询密集型应用的特点之一就是查询一般只关心少数几个字段，而相对应的，NSM中每次必须读取整条记录; 2) 既然是一个字段的数据聚集存储，那就更容易为这种聚集存储设计更好的压缩/解压算法。

1.3.场合 列存储适合用在什么场合? OLAP，数据仓库，数据挖掘等查询密集型应用。当然，列存储数据库并不是说完全不能进行更新操作，其实它们的更新操作性能并不是很差，一般也够用，但是一方面不如自己的查询性能，另外一方面也不如Oracle这种专门搞OLTP 的数据库，所以一般就不提这个。 列存储不适合用在什么场合? 相对来说，不适合用在OLTP，或者更新操作，尤其是插入、删除操作频繁的场合。 2.sysbase iq 列存储介绍 2.1.列存储 不同于传统的关系型数据库，其数据在表中是按行存储的，Sybase IQ是通过表中的列来存储与访问数据的。尽管这种方式很明显的不太适合于交易环境，在交易环境中，一个事务与一行数据有效对应，而在查询进程环境中，很显然，查询是基于特定的列来选择的。 列方式所带来的重要好处之一就是，由于查询中的选择规则是通过列来定义的，因此整个数据库是自动索引化的。事实上，情况并不象上述的这样简单，Sybase IQ有各种方法支持基于列的索引，我们将在下面就此讨论。 使用列方法的另一个结果就是，Sybase IQ在压缩方面比传统的关系型数据库更加有效（根据Sybase所称，效果可达5倍之好）。这个原因，无疑说，是由于同一列中的所有数据域有相同的数据类型。因此，每一列都可以为优化的效率与检索进行压缩。相比来讲，基于行的存储，各个不同的域拥有各不相同的数据类型，这非常适合于交易进程。在这样的环境中，不断变换理想的压缩算法是不可行的，这意味着任何压缩都将可能是一种最低通用的规则。

Oracle列转行和行转列的几种用法

Oracle列转行和行转列的几种用法 栏到 栏主要讨论sys_connect_by_path的用法 1，具有分层关系 SQL > createtabledept(deptnononumber，deptname varchar2 (20)，mgrnononumber)； table created . SQL >插入deptvalues (1，“总部”，空)； 1 row created . SQL >插入deptvalues (2，’浙江分公司’，1)； 1 row created . SQL > insert into dept values(3，’杭州分公司’，2)；已创建 1行。 SQL >提交； 提交完成。 SQL >从部门连接中选择最大值(子串(sys_connect_by_path(deptname，’，’)，2))由先前部门连接= mgrno 最大值(SUBSTER(SYS _ CONNECT _ BY _ PATH(DEPTNAME)，’)，2) -总部，浙江分行，杭州分行 2，行-列转换 如果一个表的所有列都连接到一行，用逗号分隔:

SQL >选择最大值(SUBSTER(SYS _ CONNECT _ BY _ PATH(column _ name，’，’)，2)) MAX(SUBSTRA(SYS _ CONNECT _ BY _ PATH(COLUMN _ NAME，’，’)，2)) - DEPTNO，DEPTNAME，MGRNO 3，ListAgg(Oracle 11g) SQL >选择DEPTNO， 2 ListAgg(NAME，’；’) 3在组 4内(由搪瓷订购)搪瓷 5来自emp 6组由deptno 7由deptno 8 / DEPTNO搪瓷 - - 10 CLARK。国王；米勒 20亚当斯；福特。琼斯； SCOTT。史密斯 30艾伦；布莱克； JAMES；马丁； TURNER；下面的W ARD

SQLSERVER操作命令

SQLSERVER数据库操作 ******操作前，请确定SQL的服务已经开启******** 一：登录进入sql数据库 1、开始---所有程序---Microsoft SQL Server 2005---SQL Server Management Studio Express 2、此时出现“连接到服务器”的对话框， “服务器名称”设置为SQL数据库所在机器的IP地址 “身份验证”设置为SQL Server身份验证或者Windows 身份验证 填写登录名和密码后，点击“连接”按钮，即可进入到SQL数据库操作界面。 二：新建数据库 登录进去后，右击“数据库”，选择—“新建数据库” 设置数据库名称，在下面的选项卡中还可以设置数据库的初始大小，自动增长，路径。 点击确定，一个数据库就建好了。 三：如何备份的数据库文件。 登录进入后，右击相应的需要备份数据库----选择“任务” 目标下的备份到，点击“添加”按钮可以设置备份数据库保存的路径。 四：如何还原备份的数据库文件。（以本地机器为例子） 1、设置服务器名称，点击右边的下拉框的三角，选择“浏览更多…”。 此时出现查找服务器对话框，选择“本地服务器”---点开“数据库引擎”前面 的三角---选中出现的服务器名称—确定。 （注：可以在“网络服务器”选项卡中设置网络服务器） 2、设置身份验证，选择为“windows身份验证” 3、点击连接按钮，进入数据库管理页面 4、右击“数据库”，选择“还原数据库”，出现还原数据库的对话框 还原的目标----目标数据库，这里设置数据库的名字 还原的源----选择“源设备”，在弹出的对话框中点击“添加”按钮，找到所备 份的数据库文件，确定。 5、此时，在还原数据库对话框中会出现所还原的数据库的信息。在前面选中所需还 原的数据库。确定。 6、为刚刚还原的数据库设置相应的用户。 a点开“安全性”---右击“登录名”---新建登录名 b 设置登录名（假如为admin），并设置为SQL Server身份验证，输入密码，去除 “强制实施密码策略”前的勾。 C 找到导入的数据库，右击此数据库----选择“属性”，在选择页中，点击“文件” 设置所有者，点击右边的按钮，选择“浏览”，找到相应的用户（如admin）。确 定。。 7、此时重新以admin的身份进入，就可操作相应的数据库。

《数据库原理与应用》课后习题参考答案

《数据库原理与应用》课后习题参考答案 第一章作业参考答案 1. 单选题C C D B C 2. 判断题对错错错对 3填空题网状模型用户商业智能数据挖掘系统设计 4简答题 1）数据模型是指描述事物对象的数据组成、数据关系、数据约束的抽象结构及其说明。数据模型是指描述事物对象的数据组成、数据关系、数据约束的抽象结 构及其说明。数据模型是指描述事物对象的数据组成、数据关系、数据约束的抽象 结构及其说明。3）数据约束：用于描述数据结构中数据之间的语义联系、数据之间 的制约和依存关系，以及数据动态变化的规则。主流数据库采用关系图模型。数据 库典型数据模型：层次数据模型网状数据模型关系数据模型其它数据模型（如对 象数据模型、键值对数据模型、列式数据模型。。。） 2）数据库——是一种依照特定数据模型组织、存储和管理数据的文件，数据库文件一般存放在辅助存储器以便长久保存。数据库具有如下特点：数据不重复存 放；提供给多种应用程序访问；数据结构独立于使用它的应用程序；对数据增、 删、改、检索由统一软件进行管理和控制。 3）数据库(Database)是一种依照特定模型组织、存储和管理数据的数据结构。 在数据库中，不仅存放了数据，而且还存放了数据与数据之间的关系。数据库内部 元素：用户表：用户在数据库中创建的数据库表；系统表：数据库中系统自带的数 据库表；视图：数据库中用于对数据进行查询的虚拟表；索引：数据库中用于加快 数据查询的索引项；约束：数据库中对数据、数据关系施加的规则；存储过程：数 据库内部完成特定功能处理的程序；触发器：数据库内部因数据变化自动执行的一 类存储过程等等 4）数据库系统包括：用户、数据库应用程序、数据库管理系统和数据库四个组成要素。 5）数据库管理系统（Database Manage System，DBMS ）——是一种专门用来创建数据库、管理数据库、维护数据库，并提供对数据库访问的系统软件。数据 库管理系统（DBMS）主要功能：创建数据库和表; 创建支持结构,如索引等; 读取数 据库数据; 修改数据库数据; 维护数据库结构; 执行规则; 并发控制; 提供安全性; 执行 备份和恢复等等 第二章作业参考答案 1 单选题C B D A A 2. 判断题对对错对错 3填空题全外连接数据约束候选键用户定义完整性4简答题外码键 1）在关系模型中，使用“关系”来存储“实体”中的数据。关系（relation）——是指存放实体数据的二维表。关系特征：行存储实体的个体数据；列存储所

sqlserver到oracle数据无损迁移

sqlserver到oracle数据无损迁移 编者：liuli10@https://www.360docs.net/doc/587898831.html, 版本：V1.7 最后修订日期：2015-11-21

第一章简介 1.1数据迁移 随着时代发展数据越来越被重视，而很多时候，当系统需要更新换代的时候，升级后系统所是有的数据库与当前系统的数据库并不一致，此时不仅需要数据割接，最重要的是：如何能将老系统中的数据无损的割接到新系统、新数据库中。因此，结合项目实战经验，针对从windows平台下数据库sqlserver到linux平台下oracle数据库的数据无损迁移进行总结。 1.2数据库简介 一般此处会有很多数据库以及出品公司的历史以及发展历程，在编者看来然而并没有什么大用途，百度百科都可以搜索的到，因此本章结束，直接进入实战总结环节。

第二章sqlserver数据导出 2.1sqlserver数据导出命令 当然不可否认windows为sqlserver提供了强大的图形化平台，导出数据变得只需要点一点就能完成，然而这样的数据导出对于大批量有要求的操作，是极其劳神伤财的，因此，必须要通过命令行进行格式化导出，因此，这里介绍sqlserver 本机数据库导出命令。 2.1.1bcp命令以及参数介绍 https://www.360docs.net/doc/587898831.html,/liyanmingkong/article/details/6087674 https://www.360docs.net/doc/587898831.html,/uid-25472509-id-4304562.html https://www.360docs.net/doc/587898831.html,/link?url=WV2JJM4JHxR7Qct8rr_-499zPc3aP_7E5rOt5l yEnG_Mj_tE9_-ZN1JPE2Vc2wRpkO8QkNGNLVznDfMgniCOnxXhK5jQppNpZk8 Jo1x8o23 为了将文档尽可能精简，bcp命令的参数以及介绍请自行去以上任意网址查询。或者自行baidu或者google搜索。 2.2实战语句解析 实战语句为： bcp"select*from gwbnboss.dbo.ACCOUNT_BUSINESS"queryout "C:\Users\liuli9\Desktop\sqlserverdata_mov\textfile\ACCOUNT_BUSINESS.txt"-c -r"{#$&}"-t"{@#$}"-S"127.0.0.1"-U"数据库用户名"-P"密码" 最终导出的结果存在于 C:\Users\liuli9\Desktop\sqlserverdata_mov\textfile\ACCOUNT_BUSINESS.txt 文件中，当出现“{#$&}”时表示接下来是下一行数据，出现“{@#$}”时表示接下来是下一列数据。将查询结果集完整导出，不对数据做任何格式化或者修改操作，保证数据的原生无损。

(完整版)数据库课后习题及答案

第一章数据库系统概述 选择题 1实体-联系模型中，属性是指（C） A.客观存在的事物 B.事物的具体描述 C.事物的某一特征 D.某一具体事件 2对于现实世界中事物的特征，在E-R模型中使用（A） A属性描述B关键字描述C二维表格描述D实体描述 3假设一个书店用这样一组属性描述图书（书号，书名，作者，出版社，出版日期），可以作为“键”的属性是（A） A书号B书名C作者D出版社 4一名作家与他所出版过的书籍之间的联系类型是（B） A一对一B一对多C多对多D都不是 5若无法确定哪个属性为某实体的键，则（A） A该实体没有键B必须增加一个属性作为该实体的键C取一个外关键字作为实体的键D该实体的所有属性构成键 填空题 1对于现实世界中事物的特征在E-R模型中使用属性进行描述 2确定属性的两条基本原则是不可分和无关联 3在描述实体集的所有属性中，可以唯一的标识每个实体的属性称为键 4实体集之间联系的三种类型分别是1：1 、1：n 、和m：n 5数据的完整性是指数据的正确性、有效性、相容性、和一致性 简答题 一、简述数据库的设计步骤 答:1需求分析：对需要使用数据库系统来进行管理的现实世界中对象的业务流程、业务规则和所涉及的数据进行调查、分析和研究，充分理解现实世界中的实际问题和需求。 分析的策略：自下而上——静态需求、自上而下——动态需求 2数据库概念设计：数据库概念设计是在需求分析的基础上，建立概念数据模型，用概念模型描述实际问题所涉及的数据及数据之间的联系。 3数据库逻辑设计：数据库逻辑设计是根据概念数据模型建立逻辑数据模型，逻辑数据模型是一种面向数据库系统的数据模型。 4数据库实现：依据关系模型，在数据库管理系统环境中建立数据库。 二、数据库的功能 答：1提供数据定义语言，允许使用者建立新的数据库并建立数据的逻辑结构 2提供数据查询语言 3提供数据操纵语言 4支持大量数据存储 5控制并发访问 三、数据库的特点 答：1数据结构化。2数据高度共享、低冗余度、易扩充3数据独立4数据由数据库管理系统统一管理和控制：（1）数据安全性（2）数据完整性（3）并发控制（4）数据库恢复 第二章关系模型和关系数据库 选择题 1把E-R模型转换为关系模型时，A实体（“一”方）和B实体（“多”方）之间一对多联系在关系模型中是通过（A）来实现的

oracle列转行sql详细讲解

--当期时间贷款时间 SELECT DK_ID, max(substr(activeDate, 2)) activeDate FROM (SELECT DK_ID, sys_connect_by_path(activeDate, ',') activeDate FROM (SELECT DK_ID, activeDate, DK_ID || rn rchild, DK_ID || (rn - 1) rfather FROM (SELECT TEMP.DK_ID, --查询项目所在地树形结构全名 SELECT t.area_id, substr(sys_connect_by_path(t.area_name, '-'), 2) as allname , connect_by_root t.area_name as root, --是单一操作符，返回当前层的最顶层节点connect_by_isleaf as IsLeaf, --是伪列，判断当前层是否为叶子节点，1代表是，0代表否 level as lel --是伪列，显示当前节点层所处的层数 FROM dk_project_area_info t START WITH t.area_name = '项目所在地' CONNECT BY PRIOR t.area_id = t.area_pid SYS_CONNECT_BY_PATH 学习2008-09-08 10:59SELECT ename FROM scott.emp START WITH ename = 'KING' CONNECT BY PRIOR empno = mgr; 得到结果为：KING JONES SCOTT ADAMS FORD SMITH BLAKE ALLEN WARD MARTIN TURNER JAMES

oracle 行转列sql

表结构和数据如下（表名Test）： NO V ALUE NAME 1 a 测试1 1 b 测试2 1 c 测试3 1 d 测试4 2 e 测试5 4 f 测试6 4 g 测试7 Sql语句： select No, ltrim(max(sys_connect_by_path(Value, ';')), ';') as Value, ltrim(max(sys_connect_by_path(Name, ';')), ';') as Name from (select No, Value, Name, rnFirst, lead(rnFirst) over(partition by No order by rnFirst) rnNext from (select a.No, a.Value, https://www.360docs.net/doc/587898831.html,, row_number() over(order by a.No, a.V alue desc) rnFirst from Test a) tmpTable1) tmpTable2 start with rnNext is null connect by rnNext = prior rnFirst group by No; 检索结果如下： NO V ALUE NAME 1 a;b;c;d 测试1;测试2;测试3;测试4 2 e 测试5 4 f;g 测试6;测试7 简单解释一下那个Sql吧： 1、最内层的Sql（即表tmpTable1），按No和Value排序，并列出行号：select a.No, a.Value, https://www.360docs.net/doc/587898831.html,, row_number() over(order by a.No, a.V alue desc) rnFirst

SQLSERVER数据库、表的创建及SQL语句命令

SQLSERVER数据库、表的创建及SQL语句命令 SQLSERVER数据库，安装、备份、还原等问题： 一、存在已安装了sql server 2000，或2005等数据库，再次安装2008，会出现的问题 1、卸载原来的sql server 2000、2005，然后再安装sql server 2008，否则经常sql server服务启动不了 2、sql server服务启动失败，解决方法： 进入sql server configure manager，点开Sql server 网络配置（非sql native client 配置），点sqlzhh（我sqlserver 的名字）协议，将VIA协议禁用。再启动Sql Server服务，成功 如图: 二、在第一次安装SQLSERVER2008结束后，查看安装过程明细，描述中有较多项插件或程度，显示安装失败。 解决方法：

1、重新启动安装程度setup.exe，选择进行修复安装，至完成即可。 三、先创建数据库XXX，再进行还原数据库时，选择好备份文件XXX.bak，确定后进行还原，会报如下图的错误。 解决方法： 选择好备份数据库文件后，再进入“选项”中，勾选“覆盖现在数据库”即可。

四、查看数据库版本的命令：select @@version 在数据库中，点击“新建查询”，然后输入命令，执行结果如下 五、数据库定义及操作命令： 按照数据结构来组织、存储和管理数据的仓库。由表、关系以及操作对象组成，把数据存放在数据表中。 1、修改数据库密码的命令： EXEC sp_password NULL, '你的新密码', 'sa' sp_password Null,'sa','sa'

数据库课后答案

第1章思考与实践 1．选择题 (1) 从数据库的整体结构看，数据库系统采用的数据模型有（C ）。 A．网状模型、链状模型和层次模型 B．层次模型、网状模型和环状模型 C．层次模型、网状模型和关系模型 D．链状模型、关系模型和层次模型 (2) 数据库系统的构成为：数据库、计算机系统、用户和（ D ）。 A．操作系统 B．文件系统 C．数据集合 D．数据库管理系统 (3) 用二维表形式表示的数据模型是（ B ）。 A．层次模型 B．关系模型 C．网状模型 D．网络模型 (4) 关系数据库管理系统的3种基本关系运算不包括（ A ）。 A．比较 B．选择 C．连接 D．投影 (5) 数据库DB、数据库系统DBS和数据库管理系统DBMS之间的关系是（ B ）。 A．DBMS包括DB和DBS B．DBS包括DB和DBMS C．DB包括DBS和DBMS D．DB、DBS和DBMS是平等关系 (6) 在关系理论中，把二维表表头中的栏目称为（ D ）。 A．数据项 B．元组 C．结构名 D．属性名 (7) 下面有关关系数据库主要特点的叙述中，错误的是（ D ）。 A．关系中每个属性必须是不可分割的数据单元 B．关系中每一列元素必须是类型相同的元素 C．同一关系中不能有相同的字段，也不能有相同的记录 D．关系的行、列次序不能任意交换，否则会影响其信息内容 (8) 以一定的组织方式存储在计算机存储设备上，能为多个用户所共享的与应用程序彼此独立的相关数据的集合称为（ A ）。 A．数据库 B．数据库系统 C．数据库管理系统 D．数据结构 (9) 设有部门和职员两个实体，每个职员只能属于一个部门，一个部门可以有多名职员，则部门与职员实体之间的联系类型是（ B ）。 A．m∶n B．1∶m C．m∶k D．1∶1 (10) 在关系模型中，实现“关系中不允许出现相同的元组”的约束是通过（ B ）。 A．候选键 B．主键 C．外键 D．超键 2．填空题 (1) 关系数据库中每个关系的形式是（主外键引用0020 ）。 (2) 数据库技术研究在（计算机）环境下如何合理组织数据、有效管理数据和高效处理数据。 (3) 在实体间的联系中，学校和校长两个实体型之间存在（ 1：1 ）联系，而老师和同学两个实体型之间存在（ 1：m ）联系。 (4) 在关系数据模型中，二维表的列称为（字段），二维表的行称为（记录）。 (5) 数据模型不仅表示反映事物本身的数据，而且表示事物之间的（联系）。 (6) 从表中取出满足条件元组的操作称（选择）。 (7) 把两个关系中相同属性值的元组连接到一起形成新的二维表的操作称为（连接）。 (8) 从表中抽取属性值满足条件列的操作称（投影）。 (9) 为了把多对多的联系分解成两个一对多联系所建立的“纽带表”中应包含（两个表的主键）。

ORACLE关于动态SQL的使用

关于动态SQL的使用-----摘录 内容摘要：在PL/SQL开发过程中，使用SQL，PL/SQL可以实现大部份的需求，但是在某些特殊的情况下，在PL/SQL中使用标准的SQL语句或DML语句不能实现自己的需求，比如需要动态建表或某个不确定的操作需要动态执行。这就需要使用动态SQL来实现。本文通过几个实例来详细的讲解动态SQL的使用。 本文适宜读者范围：Oracle初级，中级 系统环境： OS：windows2000Professional(英文版) Oracle：8.1.7.1.0 正文： 一般的PL/SQL程序设计中，在DML和事务控制的语句中可以直接使用SQL，但是DDL语句及系统控制语句却不能在PL/SQL中直接使用，要想实现在PL/SQL中使用DDL语句及系统控制语句，可以通过使用动态SQL来实现。 首先我们应该了解什么是动态SQL，在Oracle数据库开发PL/SQL块中我们使用的SQL分为：静态SQL语句和动态SQL语句。所谓静态SQL指在PL/SQL块中使用的SQL语句在编译时是明确的，执行的是确定对象。而动态SQL是指在PL/SQL块编译时SQL语句是不确定的，如根据用户输入的参数的不同而执行不同的操作。编译程序对动态语句部分不进行处理，只是在程序运行时动态地创建语句、对语句进行语法分析并执行该语句。 Oracle中动态SQL可以通过本地动态SQL来执行，也可以通过DBMS_SQL包来执行。下面就这两种情况分别进行说明： 一、本地动态SQL 本地动态SQL是使用EXECUTE IMMEDIATE语句来实现的。 1、本地动态SQL执行DDL语句： 需求：根据用户输入的表名及字段名等参数动态建表。 create or replace procedure proc_test ( table_name in varchar2,--表名 field1in varchar2,--字段名 datatype1in varchar2,--字段类型 field2in varchar2,--字段名 datatype2in varchar2--字段类型 )as str_sql varchar2(500); begin str_sql:=create table||table_name||(||field1||||datatype1||,||field2|| ||datatype2||); execute immediate str_sql;--动态执行DDL语句 exception when others then null; end; 以上是编译通过的存储过程代码。下面执行存储过程动态建表。

SQLSERVER函数大全

SQL SERVER函数大全 SQL SERVER命令大全 SQLServer和Oracle的常用函数对比 1.绝对值 S:select abs(-1) value O:select abs(-1) value from dual 2.取整(大) S:select ceiling(-1.001) value O:select ceil(-1.001) value from dual 3.取整（小） S:select floor(-1.001) value O:select floor(-1.001) value from dual 4.取整（截取） S:select cast(-1.002 as int) value O:select trunc(-1.002) value from dual 5.四舍五入 S:select round(1.23456,4) value 1.23460 O:select round(1.23456,4) value from dual 1.2346 6.e为底的幂 S:select Exp(1) value 2.7182818284590451 O:select Exp(1) value from dual 2.71828182 7.取e为底的对数 S:select log(2.7182818284590451) value 1 O:select ln(2.7182818284590451) value from dual; 1 8.取10为底对数 S:select log10(10) value 1 O:select log(10,10) value from dual; 1 9.取平方 S:select SQUARE(4) value 16 O:select power(4,2) value from dual 16

大数据分析与列数据库

大数据分析与列数据库 近年来随着数据量的激增，对于数据分析的需求也日益迫切，传统的RDBMS已经远远不能满足企业对大数据分析的需求，虽然很多厂商都声称自己具有列数据库的特性，但是绝大多数都不具备处理真正大数据的能力，在今年8月份，Google 在VLDB 2012大会上发表了<< Processing a Trillion Cells per Mouse Click>>论文[1]，展示了Google新的大数据分析技术PowerDrill, 本文将借用这篇论文的实验数据，结合笔者的上一篇Hadoop文件格式[2]的内容介绍更多大数据分析中列数据库的核心原理, 希望读者能对列数据库的原理有更多了解，也希望对将来Hadoop在针对数据分析方面能够有更多优化, 并对一些忽悠的厂商和空喊口号的技术有辨别能力。 列文件格式和压缩 在常见的列数据库技术中，一个总是被混淆的概念是面向列储存和面向列的压缩(Column storage and Columnar compression, 见参考资料[3]) , 面向列储存指的是将同类数据放在一起，这类数据在物理磁盘和物理内存上表现为连续空间，也就是我们熟称的”将不同列分开放”(这个描述并不准确但是更容易理解), 而面向列的压缩是指将不同的数据以更小的代价存放在磁盘或内存中，它往往包括非常高效的编码和解码技术(Encoding and Decoding) , 比如Run Length Encoding , BitVector Encoding ,真正的列数据库中会包括与这些压缩格式相对应的延迟物化技术(later Materialization), 高效的压缩格式和延迟物化特性是真正列数据库和伪列数据库之间查询性能和集群吞吐能力的最主要差别. 高效压缩之Run length Encoding Run length Encoding将同一列的连续数据压缩成它的实际数值和这个数值出现的连续次数，比如 AAABBBBBCCCCCCC 这样一个包含15条数据的某列数值，run length encoding 会将它压缩成一个三元数组(实际值,起始位置,个数)，比如上面的数值会压缩成[A,1,3][B,4,5][C,8,7]的格式,从而使原始的数据无论在磁盘还是内存中都可以占用更少的空间，由于run length encoding 的特性，数据往往需要重新排序从而得到更好的结果，在实际生产环境中,性别，年龄，城市等选择性非常高的列往往都是run length encoding处理的对象.在列数据库中数据往往会经过多层排序，比如第一层排序为性别，第二层排序为年龄，第三层排序为城市, 即使那些本来选择性不算高的列，在排序之后的小范围区间内也可能使类似的记录满足run length encoding 的压缩条件，从而使记录更加适合压缩. 高效压缩之Bit-Vector Encoding Bit-vector encoding 是数据仓库中最常用的优化手段,行数据库中使用的一般为bitmap index, 它一般只针对单个列而且是额外的存储结构，列数据库中的bit-vector encoding 主要针对数据本身而且含有较少的唯一值才进行编码，在这种编码中,会先储存所有出现过的值，然后使用bit 数字1来表示实际这个数值是否出现在列中，其他bit位用0来表示. 比如某个chunk的数值为: A A C C D D A B E Bit-Vector encoding会使用ABCDE这样的字典来储存实际的值，然后使用: 110000100 : 对应bit-string 值A 000000010 : 对应bit-string 值B

Oracle行转列,列转行

先来个简单的用法 列转行 Create table test (name char(10),km char(10),cj int) insert test values('张三','语文',80) insert test values('张三','数学',86) insert test values('张三','英语',75) insert test values('李四','语文',78) insert test values('李四','数学',85) insert test values('李四','英语',78) select name, sum(decode(km,'语文',CJ,0)) 语文, sum(decode(km,'数学',cj,0)) 数学, sum(decode(km,'英语',cj,0)) 英语 from test1 group by name 姓名语文数学英语 张三80 86 75 李四78 85 78 行转列 with x as( selectname, sum(decode(km,'语文',CJ,0)) 语文 , sum(decode(km,'数学',cj,0)) 数学, sum(decode(km,'英语',cj,0)) 英语 fromtest groupbyname) selectname,decode(rn,1, '语文', 2, '数学', 3,'英语') 课程, decode(rn, 1, 语文, 2, 数学, 3,英语) 分数 from x, (selectlevel rn from dual connectby1=1andlevel<=3) (from 后面接两个表,是笛卡尔积)

sqlserver函数大全

在SQL Server在线图书或者在线帮助系统中，函数的可选参数用方括号表示。在下列的CONVERT()函数例子中，数据类型的length和style参数是可选的: CONVERT (data-type [(length)], expression[,style]) 可将它简化为如下形式，因为现在不讨论如何使用数据类型： CONVERT(date_type, expression[,style]) 根据上面的定义，CONVERT()函数可接受2个或3个参数。因此，下列两个例子都是正确的： SELECT CONVERT(Varchar(20),GETDATE()) SELECT CONVERT(Varchar(20),GETDATE(), 101) 这个函数的第一个参数是数据类型Varchar(20)，第2个参数是另一个函数GETDATE()。GETDATE()函数用datetime数据类型将返回当前的系统日期和时间。第2条语句中的第3个参数决定了日期的样式。这个例子中的101指以mm/dd/yyyy格式返回日期。本章后面将详细介绍GETDATE()函数。即使函数不带参数或者不需要参数，调用这个函数时也需要写上一对括号，例如GETDATE()函数。注意在书中使用函数名引用函数时，一定要包含括号，因为这是一种标准形式。 确定性函数 由于数据库引擎的内部工作机制，SQL Server必须根据所谓的确定性，将函数分成两个不同的组。这不是一种新时代的信仰，只和能否根据其输入参数或执行对函数输出结果进行预测有关。如果函数的输出只与输入参数的值相关，而与其他外部因素无关，这个函数就是确定性函数。如果函数的输出基于环境条件，或者产生随机或者依赖结果的算法，这个函数就是非确定性的。例如，GETDATE()函数是非确定性函数，因为它不会两次返回相同的值。为什么要把看起来简单的事弄得如此复杂呢？主要原因是非确定性函数与全局变量不能在一些数据库编程对象中使用(如用户自定义函数)。部分原因是SQL Server缓存与预编译可执行对象的方式。例如，即席查询可以使用任何函数，不过如果打算构建先进的、可重用的编程对象，理解这种区别很重要。 以下这些函数是确定性的： ●?AVG()(所有的聚合函数都是确定性的) ●?CAST() ●?CONVERT() ●?DATEADD() ●?DATEDIFF() ●?ASCII() ●?CHAR() ●?SUBSTRING() 以下这些函数与变量是非确定性的： ●?GETDATE()

一个完整的数据库示例--说明

一、表的结构及完整性约束 新建一个数据库jxsk，包括S、C、SC、T、TC五个表，结构如下：C表： S表： SC表： T表：

TC表： 二、安全性控制及视图机制 1、三类角色：depart、teacher、student depart的权限： teacher的权限：

student的权限： 2、有2个院系用户：d_jsj，d_xx，同属于depart角色。

有1个教师用户：t ，属于teacher 角色。

有一个学生用户：s，属于student角色。 3、创建计算机系教师视图t_view_jsj、计算机系学生视图s_view_jsj，并授予d_jsj 用户在这两个视图上的select、delete、update、insert权限。 计算机系教师视图t_view_jsj： create view t_view_jsj as select tno,tn,sex,age,prof,sal,comm,dept from t where dept='计算机' with check option

授予d_jsj用户在计算机系教师视图t_view_jsj 上的select、delete、update、insert 权限： grant select,update,delete,insert on t_view_jsj to d_jsj 计算机系学生视图t_view_jsj： create view s_view_jsj as select sno,sn,sex,age,dept,resume,native from s where dept='计算机' with check option 授予d_jsj用户在计算机系学生视图s_view_jsj 上的select、delete、update、insert 权限： grant select,update,delete,insert on s_view_jsj to d_jsj …… 4、创建一个视图，显示学号,姓名,院系,课程名,成绩。 create view score_view(学号,姓名,院系,课程名,成绩) as select s.sno,sn,dept,cn,score from s,sc,c where s.sno=sc.sno and https://www.360docs.net/doc/587898831.html,o=https://www.360docs.net/doc/587898831.html,o 三、完整性控制--触发器、规则 1、要求当删除C表中某课程信息时，同时删除SC和TC中与此课程相关的记录。create trigger c_delete_trigger on c after delete as delete from sc where cno in (select cno from deleted) delete from tc where cno in (select cno from deleted) go

动态行列转换(列数不固定)

众所周知，静态SQL的输出结构必须也是静态的。对于经典的行转列问题，如果行数不定导致输出的列数不定，标准的答案就是使用动态SQL, 到11G里面则有XML结果的PIVOT。 今天在asktom看到的一篇贴子彻底颠覆了我的看法！贴子里的链接指向另一个牛人辈出的荷兰公司： http://technology.amis.nl/2006/0 ... ing-antons-thunder/ 还记得Anton Scheffer吗？这位神人先是用10G的MODEL写了SUDOKU的一句SQL的解法，在11GR2推出之后又率先用递归WITH写了个只有短短几行的SUDOKU解法。他的作品还有EXCEL文件生成器。 早在2006年他就发明了真正动态的行转列办法，用的是一系列神秘的函数，如同自定义聚合函数STRAGG里面用的那些。这个神秘的对象代码如下： 1.CREATE OR REPLACE 2.type PivotImpl as object 3.( 4.ret_type anytype,-- The return type of the table function 5.stmt varchar2(32767), 6.fmt varchar2(32767), 7.cur integer, 8.static function ODCITableDescribe( rtype out anytype, p_stmt in varchar2, p_fmt in varchar2 := 'upper(@p@)', dummy in number := 0 ) 9.return number, 10.static function ODCITablePrepare( sctx out PivotImpl, ti in sys.ODCITabFuncInfo, p_stmt in varchar2, p_fmt in varchar2 := 'upper(@p@)', dummy in number := 0 ) 11.return number, 12.static function ODCITableStart( sctx in out PivotImpl, p_stmt in varchar2, p_fmt in varchar2 := 'upper(@p@)', dummy in number := 0 ) 13.return number, 14.member function ODCITableFetch( self in out PivotImpl, nrows in number, outset out anydataset ) 15.return number, 16.member function ODCITableClose( self in PivotImpl ) 17.return number 18.) 19./ 20. 21.create or replace type body PivotImpl as 22.static function ODCITableDescribe( rtype out anytype, p_stmt in varchar2, p_fmt in varchar2 := 'upper(@p@)', dummy in number ) 23.return number 24.is 25.atyp anytype; 26.cur integer; 27.numcols number; 28.desc_tab dbms_sql.desc_tab2; 29.rc sys_refcursor; 30.t_c2 varchar2(32767); 31.t_fmt varchar2(1000); 32.begin 33.cur := dbms_sql.open_cursor; 34.dbms_sql.parse( cur, p_stmt, dbms_sql.native ); 35.dbms_sql.describe_columns2( cur, numcols, desc_tab ); 36.dbms_sql.close_cursor( cur ); 37.-- 38.anytype.begincreate( dbms_types.typecode_object, atyp ); 39.for i in 1 .. numcols - 2