GP基础介绍

6、大表删除操作，尽量通过外连接+插入+truncate进行替代
7、尽量避免进行存储过程函数嵌套导致锁冲突，考虑使用其它语言进行 总体调度，比如shell,java，c等。


8、尽量避免在数据库中使用序列，游标, 循环，考虑对数据进行整体操作。
9、避免高度频繁的建表删表操作，容易造成字典破碎和字典锁的问题，因此可 以通过临时表和其它语言方式替代。
11、检查大表的hash键定义是否可以保证每个segment存储均匀，数据处理均 匀，以及大表连接操作过程中可以尽量避免motion操作。从目前业务看，可以考 虑客户ID, 电话号码作为首选的hash键，然后进行检查。
12、为了加快开发进度，减少开发时的彼此影响，建议每个开发人员装一个gp虚 拟机，相关表放入少量记录，进行单步测试。通过单步测试后，统一提交到测试 服务器上进行联合测试和压力测试。 13、运行较大操作时，不建议使用pgadmin完成操作，建议写成shell脚本在后 台进行测试。避免频繁不正常中断操作，对整个开发产生影响 14、尽量避免不正常中断操作，如需不正常中断操作，请使用函数 pg_cancel_backend函数，并耐心等待3~5分钟，再继续相关操作，避免造成数 据字典破坏。
3
• • • •
•
• •
•
•
GREENPLUM简介 并行运算 列存储 创建删除表 查询数据 更新数据 存储过程 其他基本语法 开发注意事项
4
• 列存储将每条记录的每一 列字段数据聚合存储 • 优点：省IO操作、大数据 量访问提高性能、增加磁 盘空间利用率
A 1 2 3 4 5 A1 A2 A3 A4 A5 B B1 B2 B3 B4 B5 C C1 C2 C3 C4 C5
列存储 • 少数字段查询，大幅节
省I/O操作 大数据量频繁访问，性 能提升30%以上
•
制Partition存储方式 达到最优化访问性能
6
• • • •
•
• •
•
GREENPLUM简介 列存储 并行运算 创建删除表 查询数据 存储过程 其他基本语法 开发注意事项
7
Table Type
•Heap table – Base row store – Support all SQL operation – Can’t Compression •Apend-only table (哈希方式)： – – – Base column store or row store Support select , insert only compression (zlib or quicklz)
SELECT null, null, sum(prc*qty)
FROM SALE ORDER BY 1,2,3;
SELECT pn, vn, sum(prc*qty) FROM sale GROUP BY CUBE(pn, vn) ORDER BY 1,2,3;
优化代替 SELECT pn, vn, sum(prc*qty) FROM sale GROUP BY GROUPING SETS ( (pn, vn), (pn), (vn), () ) ORDER BY 1,2,3;
compresstype=zlib,COMPRESSLEVEL=9)
) DISTRIBUTED BY (c_customer_id)
PARTITION BY RANGE ( week_number ) (START (200701) END (200752) INCLUSIVE);
创建删除表
•分布键（哈希键）
A1, A2, A3, A4, A5, A6
B1, B2, B3, B4
B5, B6 C1, C2, C3, C4, C5, C6
6
A6
B6
C6
5
Row 1 Row 2 Row 3
＋
•
组合存储 • 按照应用类型，随需定
Column 1
Column 2
Column 3
行存储 • 大多数字段频繁查询 • 随机行访问较多
创建删除表
• 表压缩
※ Apend-only类型的表，基于行列均可，并可做行或列压缩。
• 分区键
※ 在表的数据分布基础之上，进行数据打散 ※ 数据分布均匀为原则 ※ 分区不重叠
创建删除表
• 删除表：
DROP TABLE table_name;
• • • •
•
• •
•
Hale Waihona Puke GREENPLUM简介 并行运算 列存储 创建删除表 查询数据 存储过程 其他基本语法 开发注意事项


※ 未指定分布键，默认为表的主键为分布键，若表没有主键，则默 认把第一列当做哈希键 ※ 分布键可以被定义为一个或多个 ※ 分布键必须是唯一键 ※ 不能修改分布键，且哈希键的列不能update ※ 一个表只能定义一个唯一键，且主键和唯一键必须作为哈希键 ※ 不支持Foreign key ※ 不支持Trigger ※ 数值重复度低，保证数据均匀分布 ※ 防止数据倾斜，布尔值不适合，float、double数据类型也不适合， interger、varchar比较好 ※ 防止数据处理倾斜 ※ 大表经常做连接时，选择相同的分布键，避免跨节点进行join ※ 尽量不用序列号，无意义

• • • •
•
• •
•
GREENPLUM简介 并行运算 列存储 创建删除表 查询数据 存储过程 其他基本语法 开发注意事项
19

1、批量数据处理后，无论成功与否，都应该进行vaccum analyze <table_name>. 2、对于大表的DISTINCT操作，请用 GROUP BY操作进行替代 3、对于大表的UNION操作，请用UNION ALL 加 group by进行改写 4、嵌套查询操作，尽量改写成连接查询操作 5、大表更新操作，尽量通过外连接+插入+truncate进行替代
•
•
• • • • • • •
GREENPLUM简介 并行运算 列存储 创建删除表 查询数据 更新数据 存储过程 其他基本语法 开发注意事项
2
• • •
并行加载技术充分利用分布式计算和分布式存储的优势，保证发挥出每一块Disk 的I/O资源 并行加载比串行加载，速度提高40-50倍以上，减少ETL窗口时间 增加Segment和ETL Server，并行加载速度呈线性增长
• 调用方式
SELECT FUNC_NAME(‘20110930’);
支持标准SQL(2003 standard) 完全兼容PostgreSQL 新建数据库：CREATE DATABASE 删除数据库：DROP DATABASE 修改数据库：ALTER DATABASE（名字、用户所属、参数设置） 创建模式：CREATE SCHEMA 删除模式：DROP SCHEMA 修改模式：ALTER SCHEMA(名字、用户所属) 查看当前模式：SELECT CURRENT_SCHEMA;
•External table – Data store in flat file out of database – Support select only – Can’t index
创建删除表
• 创建表(哈希方式)：
CREATE TABLE customer ( c_customer_id INT, week_number INT, . . . WITH (appendonly=true,orientation=column,
13

SELECT pn, vn, sum(prc*qty) FROM sale GROUP BY ROLLUP(pn, vn) ORDER BY 1,2,3;
优化代替 SELECT pn, vn, sum(prc*qty) FROM sale GROUP BY pn, vn UNION ALL SELECT pn, null, sum(prc*qty) FROM sale GROUP BY pn UNION ALL
• • • •
•
• •
•
GREENPLUM简介 并行运算 列存储 创建删除表 查询数据 存储过程 其他基本语法 开发注意事项
16
• 定义方式：
CREATE FUNCTION FUNC_NAME(IN day_id character varying, OUT v_retcode character varying) RETURNS record AS $$ DECLARE BENIN …… END $$ LANGUAGE SQL;