GreenPlum数据库详细安装过程

合集下载

greenplum单机安装

greenplum单机安装

greenplum单机安装环境:服务器版本:centos 6.5数据库版本:greenplum-db-4.2.8.5-build-1-RHEL5-x86_64.zip1.创建⽤户和组gpadmingroupadd -g 3030 gpadminuseradd -u 3030 gpadmin -g gpadmin -d /home/gpadminpasswd gpadmin配置内核参数,添加如下内容:vi /etc/sysctl.conf#By greenplumnet.ipv4.ip_forward = 0net.ipv4.conf.default.accept_source_route = 0kernel.sysrq = 1kernel.core_uses_pid = 1net.ipv4.tcp_syncookies = 1kernel.msgmnb = 65536kernel.msgmax = 65536kernel.sem = 250 64000 100 512kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 64000 100 512net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096dev_max_backlog=10000vm.overcommit_memory=2net.ipv4.conf.all.arp_filter = 1以上参数可以根据⾃⼰系统配置做适当修改⼿⼯执⾏命令,让参数⽣效[root@gpmaster ~]# sysctl -p在limits.conf⽂件中添加如下配置[root@gpmaster ~]# vi /etc/security/limits.conf# End of file* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072配置⽤户ssh⽤户⽆密码登录,单机也得配置[root@gpmaster ~]# su - gpadmin[gpadmin@gpmaster ~]$ mkdir ~/.ssh[gpadmin@gpmaster ~]$ chmod 700 ~/.ssh[gpadmin@gpmaster ~]$ cd .ssh/[gpadmin@gpmaster .ssh]$ ssh-keygen -t rsa[gpadmin@gpmaster .ssh]$ ssh gpmaster cat /home/gpadmin/.ssh/id_rsa.pub >>authorized_keys [gpadmin@gpmaster .ssh]$chmod 600 authorized_keys[gpadmin@gpmaster .ssh]$ ssh gpmaster date2.安装GP软件⽅式⼀:[root@gpmaster ~]# unzip greenplum-db-4.2.8.5-build-1-RHEL5-x86_64.zip[root@gpmaster ~]# ./greenplum-db-4.2.8.5-build-1-RHEL5-x86_64.bin⽅式⼆:[root@gpmaster ~]# rpm -ivh greenplum-db-4.2....创建instance需要的⽬录[root@gpmaster ~]# mkdir -p /app/master[root@gpmaster ~]# mkdir -p /app/data/gp1[root@gpmaster ~]# mkdir -p /app/data/gp2[root@gpmaster ~]# mkdir -p /app/data/gp3[root@gpmaster ~]# mkdir -p /app/data/gp4修改⽬录属主:[root@gpmaster ~]# chown -R gpadmin:gpadmin /usr/local/greenplum-db*[root@gpmaster ~]# chown -R gpadmin:gpadmin /app/master[root@gpmaster ~]# chown -R gpadmin:gpadmin /app/data/gp1[root@gpmaster ~]# chown -R gpadmin:gpadmin /app/data/gp2[root@gpmaster ~]# chown -R gpadmin:gpadmin /app/data/gp3[root@gpmaster ~]# chown -R gpadmin:gpadmin /app/data/gp4修改gpadmin⽤户环境配置:[root@gpmaster ~]# su - gpadmin[gpadmin@gpmaster ~]$ vi .bash_profilesource /usr/local/greenplum-db/greenplum_path.shexport MASTER_DATA_DIRECTORY=/app/master/gpseg-1export PGPORT=5432export PGUSER=gpadminexport PGDATABASE=gpmaster⽣效:[gpadmin@gpmaster ~]$ source .bash_profile编辑all_hosts_file⽂件,添加如下内容:[gpadmin@gpmaster ~]$ vi all_hosts_filegpmaster执⾏如下命令验证⽤户等效性[gpadmin@gpmaster ~]$ gpssh-exkeys -f all_hosts_file3.初始化系统:编辑系统初始化的参数⽂件,这个⽂件的编辑可以使⽤模版,模板⽂件所在⽬录如下:[gpadmin@gpmaster ~]$ cp /usr/local/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config /home/gpadmin/编辑gp参数⽂件,修改如下配置:[gpadmin@gpmaster ~]$ vi gpinitsystem_configdeclare -a DATA_DIRECTORY=(/app/data/gp1 /app/data/gp2 /app/data/gp3 /app/data/gp4)MASTER_HOSTNAME=gpmasterMASTER_DIRECTORY=/app/masterDATABASE_NAME=gpmaster编辑seg_hosts_file⽂件[gpadmin@gpmaster ~]$ vi seg_hosts_filegpmaster执⾏初始化系统命令:[gpadmin@gpmaster ~]$ gpinitsystem -c gpinitsystem_config -h seg_hosts_file系统开始初始化,之后会看到如下提⽰:Continue with Greenplum creation Yy/Nn>输⼊ Y ,按回车,系统会初始化完成安装结束可以连接GP数据库了:[gpadmin@gpmaster ~]$ psql -d gpmasterpsql (8.2.15)Type "help" for help.gpmaster=#创建数据库[gpadmin@gpmaster ~]$ createdb testDB -E utf-8给数据库权限[gpadmin@gpmaster ~]$ psql -d gpmasterpsql (8.2.15)Type "help" for help.gpmaster=# \c testDBYou are now connected to database "testDB" as user "gpadmin".testDB=# alter role gpadmin with password 'gpadmin';远程权限[gpadmin@gpmaster ~]$ cd $MASTER_DATA_DIRECTORY/[gpadmin@gpmaster gpseg-1]$ lsbase pg_distributedlog pg_stat_tmp pg_xlogglobal pg_distributedxidmap pg_subtrans postgresql.confgp_dbid pg_hba.conf pg_tblspc postmaster.opts gpperfmon pg_ident.conf pg_twophase postmaster.pidpg_changetracking pg_log pg_utilitymodedtmredopg_clog pg_multixact PG_VERSION[gpadmin@gpmaster gpseg-1]$[gpadmin@gpmaster gpseg-1]$ vi pg_hba.confhost testDB gpadmin 192.168.96.1/32 md5通过gpstop -u命令使配置⽣效[gpadmin@gpmaster gpseg-1]$ gpstop -u通过其他机器登录数据库$ psql -h192.168.96.128 -p5432 -d testDB -Ugpadmin。

【PG】Greenplum-db-6.2.1的安装部署

【PG】Greenplum-db-6.2.1的安装部署

【PG】Greenplum-db-6.2.1的安装部署⽬录前置条件:Greenplum⼀般集群,需要⼀个Master和三个Segment。

这篇⽂档,只讲部署,不讲基本概念。

IP地址规划:Mater:172.30.200.100Segment:172.30.200.101,172.30.200.102,172.30.200.1031配置host⽂件(所有节点)[root@arpmdw ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6172.30.200.100 arpmdw172.30.200.101 arpsdw1172.30.200.102 arpsdw2172.30.200.103 arpsdw3当然每个主机,都需要配置⾃⼰的hostname,这⾥不赘述了。

2 配置⽤户groupadd gpadminuseradd gpadmin -g gpadminpasswd gpadmin3 配置/etc/sysctl.conf⽂件fs.aio-max-nr = 1048576fs.file-max = 6815744kernel.shmall = 2147483648kernel.shmmax = 68719476736kernel.shmmni = 4096kernel.sem = 1024 204800 1024 512net.ipv4.ip_local_port_range = 9000 65500net.core.rmem_default = 262144net.core.rmem_max = 4194304net.core.wmem_default = 262144net.core.wmem_max = 1048586因为/proc/sys/kernel/sem配置不正确,可能会有如下错误错误⽇志如下:cat /home/gpadmin/gpAdminLogs/gpinitsystem_20200304.log有如下错误:2020-03-04 03:10:25.714894 GMT,,,p11333,th-349497216,,,,0,,,seg-10000,,,,,"FATAL","XX000","could not create semaphores: 设备上没有空间 (pg_sema.c:126)","Failed system call was semget(5432031, 17, 03600).","This error does *not* mean4 limit⽂件,后⾯添加【不影响安装】5 安装greenplum-db-6.2.1-rhel7-x86_64.rpmrpm -ivh greenplum-db-6.2.1-rhel7-x86_64.rpm安装的默认⽬录:/usr/local/greenplum-db。

GreenPlum数据库详细安装过程

GreenPlum数据库详细安装过程

目录1.1.GreenPlum数据库概述........................................1.2.GreenPlum数据库架构原理....................................2.SUSELinuxEnterprise1164-bit操作系统安装过程.....................2.1.初始化阶段 .................................................2.2.系统分区 ...................................................2.3.软件选择和系统任务 .........................................2.4.语言选择 ...................................................2.5.Kdump设置..................................................2.6.安装过程 ...................................................3.配置网卡IP......................................................4.GreenPlum中Master配置过程......................................4.1.建立gpadmin用户 ...........................................4.2.关闭防火墙 .................................................4.3.启动FTP....................................................4.4.使用FlashXP上传GreenPlum数据 .............................4.5.使用putty.exe工具配置GreenPlum数据库 .....................4.6.GreenPlum数据库配置详情....................................GrennPlum数据库的初始化...............................修改GreenPlum数据库账户的权限........................附录A...............................................................附录B...............................................................1.概述1.1.GreenPlum数据库概述1.2.GreenPlum数据库架构原理本系统中GreenPlum由一个主节点(master)和四个从节点(segment)构成,主节点和从节点由一台千兆交换机进行连接。

GreenPlum 数据库集群安装说明及使用手册v1.0

GreenPlum 数据库集群安装说明及使用手册v1.0

GreenPlum数据库集群安装说明及使用手册开心十二月总结****年**月**日目录1体系结构介绍 (4)2安装 (10)2.1安装 (10)2.1.1安装准备 (10)2.1.2安装gp-db (11)2.1.3配置通讯 (13)2.1.4建立数据存储池 (17)2.1.5同步系统时间 (17)2.1.6验证安装是否成功 (17)2.1.7初始化 (17)2.1.8数据库的启停 (18)2.2Master双机热备 (19)2.3Segment节点互备 (20)3GP数据库的使用 (22)3.1pgAdminIII工具 (22)3.1.1安装和第一次使用pgAdminIII (22)3.1.2主窗体 (23)3.1.3导航菜单 (23)3.1.4工具栏介绍 (24)3.1.5数据库与表的创建 (25)3.1.6使用pgAdminIII备份数据库 (25)3.2JDBC配置 (26)3.3GP数据库两个重要概念 (27)3.3.1什么是Schema (27)3.3.2数据分布存储 (28)3.4GP的SQL语法 (28)3.4.1数据加载 (28)3.4.2SQL并行查询 (32)3.4.3聚合函数 (32)3.4.4索引 (32)3.4.5分区 (34)3.4.6函数 (35)4维护数据库 (39)4.1数据库启动gpstart (39)4.2数据库停止gpstop (41)4.3查看实例配置和状态 (41)4.4查看数据库运行状态gpstate (42)4.5查看用户会话和提交的查询等信息 (43)4.6查看数据库、表占用空间 (43)4.7查看数据分布情况 (44)4.8实例恢复gprecoverseg (44)4.9查看锁信息 (44)4.10数据库的备份与恢复 (44)5调优、排错 (44)6附件 (44)6.1DBA常用命令 (44)7Q&A (45)7.1不支持触发器 (45)7.2更新操作中的若干问题 (45)1体系结构介绍Greenplum数据库产品——下一代数据仓库引擎和分析方法Greenplum公司是企业数据云计算解决方案的创始人,为客户提供灵活的数据商业智能和分析方法。

greenplum gdfdist使用手册

greenplum gdfdist使用手册

greenplum gdfdist使用手册Greenplum GDFDist 使用手册概述Greenplum GDFDist 是一个用于在 Greenplum 数据库集群中进行分布式数据传输和加载的工具。

它提供了高效、可靠和并行的数据传输功能,能够加速数据导入和导出的过程。

本手册将向您介绍 GDFDist 的安装和配置方法,并提供一些常见的使用示例。

安装和配置1. 安装 GDFDistGDFDist 是作为 Greenplum 数据库分发功能的一部分提供的。

在安装 Greenplum 数据库时,GDFDist 已经被自动包括在内。

确保已正确安装 Greenplum 数据库版本来使用 GDFDist。

2. 配置 GDFDist在开始使用 GDFDist 之前,需要进行一些配置。

打开 Greenplum 数据库配置文件(通常位于 `$MASTER_DATA_DIRECTORY/gpseg-1/postgresql.conf`),找到以下配置项,并根据需要进行修改: - `gp_external_enable`:确保该配置项的值为 `on`,以启用外部表和 GDFDist 功能。

- `gp_external_max_segs`:根据您的集群规模和性能需求,适当调整此配置项的值。

它控制了能使用 GDFDist 进行数据传输的并行进程数量。

完成配置后,重新加载Greenplum 数据库配置文件以使更改生效。

使用示例以下是一些常见的 GDFDist 使用示例,展示了不同场景下如何高效地使用数据传输功能。

1. 从本地文件导入数据到 Greenplum 数据库使用 `COPY` 命令结合 GDFDist,可以将本地文件中的数据快速导入到 Greenplum 数据库中。

示例命令如下:```COPY my_table FROM PROGRAM 'gdfdist -F text -b my_file.txt' WITH (FORMAT CSV, HEADER);```在上述命令中,`my_table` 是指目标表的名称,`my_file.txt` 是指本地文件的路径名。

gpload装载流程

gpload装载流程

gpload装载流程以gpload装载流程为标题,我们来介绍一下gpload的装载流程。

一、什么是gpload?gpload是Greenplum数据库中用于数据导入的工具。

它能够以高速、高效的方式将数据加载到Greenplum数据库中,是一个十分方便的数据导入工具。

二、gpload的基本原理gpload的基本原理是通过解析一个特定格式的配置文件,将数据从外部文件加载到Greenplum数据库中。

配置文件中包含了数据源、目标表、字段映射关系等信息,通过解析配置文件,gpload可以自动完成数据导入的过程。

三、gpload的装载流程1. 创建配置文件我们需要创建一个配置文件,该文件包含了数据源、目标表、字段映射关系等信息。

在配置文件中,我们需要指定数据源的位置、数据源的格式、目标表的名称以及字段映射关系等。

2. 配置文件解析gpload会读取配置文件,并解析其中的内容。

它会根据配置文件中的信息,确定数据源的位置、数据源的格式以及目标表的名称等。

3. 数据读取gpload会根据配置文件中指定的数据源位置和数据源格式,读取数据源中的数据。

它可以支持各种常见的数据格式,例如CSV、文本文件等。

4. 数据转换在将数据加载到目标表之前,gpload会对数据进行转换。

它会根据配置文件中指定的字段映射关系,将数据源中的数据转换成目标表中对应字段的格式。

5. 数据加载gpload将转换后的数据加载到目标表中。

它会根据配置文件中指定的目标表名称和字段映射关系,将数据写入到相应的字段中。

四、gpload的优势1. 高速gpload使用并行加载的方式,能够大大提高数据导入的速度。

它可以同时加载多个数据块,充分利用Greenplum数据库的并行处理能力。

2. 灵活gpload支持各种常见的数据格式,可以加载来自不同数据源的数据。

同时,它也支持自定义的字段映射关系,可以根据实际需求进行灵活配置。

3. 易用gpload的配置文件简单明了,易于理解和使用。

Greenplum详细安装

Greenplum详细安装

Greenplum安装一、环境准备VMWARE6.5虚拟机上Redhat5(虚拟两个32位的redhatOS)每个虚拟OS的配置512M内存,8G硬盘容量二、LINUX准备过程1.查看OS的位数,确定GP的版本#getconf LONG_BIT#322.官网上下载32位的Greenplum安装文件greenplum-db-3[1].3.6.1-build-1-RHEL5-i386.zip,大小44M,解压后也差不多44M,里面包含两个文件:一个是安装文件,一个是安装指导3.解压命令:# unzip greenplum-db-3[1].3.6.1-build-1-RHEL5-i386.zip在各台GP主机上编辑/etc/sysctl.conf文件,替换或新增以下参数,重启:kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 64000 100 512net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096dev_max_backlog=10000vm.overcommit_memory=2net.ipv4.ip_local_port_range = 1025 65535--文档上没有,新增的在各台主机上同样编辑/etc/security/limits.conf* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072三、软件安装及准备配置1.将master主机改名为local_master,segment主机改名为local_segment;分别修改/etc/hosts为:Local_master:127.0.0.1 localhost.localdomain localhost192.168.224.128 local_masterLocal_segment:127.0.0.1 localhost.localdomain localhost192.168.224.131 local_segment/etc/sysconfig/network为:Local_master:NETWORKING=yesNETWORKING_IPV6=no#HOSTNAME=localhost.localdomainHOSTNAME=local_masterLocal_segment:NETWORKING=yesNETWORKING_IPV6=no#HOSTNAME=localhost.localdomainHOSTNAME=local_segment改完后生效:#service network restart改完后查看:#hostname2.在master安装GP软件:#/bin/bash greenplum-db-3.3.6.1-build-1-RHEL5-i386.bin然后lience accept yes,安装GP路径:/opt/greenplum-db-3.3.6.1安装好了文件夹greenplum-db-3.3.6.1里面会出现以下文件:bin demo docs etc ext greenplum_path.sh include lib LICENSE sbin share 另外外部还会出现一个软链接:[root@local_master opt]# ls -ltotal 12lrwxrwxrwx 1 root root 22 Apr 19 18:52 greenplum-db -> ./greenplum-db-3.3.6.1 drwxr-xr-x 11 root root 4096 Apr 19 18:52 greenplum-db-3.3.6.1四、Master主机配置1.新增Greenplum用户并指定密码,在root用户下执行# useradd gpadmin# passwd gpadmin# New password: gpadmin# Retype new password: gpadmin2.创建用户组,把gpadmin用户放入组gpadmin中# groupadd gpadmin# usermod -g gpadmin gpadmin3.更改所有者,将创建的Greenplum文件用户更换为gpadminchown -R gpadmin greenplum-db-3.3.6.1chgrp -R gpadmin greenplum-db-3.3.6.1chown -R gpadmin greenplum-dbchgrp -R gpadmin greenplum-db4.配置环境变量greenplum_path.sh这个文件是用来配置环境变量和安装路径的,具体内容:# cat /opt/greenplum-db/greenplum_path.shGPHOME=/opt/greenplum-db-3.3.6.1# Replace with symlink path if it is present and correctif [ -h ${GPHOME}/../greenplum-db ]; thenGPHOME_BY_SYMLINK=`(cd ${GPHOME}/../greenplum-db/ && pwd -P)`if [ x"${GPHOME_BY_SYMLINK}" = x"${GPHOME}" ]; thenGPHOME=`(cd ${GPHOME}/../greenplum-db/ && pwd -L)`/.fiunset GPHOME_BY_SYMLINKfiPATH=$GPHOME/bin:$GPHOME/ext/python/bin:$PATHLD_LIBRARY_PATH=$GPHOME/lib:$GPHOME/ext/python/lib:$LD_LIBRARY_PA THPYTHONPATH=$GPHOME/lib/pythonPYTHONHOME=$GPHOME/ext/pythonexport GPHOMEexport PATHexport LD_LIBRARY_PATHexport PYTHONPATHexport PYTHONHOME切换到gpadmin用户下,修改.bash_profile文件为#su – gpadmin#cat .bash_profile# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi# User specific environment and startup programsGPHOME=/opt/Greenplum# Replace with symlink path if it is present and correctif [ -h ${GPHOME}/../greenplum-db ]; thenGPHOME_BY_SYMLINK=`(cd ${GPHOME}/../greenplum-db/ && pwd -P)`if [ x"${GPHOME_BY_SYMLINK}" = x"${GPHOME}" ]; thenGPHOME=`(cd ${GPHOME}/../greenplum-db/ && pwd -L)`/.fiunset GPHOME_BY_SYMLINKfiPATH=$GPHOME/bin:$GPHOME/ext/python/bin:$PATHLD_LIBRARY_PATH=$GPHOME/lib:$GPHOME/ext/python/lib:$LD_LIBRARY_PA THPYTHONPATH=$GPHOME/lib/pythonPYTHONHOME=$GPHOME/ext/pythonexport GPHOMEexport PATHexport LD_LIBRARY_PATHexport PYTHONPATHexport PYTHONHOME初始化(gpadmin下)source ./bash_profile5.创建master数据文件以root用户创建master的数据存放路径,该目录只存放系统数据,不会存放其他用户数据,并更改所有者#mkdir /opt/master_database#chown gpadmin /opt/ master_database#chgrp gpadmin /opt/ master_database五、Segment主机配置1.建立主机文件阵列以root用户先在master上建立一个包含所有(master,segment,backup master)主机名的文件如下:[root@local_master ~]# cat /etc/all_hostslocal_masterlocal_segment2.修改master的hosts文件分别查看虚拟机OS的ip地址,并加入master(选其中的一台)#ifconfig -ainet addr:192.168.224.128 --masterinet addr:192.168.224.131 --segment以128作为master,修改/etc/hosts文件为# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1 localhost.localdomain localhost192.168.224.128 local_master192.168.224.131 local_segment建立信任的主机环境,在master上以root用户登录,初始化参数#source /opt/greenplum-db-3.3.6.1/greenplum_path.sh测试master与segment的连接,采用Gp自带的包,测试过程如下:[root@local_master ~]# gpssh-exkeys -f /etc/all_hosts[STEP 1 of 5] create local ID and authorize on local host... /root/.ssh/id_rsa file exists ... key generation skipped[STEP 2 of 5] keyscan all hosts and update known_hosts file[STEP 3 of 5] authorize current user on remote hosts... send to local_segment****** Enter password for local_segment:[STEP 4 of 5] determine common authentication file content[STEP 5 of 5] copy authentication files to all remote hosts... finished key exchange with local_segment[INFO] completed successfully期间会要求输入segment端root用户的密码,该过程主要是check远程的segment主机以及验证两个主机间的通信顺畅。

GREENPLUM安装(总结+注释)

GREENPLUM安装(总结+注释)

GREENPLUM安装(总结+注释)2013-05-05 12:07 2592人阅读评论(0) 收藏举报分类:greenplum(24)原文:/25548387/viewspace-690174GREENPLUM的安装,应该说是极其简单的。

大致的过程可以分成四大部分。

1、准备硬件2、准备操作系统3、安装GP软件4、初始化系统。

1.硬件环境的准备(如果只是构建测试平台,不考虑性能,这部分内容可以忽略)首先就是硬件准备。

GREENPLUM本身只能运行X86架构的服务器上。

因此甭管是普通的PC机还是PC SERVER,甚至是虚拟机都可以运行GREENPLUM。

唯一的差别就是效率。

按照官方文档的说法,主要是针对生产环境,构造一个标准的GREENPLUM系统需要三台PC服务器。

根据实际使用经验,这些服务器至少应该是XEON以上的CPU,1,MASTER节点需要16GB内存,如果使用千兆网卡构建内联环境,至少5块千兆网卡,其中四块千兆网卡用来构建系统的INTERCONNECT,一块用来作为连接系统的PUBLIC 网卡。

当然如果有条件的话,内联可以用万兆网卡或者IB,效率会更高。

MASTER的存储没有什么特殊要求。

2,SEGMENT节点(分节点)需要32G内存。

如果使用千兆网卡构建内联环境,至少4块千兆网卡,不需要外联网卡。

数据存储可以使用PC SERVER内置硬盘,也可以使用外置存储阵列方式(取决于成本和性能的平衡),总数据量不超过可用存储的70%既可。

GP提供了一个叫做gpcheckperf的工具可以帮助你检测当前硬件配置的性能情况,并给出报告。

为了获取准确的测试数据,建议多运行几次,取平均值。

总体而言,与专用设备和系统相比,构建GREENPLUM的生产环境的硬件成本是很低廉的。

2.操作系统的准备支持GREENPLUM运行的操作系统平台主要包括LINUX(REDHAT 5.4 orlater/CENTOS 5.4 or later/SUSE 10.2 or later) 32bit/64bit,solaris x86 64bit,以及MAC OS 64bit。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

目录.GreenPlum数据库概述.........................................GreenPlum数据库架构原理....................................2.SUSELinuxEnterprise1164-bit操作系统安装过程......................初始化阶段 ..................................................系统分区 ....................................................软件选择和系统任务 ..........................................语言选择 ....................................................Kdump设置...................................................安装过程 ...................................................3.配置网卡IP......................................................4.GreenPlum中Master配置过程.......................................建立gpadmin用户 ............................................关闭防火墙 ..................................................启动FTP.....................................................使用FlashXP上传GreenPlum数据 ..............................使用工具配置GreenPlum数据库 ................................GreenPlum数据库配置详情....................................GrennPlum数据库的初始化...............................修改GreenPlum数据库账户的权限........................附录A...............................................................附录B...............................................................1.概述1.1.GreenPlum数据库概述1.2.GreenPlum数据库架构原理本系统中GreenPlum由一个主节点(master)和四个从节点(segment)构成,主节点和从节点由一台千兆交换机进行连接。

客户端(Client)发送的命令通过主节点的主控作用,然后分发到从节点;从节点将用户需要的结果汇总到主节点,由主节点进行整合然后再将结果返回给客户端。

主节点与从节点的链接规则是保证每台服务器中网口的IP地址不是互联互通的,但是与其他的服务器之间可以通信。

换句换说保障同一台服务器中的IP 地址不是处于同一网段,但是不同服务器中的相同网口属于同一网段。

在此需要特别提醒用户Master中一共拥有五块网卡,第五块网卡是与client进行连接的网口。

负责外部用户的访问和数据传输。

2.SUSELinuxEnterprise1164-bit操作系统安装过程安装GreenPlum数据库的服务器,在安装SUSELinuxEnterprise11操作系统之前首先需要进行磁盘阵列的设置。

本系统的GP数据库中磁盘阵列选择Raid5的方式(未完待续…)。

在主节点服务器的安装过程中尤其需要注意:主节点比从节点多一块网卡,在服务器的外面可以很容易的看到主节点的网口为5个,其余从节点的网口为4个。

2.1.初始化阶段服务器的磁盘阵列做完之后,进入服务器的BIOS将服务器的硬盘分Raid5,Raid5做好后设置BIOS的启动项为光驱启动。

然后将SUSE系统安装光盘放入服务器的光驱进入系统安装界面,选择第二项“Installation”,然后按回车键。

接收许可协议如下图中的红色框内,点击下一步校验光盘系统完整性,完成后,点击下一步选择安装模式“NewInstallation”,点击下一步选择时区与时钟,Region选择“亚洲”(Asia),Time_Zone选择“北京”(Beijing)。

注意:此处需要将左下角的“HardWareclockSettoUTC”去掉勾选。

然后点击下一步2.2.系统分区本系统需要分成4个分区,其中数据分区(/data)要求容量最大,其余的分区在满足系统正常运行的前提下保证使用的容量最小。

本系统中每个节点的硬盘为八块1T,做完磁盘阵列后,系统硬盘的总容量大约为7T。

系统分区建议表在安装设置中选择“Expert”主菜单在Expert菜单内选择“Partitioning”选择“CustomPartitioning(forExpert)”,点击下一步在左侧的树状结构中选择“HardDisks”中的sda;然后点击页面下端的“Add”按钮,界面跳转。

选择“Primary”,点击下一步设置“CustomSize”为1GB,然后点击下一步设置“FormatPartition”文件系统的格式为“EXT3”;MountPartition选择“/boot”目录;然后点击“完成”再一次点击“Add”按钮,界面跳转选择“PrimaryPartition”,点击下一步设置“CustomSize”为5GB,点击下一步设置“FormatPartition”为“Swap”,“MountPartition”为“swap”,点击完成第三次点击“Add”按钮,界面跳转选择“PrimaryPartition”,然后点击下一步设置“CustomSize”为5GB,点击下一步设置“FormatPartition”格式为“Ext3”,“MountPartition”格式为“/”,点击完成最后一次点击“Add”按钮,界面跳转。

选择“PrimaryPartition”,点击下一步设置“CustomSize”为剩余的所有容量,点击下一步设置“FormatPartition”文件系统格式为“XFS”,“MountPartition”为“/data”,注意:此处的“/data”需要用户手动输入。

点击完成在“ExpertPartitioner”主界面右下角点击“Accept”按钮。

界面跳转回“InstallationSetting”界面2.3.软件选择和系统任务在“InstallationSetting”主界面选择“Expert”中的“Software”,界面跳转,按照下图进行勾选勾选完成后,点击界面左下角的“Details…”按钮,界面跳转在“Search”输入框内输入“VSFTP”,点击“Search”按钮,将查询的结果勾选,然后点击“Accept”按钮。

界面弹出提示框,请点击“Continue”按钮。

界面将跳转回“InstallationSetting”界面2.4.语言选择在“InstallationSetting”界面,选择“Expert”主菜单中的“Language”,界面跳转在语言栏选择“SimpledChinese”然后点击“Accept”弹出提示框,点击“OK”按钮,界面将跳转回“InstallationSetting”界面2.5.Kdump设置在“InstallationSetting”界面,选择“Expert”主菜单中的“Kdump”,界面跳转在服务器的安装过程中,Kdump中默认选中“enable_Kdump”,我们需要将Kdump更改为“Disable_Kdump”。

然后点击“OK”按钮,界面将跳转回“InstallationSetting”界面2.6.安装过程直接点击右下角“Install”按钮弹出提示框,点击“Install”界面将跳转到安装进度界面开始安装系统,(大约25~40分钟)。

安装结束后,系统会自动重启进入到配置root用户、密码页面。

将密码修改为“root”之后,点击下一步3.配置网卡IP主节点的用户名为:mdw;从节点的用户名为:sdw1/sdw2/sdw3…。

进入网卡配置界面,选择“NetworkInterface”。

(注意:关闭防火墙功能)要求配置的网段IP地址使数据库内部实现完全不共享的架构,并且支持多路数据并发。

例如:下面以mdw主节点为例演示网卡的配置过程。

其他三个子节点的网卡配置过程与主节点网卡配置的过程相似,只是子节点中不存在“”段的网卡,详细的配置请参考“服务器中网卡IP地址配置规则”。

选择第一块网卡,然后点击“Edit”按钮按下图填写网卡IP,然后点击下一步。

注意此处的IP地址是GP数据库对外连接是使用的IP,请用户记好。

选择第二块网卡,然后点击“Edit”按钮按下图填写网卡IP地址,点击下一步选择第三块网卡,点击“Edit”按钮按下图填写网卡的IP,点击“下一步”选择第四块网卡,点击“Edit”按钮按下图填写网卡IP地址,点击下一步选择最后一块网卡,点击“Edit”按下图填写网卡IP,点击“下一步”网卡配置结束,点击右下角“OK”按钮点击“下一步”选择“”,然后点击“下一步”按钮选择“UseFollowingConfiguration”,点击“下一步”按钮直接点击“下一步”按钮弹出提示框,选择“Yes”继续直接点击“下一步”按钮点击“完成”按钮系统重新启动输入用户名:root,然后按“回车”键输入密码:root,然后按“回车”键4.GreenPlum中Master配置过程SUSELinuxEnterprise11操作系统安装完成之后,在Master服务器中进行操作。

首先,在Master节点中新建一个用户(用户名:gpadmin,密码:gpadmin),并且将系统的防火墙关闭、启动FTP服务;然后使用FlashXP将GreenPlum数据库配置所需要的文件上传到指定文件夹;最后使用工具配置GreenPlum数据库中的相关参数。

4.1.建立gpadmin用户登录系统成功后,点击左下角“Computer”,选择“YaST”在“Filter”中输入“user”,然后选择“UserandGroupManage…”点击左下角“Add”按钮新建一个用户,用户名:gpadmin,密码:gpadmin点击“Detail”按钮,在“UserID(uid)”中数据“3030”,然后点击下一步4.2.关闭防火墙在Suse系统中选择“Computer”,点击“YaST”在“Filter”中输入“Firewall”命令,然后选右侧“Firewall”将防火墙关闭,否则使用“FlashXP”工具连接“”时,无法连接成功4.3.启动FTP在Suse系统中选择“Computer”,点击“YaST”在“Filter”中输入“ftp”,然后点击右侧的“FTPServer”按照下图设置“FTPStart-Up”设置完成后,点击“StartFTPNow”按钮,然后点击“finish”按钮4.4.使用FlashXP上传GreenPlum数据使用root用户名和密码登录到SUSE系统,然后logout然后使用FlashXP软件上传所需文件注意此处的IP地址是安装系统时,设置的第一块网卡的IP地址4.5.使用工具配置GreenPlum数据库输入密码:root时用户不可见,数据完成之后回车查看home/gpadmin/Desktop目录下的文件是否存在,按回车键ll命令显示所有的文件夹,按回车键输入下图中划红线的命令,然后按“回车”键一直按空格键直到显示如下图所示输入“yes”同意许可条件按回车键输入yes输入命令“chown–Rgpadmin/user/local/greenplum-db”数据命令“chown–Rgpadmin”输入命令“chown-Rgpadmin/data/”安装greenPlum软件vi/etc/hosts,编辑etc目录下的hosts文件在键盘上按“insert”键,或者直接输入“insert”命令,使用上下左右键进行选择,将这一行删除,删除时请按DEL键在mdwmdw后面回车然后按照下图输入,从“mdwmdw”开始输入修改环境变量注意:其余的子节(sdw1,sdw2,sdw3…)请参考MDW节点进行配置。

相关文档
最新文档