CloudStack部署手册

CloudStack部署手册

前言

最近一直在进CloudStack部署相关工作，但是看了CloudStack的官方文档实在有点头疼，不知道是找的文档不对还是文档确实如此，官方文档个人感觉写的还是有点乱的，除了标题没有做成导航之外，阅读不方便外，内容也不是非常的让人淡定，很多地方进行“go to”跳转，一篇文章不是从前看到后的，而是看一部分，调至另一部分，可能这就是风格，是我俗了，不过我还就真的看的不是很舒服，搞了将近一个星期了，遇到了很多问题，这两天有相对大点的突破，趁着很多问题还记得，再次将部署过程整理成该文档跟一起探索的朋友共享，当然还有很多地方不是很完善，还希望共同探讨进步，本文仅为交流使用，老话一句：没兴趣的或者鄙视这种简单的问题的朋友请绕道，不管如何，不管好不好，愿意写出来分享，这就是我的态度，只有共享自己的经验，才能了解到更多不同的见解，共同提高！

一、安装要求

(1) 管理节点(Management Node)

运行CloudStack管理服务跟Mysql数据库的机器（也就是搭建CloudStack云系统的机器),管理服务器也可以安装在虚拟机上面。

操作系统：RHEL 6.2+ 64-bit或者CentOS 6.2+ 64-bit或者Ubuntu 10.04或者Fedora 16 物理机器：64-bit x86 CPU+4G 内存+250GB 本地硬盘+至少一个网卡+拥有一个静态IP+主机名要配置为完整的域名格式

(2) 主机(Host）

主机是云服务以客户虚拟机的形式运行。每个主机是一台机器，符合下列要求：

必须是64位操作系统并且支持HVM（支持Intel-VT或者AMD-V） +64-bit x86 +需要硬件虚拟化支持 +4G的内存 +36GB的本地硬盘 +至少一个网卡 +静态IP地址

当你部署cloudstack的时候，需要保证虚拟化管理软件（xensever 或者 vmware vSphere 等）上面没有任何已经正在运行的虚拟机.

以上给出的是官方需求，在测试环境中可能不需要这么高的要求

(3) 测试环境

本文采用的相关机器配置为：

管理节点：（假设IP：192.168.3.105,主机名为cloudstack）

在一台xenserver 上面安装的 centos 6.2的64位操作系统

(https://www.360docs.net/doc/a35342872.html,/centos/6/isos/x86_64/）

主机：（假设IP为192.168.3.11，主机名为xenserver）

一台xenserver 5.6 (因为官方文档上面虽然说6.0可以连接，但是几次测试证明不能添加其至host),其物理机器配置：16GB内存，2TB的硬盘，64位的英特尔CPU

存储节点: (假设IP为192.168.3.12,主机名为cloudstor）

（用于后面做一级存储跟二级存储使用）：硬盘2TB,机器配置跟主机配置大致相同。

二、安装软件

所有步骤均在管理节点上面进行

(1) 配置系统相关服务

[1]配置IP:

#vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

HWADDR="F6:09:F4:D2:25:DE"

NM_CONTROLLED="yes"

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.3.105

NETMASK=255.255.255.0

GATEWAY=192.168.3.1

#service network restart

#ifconfig eth0 查看IP是否配置成功。

[2]配置主机名：

#echo “https://www.360docs.net/doc/a35342872.html,” > /etc/sysconfig/network

#hostname -F /etc/sysconfig/network/

# echo “192.168.3.105 https://www.360docs.net/doc/a35342872.html,” >> /etc/hosts

#hostname --fqdn //检查配置是否有效

[3]关闭selinux

#getenforce //查看当前selinux状态

#setenforce disabled //临时设置selinux 状态

#sed -i 's/enabling/disabled' /etc/selinux/config //修改selinux配置文件，重启永久禁用

[4]配置系统的本地yum 源

#mkdir /media/centos/

#mount -t iso9660 -o loop centos-6.2-server-x86_64.iso

/media/centos

#vi /etc/yum.repos.d/centos.repo

[rhel]

name=core

baseurl=file:///media /centos/

enabled=1

gpgcheck=0

#yum clean all ;yum list //列出所有的软件包

[5]配置ntp服务器

# yum install ntp -y

#vi /etc/ntp.conf //编辑ntp配置文件，将服务器替换成如下服务器

https://www.360docs.net/doc/a35342872.html,

https://www.360docs.net/doc/a35342872.html,

https://www.360docs.net/doc/a35342872.html,

https://www.360docs.net/doc/a35342872.html,

# service ntpd restart ;chkconfig ntpd on //重启ntp服务，并且设置其开机启动

(2) 安装CloudStack软件包

下载软件包：https://www.360docs.net/doc/a35342872.html,/projects/cloudstack/files/

在此我们选用最新版本CloudStack-3.0.0-1-rhel6.2.tar.gz

#tar zxvf CloudStack-3.0.0-1-rhel6.2.tar.gz //解压文件

#cd CloudStack-3.0.0-1-rhel6.2 ; ./install.sh //执行install脚本文件> M //输入M安装Management Server softwares

直至出现Complete! Done. 表示安装完成！

(3) 安装Mysql数据库

#cd CloudStack-3.0.0-1-rhel6.2 ; ./install.sh //执行install脚本文件

> D //输入D安装mysql服务软件

安装成功后修改器配置文件：

#vi /etc/my.cf //在mysqld标签下面添加如下参数

.....

innodb_rollback_on_timeout=1

innodb_lock_wait_timeout=600

max_connections=350

log-bin=mysql-bin

binlog-format = 'ROW'

#service mysqld restart //重启mysql守护进程

#mysql -uroot

mysql > set PASSWORD= PASSWORD('123456');

//设置数据库管理员root用户密码为123456

mysql > quit;

#mysql -uroot -p123456 //检查是否修改成功

在mysql数据库上面创建名为cloud的用户

格式如下：

cloud-setup-databases cloud:@localhost --deploy-

as=root: -e -m -k

其中cloud表示需要被创建的用户，是其密码

--deploy-as 表明通过哪种用户部署云数据库以及创建cloud用户

：可选参数，通常有两种类型:file以及web ,都是用于传递数据库中的加密密码，默认为file

:可选参数，替换默认密钥，用于加密CloudStack属性文件中的机密参数。默认为password。强烈建议您更换一个更安全的价值。

:可选参数，跟类似，默认为password。

执行该脚本：

#cloud-setup-databases cloud:123456@localhost --deploy-as=root:123456 -e file -m 123456 -k 123456 //密码自己设定即可

直至出现“CloudStack has successfully initialized the database.” 表明云平台数据库初始化成功。

(4) 启动管理服务

#cloud-setup-management //改命令启动管理服务的同时，同时设置iptables跟sudoer相关参数

出现”CloudStack Management Server setup is done. ”表明启动成功。(5) 搭建NFS服务器

在cloudstack平台中，有两种存储类型：

[1]一级存储：Primary Storage

一级存储跟集群相关联，用于为集群中所有运行在主机（hosts）上面的虚拟机存储硬盘跟卷文件，一般来说，至少需要一个一级存储，为提高性能，尽量部署在接近主机(hosts)的位置。可以通过ISCSI或者NFS技术实现

[2]二级存储：Secondart Storage

二级存储跟zone相关联，其存储了以下文件：

模版文件---可以启动虚拟机的操作系统镜像

ISO镜像----操作系统光盘镜像

硬盘卷快照—存储了用户恢复或者创建新模版的虚拟机数据副本。

二级存储可以使用NFS服务或者Openstack对象存储技术（Swift）,最小的容量为100GB，其需要部署在跟客户机同一区域（zone）中，并且对于区域中的主机都是可用的。

[3]在存储节点（cloudstor）上面，安装nfs服务(存储节点操作系统为ubuntu 11.10)

#apt-get install nfs-kernel-server -y

#apt-get install lvm2 -y

划分100GB大小的逻辑卷 clovemprimary

划分100GB大小的逻辑卷clovemsecondary

并且进行格式化

#mkdir /primary /secondary

#mount /dev/VG-CloudStack/clovemprimary /clovemprimary

#mount /dev/VG-CloudStack/clovemsecondary /clovemsecondary

#df -H //查看分区大小

#vi /etc/exports/

/primary *(rw,async,no_root_squash )

/secondary *(rw,async,no_root_squash )

#service nfs-kernel-server restart //重启服务

#exportfs //查看导出的存储

[4] 在管理节点(cloudstack)上面,创建/mnt/primary /mnt/secondary 目录，挂载cloudstor上面的存储目录

#showmount -e 192.168.3.12

#mount 192.168.3.12:/primary /mnt/primary

#mount 192.168.3.12:/secondary /mnt/secondary

挂载进行测试以及制作系统模版文件

[5] 准备系统虚机模版

二级存储必须存放一个用于创建CloudStack系统虚机的模版文件。

使用cloud-install-sys-tmplt命令检索跟压缩系统镜像模版，因为我们使用的xenserver，所以我们使用如下命令进行操作：

# /usr/lib64/cloud/agent/scripts/storage/secondary/cloud-install-sys-tmplt -m

/mnt/secondary -u https://www.360docs.net/doc/a35342872.html,/templates/acton/acton-systemvm- 02062012.vhd.bz2 -h xenserver -s -F

注意：1.，如果你之前在执行cloud-setup-

database的时候将数据库的加密类型设置为web的话，此处的这个参数就必须添加，如果根据本文操作，可以省去”-s ”

笔者建议操作的时候，手动下载,不然速度实在够慢，而且出错几率会大很多。

https://www.360docs.net/doc/a35342872.html,/templates/acton/acton-systemvm-02062012.vhd.bz2 文件，可以通过迅雷等其他工具下载较为快速，本文通过其他下载工具下载,再上传至管理节点的/tmp 目录下面，通过下面的命令执行操作：

# /usr/lib64/cloud/agent/scripts/storage/secondary/cloud-install-sys-tmplt -m

/mnt/secondary/ -u file:///tmp/acton-systemvm-02062012.vhd.bz2 -h xenserver -F 2..如果不手动下载。直接执行操作的话，需要保证本地磁盘剩余空间至少有5GB，否则不能执行！如果在划分虚拟机的时候，没有注意这个情况，直接默认安装操作系统，没有进行详细分区，笔者使用的xenserver 安装虚拟机，全部虚拟硬盘默认大小为8GB，根分区只有3GB可用，不能执行成功，但是由于根分区为LVM，所以可以通过从其他机器划为ISCSI存储进行扩容，此处不详谈。一般情况下面，大小还是足够的。

3.执行命令看到Successfully installed system VM template to

/mnt/secondary/template/tmpl/1/1/ 之类的信息后，说明准备成功。可以进入

/mnt/secondary目录中进行查看相关内容。

三、配置组件

进入用户界面进行相关云平台相关组件的配置，包括zone,pod,host,cluster等

图1 组件基本框架

(1)部分概念

Zone:

区域是CloudStack部署中最大的组织单位。一个区域通常会对应到一个单一的数据中心，虽然它是允许有一个数据中心的多个区域。将基础设施组织进区域的好处是提供物理隔离和冗余。例如，每个区域都可以有自己的电源和网络上行，区域可以被广泛的被地理分离（尽管这不是必需的）Zone包含一个或者多个Pods,每个Pod包含一个或者多个主机组成的多个集群，以及一个或者多个一级存储服务器。区域中被所有pods进行共享的二级存储Pod: 一般代表一个机架，同一pod中的主机处于同一子网内

Cluster: 就是--集群，由多个主机组成的集群

Host: 一个主机，集群中的主机，此处可以理解成一台装有xenserver的物理机器

primary storage: 上面已经说明

secondary storage: 上面已经说明

management server: 管理节点，不多阐述

mysql cloud db: 用于存放相关数据信息，诸如网络地址等等，可以通过mysql客户端登入查看相关表以及相关属性。

(2)安装步骤

打开浏览器，输入http://192.168.3.105:8080/client

用户名:admin

密码：password

图2 CloudStack欢迎界面

图3 修改CloudStack管理员密码

图4 Zone简介

图5 添加Zone

图6 Pod简介

图7 添加Pod

图 8 添加客户机网络（虚拟机IP范围）

图9 集群简介

图10 添加集群

图11 主机简介

图12 添加主机

图13 一级存储简介

图14 添加一级存储

图15 二级存储简介

图16 添加二级存储

图17 配置完成

点击Launch启动云平台，

由于笔者之前已经安装完成一个系统，本文为梳理文档，host上面已经安装了系统虚拟机，而CloudStack要求host必须是没有运行过任何虚机的操作系统，所以之后的操作就会报错（host不能添加），就不在此截图。

全部安装完成之后，可以看到类似这样的界面（之前操作的部分属性不一样，如一级存储一级二级存储的名称不一样，部分配置问题暂时请不要纠结）.

图18 监控界面

四、制作模版

Cloudstack模版支持两种模式：

一种是通过xenserver 制作的VHD文件

另外就是直接上传ISO文件作为模版文件

我们首先制作第一种

(1)制作VHD文件

（以centos为例）

在制作镜像之前，有个问题需要提前说明，xenserver在安装虚机（也就是制作此处所谓的VHD 文件）的时候，如果安装是从xenserver模版中选择安装的系统，安装完成后，可以很简单的装上xen tools（熟悉vmware的朋友可以理解为vmware tools），但是并非从xenserver模版安装的系统，就不能成功安装上xen tools，安装不上的也分为两种情况：

<1> 安装的操作系统版本过高，在进行安装xen tools的时候会提示没有相应版本的软件包

<2> 安装的操作系统不是从模版安装，但是版本可以在模版中找到，也可以成功安装xen tools，但是重启之后就还是提示未安装。

这个现象应该是存在的，暂时不管这么多，笔者也接触xenserver 没过久，这里也就不对如何使用xenserver进行详细说明了，如果上面提出的这个问题有人可以很好的解决，麻烦告知，感激不尽。

这样的话，通过xenserver安装一个centos系统就不在此截图说明了，不然就偏题太远了，玩CloudStack之前应该就熟悉一下.

[1]安装虚机

我们在此通过模版安装的是centos 5.4版本的系统，安装完成之后，我们可以将xen tools一起安装.

[2]安装xen tools

我们使用xencenter进行连接xenserver，点击安装好的虚拟机，就发现面板上面显示xen tools没有安装，我们点击之，然后进入centos系统：

#mount /dev/cdrom /mnt

//注：部分操作系统需要执行mount /dev/xvda /mnt进行xen tools的挂载

#cd /mnt/Linux/ ; ./install.sh

选择y,提示安装完成，重启即可。

[3]找出VHD文件

登入host主机，也就是登录xenserver (192.168.3.11)

#xe vm-list //列出所有的虚拟机，记下刚刚安装的虚拟机对于uuid

uuid ( RO) : bd90eb07-141b-b1e4-3c3e-9400e35518f4

name-label ( RW): CloudTemplate-CentOS

power-state ( RO): running

#xe vbd-list vm-uuid= bd90eb07-141b-b1e4-3c3e-9400e35518f4

uuid ( RO) : dedd7df7-d687-1c4f-5e72-10c21a923792

vm-uuid ( RO): bd90eb07-141b-b1e4-3c3e-9400e35518f4

vm-name-label ( RO): CloudTemplate-CentOS

vdi-uuid ( RO): ae9f2fa0-edbe-4c26-a55d-489fe1265125

empty ( RO): false

device ( RO): xvda

uuid ( RO) : b3b93f9d-c711-b916-be13-374e315ad3bd

vm-uuid ( RO): bd90eb07-141b-b1e4-3c3e-9400e35518f4

vm-name-label ( RO): CloudTemplate-CentOS

vdi-uuid ( RO):

empty ( RO): true

device ( RO): xvdd

记下device 为xvda的vdi号： ae9f2fa0-edbe-4c26-a55d-489fe1265125

#find / -name *ae9f2fa0-edbe-4c26-a55d-489fe1265125*

会列出一个VHD文件：

/dev/VG_XenStorage-0a8420e2-d4ec-8ace-c551-9830d946ed2d/VHD- ae9f2fa0-edbe-

4c26-a55d-489fe1265125

[4] 上传VHD文件至web服务器

我们将192.168.3.12同时作为web服务器，如何配置就不说了。这个是基本技能。

而且这边上传该文件还有个非常有意思的问题，就是目录下面的链接文件VHD或者其lv文件都不可以通过scp 或者sync命令直接上传至远程服务器上面，会一直提示not a regular file，因为没有找到很好的解决方法跟相关有效命令，笔者采用的还是NFS的方法进行解决，虽然笨，但是解决这个问题了。

在IP为192.168.3.12(cloudstor)的服务器上面，在足够大的分区中建立/cloudtemplate目录,比如在根分区中

#mkdir /cloudtemplate

#vi /etc/exports

添加

/cloudtemplate *(rw,sync)

#service nfs-kernel-server restart

#chmod 777 –R /cloudtemplate

另外将web服务器的DocuementRoot设置为/cloudtemplate ,重启服务

在host(192.168.3.11)上面执行

#mount –t nfs 192.168.3.12:/cloudtemplate /mnt/

#cp /dev/VG_XenStorage-0a8420e2-d4ec-8ace-c551-9830d946ed2d/VHD- ae9f2fa0-edbe-4c26-a55d-489fe1265125 /mnt/cloud-centos.vhd

//通过最简单的cp 命令直接上传值web服务器,因为CloudStack只能识别*.vhd的文件而不能够识别VHD-xxx的文件，所以上传过程中需要该后缀名。

#watch du –h /mnt/cloud-centos.vhd //监控传输状态

上传完成之后，通过浏览器查看web服务器上是否已经成功显示，并且权限足够用于下载使用。

(2)VHD增强版---随机密码版

在后面CloudStack平台中上传模版的时候，会有个选项:password enabled,也就是允许用户自己进行修改实例的管理员密码。需要实现这个功能，需要做如下操作：

[1]下载脚本文件:cloud-set-guest-password

Linux:

https://www.360docs.net/doc/a35342872.html,/dl/cloud-set-guest-password

[2]将其拷贝至模版的/etc/init.d/中，并且给与可执行权限

chmod a+x /etc/init.d/cloud-set-guest-password

[3]对于Fedora,centos/rhel或者debian使用，添加至chkconfig 列表

chkconfig –add cloud-set-guest-password

对于Ubuntu ：运行sudo update-rc.d cloud-set-guest-password default 98 测试：mkpasswd

我们使用的是CentOS，执行第chkconfig –add cloud-set-guest-password

(3)ISO模版

关于ISO作为模版，直接上传至web服务器即可。

五、启动实例

(1)上传模版

上面一段内容也提及了上传模版，但是上面仅仅是上传在xenserver上面制作的虚机（*.vhd）文件至web服务器上面供CloudStack下载至其二级存储，用于启动实例使用。

登录http://192.168.3.105:8080/client/

进入管理界面，在上传模版之前，需要进行一项配置：

[1] 点击全局配置（Global Setting）,查找:secstorage【非常重要】

图19 全局设置参数

点击操作下面的编辑选项，将这个参数的值（value）设置为192.168.3.12，表示允许跟

192.168.3.12进行存储通讯（这个系统有时候会自行汉化，不过翻译得有点雷人，且不管），这一步必做，否则在下面上传模版的时候，查看上传状态会一直出现”connection refused”.

[2] 点击左边的模版（Template）===>创建模版

图20 创建模版

图20 模版创建成功

此时点击该模版，查看其详细信息可以发现其正在进行文件的下载，然后会自行安装模版，等待一段时间，查看详细信息即代表上传成功。