KVM与OpenvSwitch构建Hypervisor

KVM与OpenvSwitch构建Hypervisor

转载▼

标签：

分类：云计算

cloudstack

kvm

openvswitch

本文介绍在物理机上安装KVM Hypervisor，以便其可以作为CloudStack的Host进行管理。推荐操作系统

?CentOS / RHEL: 6.3

?Ubuntu: 12.04(.1)

先决条件

?Qemu/KVM: 1.0 or higher

?libvirt: 0.9.11 or higher

?openvswitch: 1.7.1 or higher

?hypervkvpd.x86_64 0:0-0.9.el6

?libguestfs.x86_64 1:1.16.34-2.el6

?libvirt.x86_64 0:0.10.2-18.el6_4.3

?libvirt-client.x86_64 0:0.10.2-18.el6_4.3

?python-virtinst.noarch 0:0.600.0-15.el6

?qemu-kvm.x86_64 2:0.12.1.2-2.355.0.1.el6.centos.2

?virt-manager.x86_64 0:0.9.0-18.el6

?virt-top.x86_64 0:1.0.4-3.15.el6

?virt-viewer.x86_64 0:0.5.2-18.el6_4.2

安装要求

?在相同的集群中，主机必须安装相同的发行版操作系统

?在相同的集群中，所有主机必须相同，CPU必须相同类型、频率等

?必须支持硬件协助虚拟化，启用Intel-VT 或者AMD-V

?64-bit x86 CPU，内核数越多，性能越好

?至少4GB以上内存

?至少一张网卡

?当部署CloudStack时，Hypervisor不能有任何虚拟机运行

（一）配置Host主机

检查物理机是否支持VT

# egrep '(vmx|svm)' --color=always /proc/cpuinfo

flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts aperfmperf pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm sse4_1 xsave lahf_lm ida dts

tpr_shadow vnmi flexpriority

flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts aperfmperf

pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm sse4_1 xsave lahf_lm ida dts tpr_shadow vnmi flexpriority

检查Host名称

命名规则可参考https://www.360docs.net/doc/c17616371.html,，不符和规则则修改/etc/sysconfig/network，/etc/hosts 文件，并使用hostname --fqdn命令再次确认是否修改成功

确保Host主机可以上外网

安装NTP服务器

#yum install ntp

（二）安装KVM及相关软件

# yum install kvm kmod-kvm qemu kvm-qemu-img qemu-kvm hypervkvpd libguestfs virt-viewer virt-manager virt-top libvirt libvirt-client vconfig python-virtinst

检查KVM是否已经加载

# lsmod | grep kvm

kvm_intel 54394 0

kvm 317376 1 kvm_intel

（三）安装Agent

# yum install cloudstack-agent

（四）配置libvirt

# vim /etc/libvirt/libvirtd.conf

取消注释或新增如下内容：

listen_tls = 0

listen_tcp = 1

tcp_port = "16509"

auth_tcp = "none"

mdns_adv = 0

# vim /etc/sysconfig/libvirtd

取消下述注释

#LIBVIRTD_ARGS="--listen"

# vim /etc/libvirt/qemu.conf

取消下述注释

vnc_listen = 0.0.0.0

重启libvirt

# service libvirtd restart

验证安装

# service libvirtd status

# virsh capabilities

这里应该看到在两个guest元素配置了hvm

（五）配置安全策略

放宽SELinux权限

1）检查是否安装了selinux，如果没有，那么跳过后续步骤

#rpm -qa | grep selinux

2）修改/etc/selinux/config，将SELINUX=enforcing修改为SELINUX=permissive

3）及时生效

#setenforce permissive

（六）配置网络连接

为了在所有虚拟机实例之间建立网络通信，必须至少建立两类连接类型：Public和Private。默认情况下这两个桥接命名为cloudbr0 和cloudbr1，必须在所有Hypervisor中确定他们可用，以及保持它们的配置一致性。

1）配置假设

在Basic networking mode基础网络通信模式下，至少需要两个VLAN，一个用于Public公有网络，一个用于Private私有网络。

这里假设Hypervisor有一张网卡eth0，并且有三个VLAN标签。

?VLAN 100 用于管理Hypervisor自身

?VLAN 200 用于虚拟机实例Public公有网络(cloudbr0)

?VLAN 300 用于虚拟机实例Private私有网络(cloudbr1)

2)禁用IPv6

# vim /etc/sysconfig/network

NETWORKING_IPV6=no

# service ip6tables stop

# chkconfig ip6tables off

3）配置网络(物理MAC地址做适当替换)

# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

HWADDR=00:1F:16:34:xx:yy

ONBOOT=yes

HOTPLUG=no

BOOTPROTO=none

IPV6INIT=no

NM_CONTROLLED=no

TYPE=Ethernet

# vim /etc/sysconfig/network-scripts/ifcfg-cloudbr

DEVICE=cloudbr

ONBOOT=yes

HOTPLUG=no

BOOTPROTO=none

DEVICETYPE=ovs

TYPE=OVSBridge

# vim /etc/sysconfig/network-scripts/ifcfg-mgmt0

DEVICE=mgmt0

ONBOOT=yes

HOTPLUG=no

BOOTPROTO=static

DEVICETYPE=ovs

TYPE=OVSBridge

IPADDR=172.16.10.2

GATEWAY=172.16.10.1

NETMASK=255.255.255.0

# vim /etc/sysconfig/network-scripts/ifcfg-cloudbr0

DEVICE=cloudbr0

ONBOOT=yes

HOTPLUG=no

DEVICETYPE=ovs

TYPE=OVSBridge

BOOTPROTO=none

# vim /etc/sysconfig/network-scripts/ifcfg-cloudbr1

DEVICE=cloudbr1

ONBOOT=yes

HOTPLUG=no

BOOTPROTO=none

TYPE=OVSBridge

DEVICETYPE=ovs

重启网络

# service network restart

（七）安装Open vSwitch

安装构建工具

# yum install rpmdevtools openssl-devel kernel-devel gcc redhat-rpm-config

# cd ~/rpmbuild/SOURCES

# curl -O https://www.360docs.net/doc/c17616371.html,/releases/openvswitch-1.9.0.tar.gz

# tar -xzvf openvswitch-1.9.3.tar.gz

# cd openvswitch-1.9.3

# rpmbuild -bb rhel/openvswitch.spec

# cp rhel/openvswitch-kmod.files ~/rpmbuild/SOURCES

# rpmbuild -bb -D "kversion `uname -r`" rhel/openvswitch-kmod-rhel6.spec

# rpm -ivh ~/rpmbuild/RPMS/x86_64/kmod-openvswitch-1.9.3-1.el6.x86_64.rpm

# rpm -ivh ~/rpmbuild/RPMS/x86_64/openvswitch-1.9.3-1.x86_64.rpm

（八）配置Open vSwitch

删除操作系统原生native bridge

# lsmod | grep bridge

# rmmod bridge

加入黑名单，防止系统重启后bridge重新加载

# vi /etc/modprobe.d/blacklist.conf

在文件后加入如下内容：

blacklist bridge

将Open vSwitch在内核中加载

# insmod /lib/modules/`uname -r`/extra/openvswitch/openvswitch.ko

# insmod /lib/modules/`uname -r`/extra/openvswitch/brcompat.ko

使Open vSwitch自动启动

# mkdir /lib/modules/`uname -r`/kernel/net/openvswitch

# cp /lib/modules/`uname -r`/extra/openvswitch/openvswitch.ko /lib/modules/`uname

-r`/kernel/net/openvswitch/

# cp /lib/modules/`uname -r`/extra/openvswitch/brcompat.ko /lib/modules/`uname

-r`/kernel/net/openvswitch/

# chmod u+x /lib/modules/`uname -r`/kernel/net/openvswitch/openvswitch.ko

# chmod u+x /lib/modules/`uname -r`/kernel/net/openvswitch/brcompat.ko

# depmod -a

# vim /etc/sysconfig/modules/openvswitch.modules

增加以下内容：

#!/bin/sh

if [ $(grep -c openvswitch /proc/modules) -eq 0 ]; then

modprobe -b openvswitch > /dev/null 2>&1

fi

if [ $(grep -c brcompat /proc/modules) -eq 0 ]; then

modprobe -b brcompat > /dev/null 2>&1

fi

修改文件权限

# chmod 755 /etc/sysconfig/modules/openvswitch.modules

初始化OVS数据库与服务器

# mkdir -p /usr/local/etc/openvswitch

# ovsdb-tool create /usr/local/etc/openvswitch/conf.db

$HOME/rpmbuild/BUILD/openvswitch-1.9.3/vswitchd/vswitch.ovsschema

# ovsdb-server /usr/local/etc/openvswitch/conf.db --remote=punix:/var/run/openvswitch/db.sock --remote=db:Open_vSwitch,manager_options --private-key=db:SSL,private_key

--certificate=db:SSL,certificate --bootstrap-ca-cert=db:SSL,ca_cert --pidfile --detach --log-file

# ovs-vsctl --no-wait init

# ovs-vswitchd --pidfile --detach

# ovs-brcompatd --pidfile --detach

设置开机启动

# chmod 755 /etc/init.d/openvswitch

# chkconfig --add openvswitch

# chkconfig openvswitch on

重启验证

# reboot

# ovs-vsctl -V

ovs-vsctl (Open vSwitch) 1.9.3

Compiled Sep 10 2013 22:26:19

# lsmod | grep brcom

brcompat 5905 0

openvswitch 96710 1 brcompat

# service openvswitch status

ovsdb-server is running with pid 1821

ovs-vswitchd is running with pid 1830

启动Open vSwitch

# service openvswitch start

为CloudStack配置Open vSwitch,cloudbr作为物理网卡eth0的桥接，分别有三个trunk，mgmt0用于管理网络通信，cloudbr0用于公有网络通信，cloudbr1用于来宾网络通信

# ovs-vsctl add-br cloudbr

# ovs-vsctl add-port cloudbr eth0

# ovs-vsctl set port cloudbr trunks=100,200,300

# ovs-vsctl add-br mgmt0 cloudbr 100

# ovs-vsctl add-br cloudbr0 cloudbr 200

# ovs-vsctl add-br cloudbr1 cloudbr 300

验证配置

# ovs-vsctl show

d35372e7-1830-46da-9989-121c5d8ef51f

Bridge cloudbr

Port cloudbr

trunks: [100, 200, 300]

Interface cloudbr

type: internal

Port "mgmt0"

tag: 100

Interface "mgmt0"

type: internal

Port "cloudbr0"

tag: 200

Interface "cloudbr0"

type: internal

Port "eth0"

Interface "eth0"

Port "cloudbr1"

tag: 300

Interface "cloudbr1"

type: internal

ovs_version: "1.9.3"

（九）配置防火墙

允许运行以下TCP端口

?22 (SSH)

?1798

?16509 (libvirt)

?5900 - 6100 (VNC consoles)

?49152 - 49216 (libvirt live migration)

执行以下命令实现：

# iptables -I INPUT -p tcp -m tcp --dport 22 -j ACCEPT

# iptables -I INPUT -p tcp -m tcp --dport 1798 -j ACCEPT

# iptables -I INPUT -p tcp -m tcp --dport 16509 -j ACCEPT

# iptables -I INPUT -p tcp -m tcp --dport 5900:6100 -j ACCEPT

# iptables -I INPUT -p tcp -m tcp --dport 49152:49216 -j ACCEPT

（注：查看生成结果

# cat /etc/sysconfig/iptables

如果IP不对，可通过命令进行修改：sed -i

's/127.0.0.1/https://www.360docs.net/doc/c17616371.html,/g' /etc/sysconfig/iptables

重启iptables

# service iptables restart

# service iptables save

修改CloudStack Agent属性文件（新增/编辑）

# vim /etc/cloudstack/agent/agent.properties

network.bridge.type=openvswitch

libvirt.vif.driver=com.cloud.hypervisor.kvm.resource.OvsVifDriver 启动CloudStack Agent

# service cloudstack-agent restart

# tail -100f /var/log/cloudstack/agent/cloudstack-agent.out

常见问题

1）Failed to get enslaved devices on bridge:cloudbr0

检查网络是否正常，是否有router回路，参考service NetworkManager status

2）ERROR [cloud.resource.ServerResourceBase] (main:) Nics are not configured!

检查openvswitch配置与/etc/cloudstack/agent/agent.properties文件定义是否一致

3）Managment Server无法链接

查看网络情况

# ifconfig -a

查看端口情况

# netstat -tulpn

重启Apache服务

# service httpd restart

参考文章

https://www.360docs.net/doc/c17616371.html,/docs/en-US/Apache_CloudStack/4.1.1/html/Installation_Guide/install ation.html

https://www.360docs.net/doc/c17616371.html,/docs/en-US/Apache_CloudStack/4.1.1/html/Installation_Guide/hyper visor-kvm-install-flow.html

https://www.360docs.net/doc/c17616371.html,/install-and-configure-open-vswitch-on-centos-rhel-fedora/

https://www.360docs.net/doc/c17616371.html,/docs/en-US/Apache_CloudStack/4.1.1/html/Installation_Guide/provi sioning-steps.html

https://www.360docs.net/doc/c17616371.html,/~ke4qqq/runbook/index.html