Ceph官方文档翻译

Ceph官方文档翻译

石家庄众毅信息技术有限公司

2017年06月

目录

在此处插入索引和目录

准备?

New in version .

谢谢您尝试 Ceph ！我们建议安装一个ceph-deploy管理节点和一个三节点的Ceph 存储集群来研究 Ceph 的基本特性。这篇预检会帮你准备一个ceph-deploy管理节点、以及三个Ceph 节点（或虚拟机），以此构成 Ceph 存储集群。在进行下一步之前，请参见操作系统推荐以确认你安装了合适的 Linux 发行版。如果你在整个生产集群中只部署了单一Linux 发行版的同一版本，那么在排查生产环境中遇到的问题时就会容易一点。

在下面的描述中节点代表一台机器。

在没有DNS的情况下，需要手动修改各个主机的hosts文件和主机名

安装 CEPH 部署工具?

把 Ceph 仓库添加到ceph-deploy管理节点，然后安装ceph-deploy。

高级包管理工具（APT）?

在 Debian 和 Ubuntu 发行版上，执行下列步骤：

1.添加 release key ：

2.添加Ceph软件包源，用Ceph稳定版（如cuttlefish、dumpling、emperor、

firefly等等）替换掉{ceph-stable-release}。例如：

3.echo deb $(lsb_release -sc) main | sudo tee /etc/apt/更新你的仓库，并安

装ceph-deploy：

Note

你也可以从欧洲镜像下载软件包，只需把替换成即可。

红帽包管理工具（RPM）?

在 Red Hat （rhel6、rhel7）、CentOS （el6、el7）和 Fedora 19-20 （f19 - f20）上执行下列步骤：

1.（只需要在管理节点）在 RHEL7 上，用subscription-manager注册你的目标机

器，确认你的订阅，并启用安装依赖包的“Extras”软件仓库。例如：

如果使用ceph-deploy部署，则不需要此步骤

2.在 RHEL6 上，安装并启用 Extra Packages for Enterprise Linux (EPEL) 软件仓

库。请查阅EPEL wiki获取更多信息。

3.（只需要在管理节点）在 CentOS 上，可以执行下列命令：

sudo vim /etc/把如下内容粘帖进去，用 Ceph 的最新主稳定版名字替换

{ceph-stable-release}（如firefly），用你的Linux发行版名字替换{distro}（如el6为 CentOS 6 、el7为 CentOS 7 、rhel6为 Red Hat 、rhel7为 Red Hat 7 、fc19是 Fedora 19 、fc20是 Fedora 20 ）。最后保存到/etc/文件中。

或者

2.确保所有 Ceph 节点上的 SSH 服务器都在运行。创建部署 CEPH 的用户?

启动时联网?

Ceph 的各 OSD 进程通过网络互联并向 Monitors 上报自己的状态。如果网络默认为

off，那么 Ceph 集群在启动时就不能上线，直到你打开网络。

某些发行版（如 CentOS ）默认关闭网络接口。所以需要确保网卡在系统启动时都能启动，这样 Ceph 守护进程才能通过网络通信。例如，在 Red Hat 和 CentOS 上，需进入

/etc/sysconfig/network-scripts目录并确保ifcfg-{iface}文件中的ONBOOT设置成了yes。

确保联通性?

用ping短主机名（hostname -s）的方式确认网络联通性。解决掉可能存在的主机名解析问题。

Note

主机名应该解析为网络 IP 地址，而非回环接口 IP 地址（即主机名应该解析成非的IP 地址）。如果你的管理节点同时也是一个 Ceph 节点，也要确认它能正确解析自己的主机名和 IP 地址（即非回环 IP 地址）。

开放所需端口?

Ceph Monitors 之间默认使用6789端口通信， OSD 之间默认用6800:7300这个范围内的端口通信。详情见网络配置参考。 Ceph OSD 能利用多个网络连接进行与客户端、monitors、其他 OSD 间的复制和心跳的通信。

某些发行版（如 RHEL ）的默认防火墙配置非常严格，你可能需要调整防火墙，允许相应的入站请求，这样客户端才能与 Ceph 节点上的守护进程通信。

对于 RHEL 7 上的firewalld，要对公共域开放 Ceph Monitors 使用的6789端口和OSD 使用的6800:7300端口范围，并且要配置为永久规则，这样重启后规则仍有效。例如：

若使用iptables，要开放 Ceph Monitors 使用的6789端口和 OSD 使用的6800:7300端口范围，命令如下：

在每个节点上配置好iptables之后要一定要保存，这样重启之后才依然有效。例如：

终端（ TTY ）?

在 CentOS 和 RHEL 上执行ceph-deploy命令时可能会报错。如果你的 Ceph 节点默认设置了requiretty，执行sudo visudo禁用它，并找到Defaults requiretty选项，把它改为Defaults:ceph !requiretty或者直接注释掉，这样ceph-deploy就可以用之前创建的用户（创建部署 Ceph 的用户）连接了。

sudo visudo 修改确保配置如下

Defaults !visiblepw

Defaults !requiretty

{username} ALL=(ALL) NOPASSWD: ALL

Note

编辑配置文件/etc/sudoers时，必须用sudo visudo而不是文本编辑器。SELINUX?

在 CentOS 和 RHEL 上， SELinux 默认为Enforcing开启状态。为简化安装，我们建议把 SELinux 设置为Permissive或者完全禁用，也就是在加固系统配置前先确保集群的安装、配置没问题。用下列命令把 SELinux 设置为Permissive：

要使 SELinux 配置永久生效（如果它的确是问题根源），需修改其配置文件

/etc/selinux/config。

YUM 优先级/首选项插件?

确保你的包管理器安装了优先级/首选项包且已启用。在 CentOS 上你也许得安装 EPEL ，在 RHEL 上你也许得启用可选软件库。

比如在 RHEL 7 服务器上，可用下列命令安装yum-plugin-priorities并启用

rhel-7-server-optional-rpms软件库：

总结?

快速入门的预检部分到此结束，请继续存储集群快速入门。

存储集群快速入门?

如果你还没完成预检，请先做完。本篇快速入门用ceph-deploy从管理节点建立一个Ceph 存储集群，该集群包含三个节点，以此探索 Ceph 的功能。

第一次练习时，我们创建一个 Ceph 存储集群，它有一个 Monitor 和两个 OSD 守护进程。一旦集群达到active + clean状态，再扩展它：增加第三个 OSD 、增加元数据服务器和两个 Ceph Monitors。为获得最佳体验，先在管理节点上创建一个目录，用于保存

ceph-deploy生成的配置文件和密钥对。

操作集群?

用ceph-deploy部署完成后它会自动启动集群。要在 Debian/Ubuntu 发行版下操作集群守护进程，参见用 Upstart 运行 Ceph；要在 CentOS 、 Red Hat 、 Fedora 和 SLES 下操作集群守护进程，参见用 sysvinit 运行 Ceph。

关于 peering 和集群健康状况请参见监控集群；关于 OSD 守护进程和归置组（ placement group ）健康状况参见监控 OSD 和归置组；关于用户管理请参见用户管理。

Ceph 集群部署完成后，你可以尝试一下管理功能、rados对象存储命令，之后可以继续快速入门手册，了解 Ceph 块设备、 Ceph 文件系统和 Ceph 对象网关。

扩展集群（扩容）?

一个基本的集群启动并开始运行后，下一步就是扩展集群。在node1上添加一个 OSD 守护进程和一个元数据服务器。然后分别在node2和node3上添加 Ceph Monitor ，以形成 Monitors 的法定人数。

添加 OSD?

你运行的这个三节点集群只是用于演示的，把 OSD 添加到 monitor 节点就行。

然后，从ceph-deploy节点准备 OSD 。

例如：

最后，激活 OSD 。

例如：

一旦你新加了 OSD ， Ceph 集群就开始重均衡，把归置组迁移到新 OSD 。可以用下面的ceph命令观察此过程：

你应该能看到归置组状态从active + clean变为active，还有一些降级的对象；迁移完成后又会回到active + clean状态（ Control-C 退出）。

添加元数据服务器?

至少需要一个元数据服务器才能使用 CephFS ，执行下列命令创建元数据服务器：

例如：

Note

当前生产环境下的 Ceph 只能运行一个元数据服务器。你可以配置多个，但现在我们还不会为多个元数据服务器的集群提供商业支持。

添加 RGW 例程?

要使用 Ceph 的Ceph 对象网关组件，必须部署RGW例程。用下列方法创建新 RGW 例程：

例如：

Note

这个功能是从Hammer版和ceph-deploy才开始有的。

RGW例程默认会监听 7480 端口，可以更改该节点内与RGW相关的配置，如下：

用的是 IPv6 地址的话：

添加 MONITORS?

Ceph 存储集群需要至少一个 Monitor 才能运行。为达到高可用，典型的 Ceph 存储集群会运行多个 Monitors，这样在单个 Monitor 失败时不会影响 Ceph 存储集群的可用性。Ceph 使用 PASOX 算法，此算法要求有多半 monitors（即 1 、 2:3 、 3:4 、 3:5 、 4:6 等）形成法定人数。

新增两个监视器到 Ceph 集群。

例如：

新增 Monitor 后，Ceph 会自动开始同步并形成法定人数。你可以用下面的命令检查法定人数状态：

Tip

当你的 Ceph 集群运行着多个 monitor 时，各 monitor 主机上都应该配置 NTP ，而且要确保这些 monitor 位于 NTP 服务的同一级。

存入/检出对象数据?

要把对象存入 Ceph 存储集群，客户端必须做到：

1.指定对象名

2.指定存储池

Ceph 客户端检出最新集群运行图，用 CRUSH 算法计算出如何把对象映射到归置组，然后动态地计算如何把归置组分配到 OSD 。要定位对象，只需要对象名和存储池名字即可，例如：

练习：定位某个对象

作为练习，我们先创建一个对象，用rados put命令加上对象名、一个有数据的测试文件路径、并指定存储池。例如：

为确认 Ceph 存储集群存储了此对象，可执行：

现在，定位对象：

Ceph 应该会输出对象的位置，例如：

用``rados rm`` 命令可删除此测试对象，例如：

随着集群的运行，对象位置可能会动态改变。 Ceph 有动态均衡机制，无需手动干预即可完成。

块设备快速入门?

CEPH 文件系统快速入门?

开始实践Ceph 文件系统入门手册前，必须先完成存储集群快速入门。在管理节点上完成此入门。

准备工作?

1.确认你使用了合适的内核版本，详情见操作系统推荐。

3.确保Ceph 存储集群在运行，且处于active + clean状态。同时，确保至少有

一个Ceph 元数据服务器在运行。

ceph -s [-m {monitor-ip-address}] [-k {path/to/创建文件系统?

虽然已创建了元数据服务器（存储集群快速入门），但如果你没有创建存储池和文件系统，它是不会变为活动状态的。参见创建 Ceph 文件系统。

创建密钥文件?

Ceph 存储集群默认启用认证，你应该有个包含密钥的配置文件（但不是密钥环本身）。用下述方法获取某一用户的密钥：

1.在密钥环文件中找到与某用户对应的密钥，例如：

2.cat 找到用于挂载 Ceph 文件系统的用户，复制其密钥。大概看起来如下所示：

5.保存文件，并把其用户名name作为一个属性（如）。

6.确保此文件对用户有合适的权限，但对其他用户不可见。

内核驱动?

把 Ceph FS 挂载为内核驱动。

Ceph 存储集群默认需要认证，所以挂载时需要指定用户名name和创建密钥文件一节中创建的密钥文件secretfile，例如：

Ceph 存储集群默认要求认证，需指定相应的密钥环文件，除非它在默认位置（即

/etc/ceph）：

附加信息?

附加信息见Ceph FS。 Ceph FS 还不像 Ceph 块设备和 Ceph 对象存储那么稳定，如果遇到问题请参考故障排除。

CEPH 对象存储快速入门?

从 firefly（）起，Ceph 存储集群显著地简化了 Ceph 对象网关的安装和配置。网关守护进程内嵌了 Civetweb，无需额外安装 web 服务器或配置 FastCGI。此外，可以直接使用ceph-deploy来安装网关软件包、生成密钥、配置数据目录以及创建一个网关实例。

Tip

Civetweb 默认使用7480端口。要么直接打开7480端口，要么在你的 Ceph 配置文件中设置首选端口（例如80端口）。

要使用 Ceph 对象网关，请执行下列步骤：

安装 CEPH 对象网关?

1.在client-node上执行预安装步骤。如果你打算使用 Civetweb 的默认端口

7480，必须通过firewall-cmd或iptables来打开它。详情见预检。

2.从管理节点的工作目录，在client-node上安装 Ceph 对象网关软件包。例如：

新建 CEPH 对象网关实例?

从管理节点的工作目录，在client-node上新建一个 Ceph 对象网关实例。例如：

一旦网关开始运行，你就可以通过7480端口来访问它（比如）。

配置 CEPH 对象网关实例?

1.通过修改 Ceph 配置文件可以更改默认端口（比如改成80）。增加名为

[.]的小节，把替换成你自己 Ceph 客户端节点的短名称（即hostname -s的输出）。例如，你的节点名就是client-node，在[global]节后增加一个类似于下面的小节：

2.为了使新端口的设置生效，需要重启 Ceph 对象网关。在 RHEL 7 和 Fedora 上，

执行：

在 RHEL 6 和 Ubuntu 上，执行：

3.最后，检查节点的防火墙，确保你所选用的端口（例如80端口）处于开放状态。

如果没有，把该端口加入放行规则并重载防火墙的配置。例如：