Proxmox创建集群组ceph需要至少三个节点，本次实验为三台服务器，每台服务器系统为proxmox6.4，数据盘为各三块2.4t机械盘。

一、更换系统源

为每台服务器安装好系统后，首先都需要更新update和upgrade，自带的更新源速度很慢，所以需要改成中文源。

1.更换阿里源

Shell命令行下输入nano /etc/apt/sources.list

进入编辑界面

源地址如下：

deb https://mirrors.aliyun.com/debian buster main contrib non-free

deb https://mirrors.aliyun.com/debian buster-updates main contrib non-free

deb https://mirrors.aliyun.com/debian-security buster/updates main contrib non-free

deb https://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription

deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-octopus/ buster main

然后按ctrl+o保存修改：

然后如上图所示，点击回车键。然后按ctrl+x退出编辑界面。

2.去除企业源，方法同理：

输入nano
/etc/apt/sources.list.d/pve-enterprise.list

注释掉企业源，ctrl+o保存，然后回车，最后ctrl+x退出。

3. 删除该目录下所有文件。

输入rm -rf /etc/apt/sources.list.d/* （注意目录别删除了）

4.更新update和upgrade

输入apt update && apt upgrade，更新源和包

如下提示输入y，等待安装完成

二、建立集群

1.建立集群

安装成功之后，首先需要建立集群，首先用节点1创建集群：

提示创建成功。

然后查看加入信息

2.加入集群

将节点2和3分别加入节点1创建的集群。

成功加入集群。

三、安装配置ceph

1.为每个节点安装ceph

每个节点进入命令行，然后后执行pveceph install 就可以了。

最后提示成功即可

2.为每个节点添加osd磁盘

命令行输入 fdisk -l，查看所有盘符，

pveceph osd create /dev/sd[X]------X对应的盘符

例如pveceph osd create /dev/sdb为将sdb挂载成osd盘。

将各个节点osd盘创建好。

如果提示报错，说明磁盘在使用，

需要输入如下命令

ceph-volume lvm zap /dev/sd[X]-----X对应的盘符

如果还是报错，需要

先vgdisplay ，查看所有vg卷组，把非系统卷组全部移除，

命令如下

用vgremove移除对应的卷组

同理移除全部需要移除的vg后，需要pvdisplay查看所有被占用的物理卷

同样pvremove移除对应的物理卷

移除之后，reboot重启节点。

3.分别把对应监控节点和管理节点添加进节点1，2，3。

4.将cephfs组元加入各个节点

执行以上步骤后，最后如下图为配置成功

5.创建ceph pool池

根据官方的文档，of_PGs这个数值比较关键，如果不合适的话，Ceph会告警，官方建议:

若少于5个OSD， 设置pg_num为128。

5~10个OSD，设置pg_num为512。

10~50个OSD，设置pg_num为4096。

创建好后每个节点都会出现创建的pool池。

四、迁移测试

最后可以进行迁移测试了，在任意节点上安装个虚拟系统，本次实验为节点1安装编号为129的系统为proxmox的虚拟机。

如图节点1安装一个proxmox系统

如图需要先将虚拟机的iso删除，否则不会迁移。会提示报错

将刚才创建的虚拟机添加进HA中。

此时节点3为master状态，节点1，2，3都是激活状态

关闭节点1，hengcan01 等待片刻

此时节点1是断开状态，节点2，3为活动状态。至此，实验成功。