QEMU磁盘缓存模式详解（qemu 磁盘）

这几天看到suse官网的一篇关于磁盘缓存模式的文档，非常不错，讲的非常透彻，将这篇文档翻译了过来，分享给大家。

文档英文地址为:

http://webapp5.rrz.uni-hamburg.de/SuSe-Dokumentation/manual/sles-manuals_en/cha.qemu.cachemodes.html

磁盘io从虚拟机到宿主机物理存储的历程有9步。

1 虚拟机应用层

2 虚拟机文件系统或者块设备层

3 虚拟机磁盘驱动

4 虚拟化层

5 镜像或者裸设备

6 宿主机文件系统或者块设备层

7 宿主机磁盘驱动

8 RAID卡及cache

9 硬盘及cache

QEMU的存储缓存模式主要调整的是宿主机页面缓存的使用和虚拟化层是否给虚拟机提供磁盘的缓存。

虚拟机磁盘接口的几种缓存模式

KVM虚拟机在配置磁盘的时候，可以指定几种缓存模式。每一块虚拟机的磁盘接口可以配置成以下几种缓存模式：writethrough,writeback, none, directsync, 或者 unsafe。如果没有指明缓存模式，KVM使用默认的缓存方式。

缓存模式通过以下几种方式影响宿主机如何使用存储设备：

读写数据可以被缓存到宿主机的页面缓存里；

执行刷盘操作的时候，虚拟机的存储控制器如果是写缓存模式会被影响；

同步写模式，在这种模式里只有数据真的被写入到物理的存储设备才会报告写操作完成；

因为性能的原因，虚拟机磁盘控制器刷盘的命令可能被虚拟化层忽略。

如果虚拟机和它的存储设备失去连接会造成数据不一致，缓存模式的使用有可能会造成数据丢失。缓存方式也会深入影响磁盘性能。另外，基于一些因素，一些磁盘缓存模式会和在线迁移矛盾。磁盘镜像，镜像位置，存储子系统，关于缓存方式没有简单的最佳规则。用户需要规划和测试每台虚拟机的各种情况以选择最优的性能。

每种缓存模式的详细解释

缓存方式未指定

qemu-kvm低于1.2的版本，如果没有指定缓存方式，默认使用writethrough模式。之后的版本，大量的writeback 或者 writethrough缓存模式的虚拟化存储接口语义问题被修复，允许默认的缓存模式切换到writeback。ide、scsi和virtio等每种虚拟机的磁盘驱动，在内部有能力禁止写缓存模式，导致缓存模式转化为 writethrough。不管怎样，典型的虚拟机存储驱动将会默认维持在writeback模式。

cache = writethrough

这种模式设置虚拟机的磁盘镜像文件或者块设备为O_DSYNC 语义，数据只有合并写入存储设备才会返回成功报告。宿主机的页面缓存在这种模式是工作在透写方式。虚拟机的磁盘驱动告知虚拟机没有回写缓存，所以虚拟机不需要发出刷盘命令以保持数据一致性。存储设备的行为就像是透过缓存。

cache = writeback

这种模式设置虚拟机的磁盘镜像文件或者块设备既不是O_DSYNC 也不是O_DIRECT 语义，所以可以使用宿主机页面缓存，数据到底宿主机页面缓存就给虚拟机返回写成功报告，页面缓存管理机制会管理数据的合并写入宿主机存储设备。另外，虚拟机磁盘控制器被通知可以使用回写缓存，于是虚拟机在需要保证数据一致性的时候会发出刷盘命令。过程就像raid控制器的RAM缓存机制。

cache = none

这种模式设置虚拟机的磁盘镜像文件或者块设备为O_DIRECT语义，所以宿主机的页面缓存被绕过，I/O直接在qemu-kvm的用户空间缓存和宿主机存储设备间发生。由于实际的存储设备可能在数据被放入写入队列就报告数据写操作完成，虚拟机的存储控制器被告知有回写缓存，于是虚拟机在需要保证数据一致性的时候会发出刷盘命令。相当于直接访问主机的磁盘,并且有优越的性能。

cache = unsafe

这种模式同上面讨论的cache=writeback非常类似，unsafe模式关键的地方是所有的虚拟机刷盘指令会被忽略，使用这个模式意味着接受宿主机故障的时候数据丢失的风险以换取性能。这个模式可以在系统安装的时候使用，不建议在生产环境使用。

cache=directsync

这种模式设置虚拟机的磁盘镜像文件或者块设备同时使用O_DSYNC和O_DIRECT 语义，只要数据被合并写入存储设备才会报告写操作成功，这种模式也绕过宿主机的页面缓存，类是cache=writethrough模式，虚拟机也不需要发出刷盘命令。这种模式是最后一种语义缓存和直接访问的可能的组合，是缓存方式的一种补充。

缓存模式的数据一致性比较

cache = writethrough, cache = none, cache=directsync

这些是比较安全的模式，可以考虑用于保持数据一致性，虚拟机可以在需要的时候刷盘。如果是一台可靠性要求非常高的虚拟机，请使用writethough或者directsync模式。注意在一些文件系统不兼容cache=none 或者 cache=directsync的模式，当这些缓存模式被开启的时候，这些文件系统不支持O_DIRECT。

cache = writeback

这种模式通知虚拟机工作在回写模式，依靠虚拟机在必要的时候发起刷盘命令保持虚拟机镜像的数据一致性。这和现代文件系统存储设计思路保持完全一致。但是必须注意在数据报告写完成，和真正的合并写到存储设备上一个时间窗口期，这种模式在宿主机故障的时候会丢失数据。

cache = unsafe

这种模式同writeback非常相似，只是希望忽略虚拟机的刷盘指令，通过刷盘保持数据一致性是无效的，所以宿主机故障的时候数据丢失的风险非常高。被命名为unsafe也是警告这个是宿主机故障的时候数据丢失风险最高的一种模式。注意只有在虚拟机被关闭的时候才有数据刷盘的动作。

缓存方式的性能比较

选择全部使用页面缓存，或者透写缓存，或者跳过缓存，这些都对性能有显著的影响。另外一些对性能影响的因素包括实际的存储设备读写能力，具体的磁盘镜像方式，页面缓存页大小及系统的IO调度策略。另外，回写模式增加性能但是有风险。一般情况下，高可靠的虚拟机使用cache = none模式，用于减少数据复制。多台虚拟机共享宿主机的页面缓存，为提高读写命中率，建议使用aio = native方式。

缓存方式对在线迁移的影响

存储数据和元数据的缓存限制支持在线迁移的配置。当前，只有raw qcow2 qed的镜像格式支持在线迁移。如果使用的是集群文件系统，所有的镜像格式都支持迁移，如果不是，只有none模式支持在线迁移。

libvirt会检查在线迁移的几种兼容性因素。如果虚拟机在集群文件系统上，如果共享存储被标记为只读模式，缓存模式的检查会被忽略，相反，如果缓存模式不是none，libvirt不会允许在线迁移。然而，也可以通过virsh命令使用unsafe参数，或者使用API，强制执行在线迁移，例如

irsh migrate --live --unsafe

提示

none模式要求IO方式设置成aio = native。如果是其他缓存模式，IO方式会静默切换为aio = threads。qemu-kvm虚拟机可以使用fdatasync()方式实现在宿主机刷盘。