宿主机磁盘IO过高导致虚拟机卡顿？用Cgroup IO优先级来缓解

当宿主机上的磁盘读写持续飙高，比如某个虚拟机在跑备份或大量日志写入，其他虚拟机的响应速度就会明显下降，甚至出现卡顿、SSH 延迟变大、应用超时等状况。
这本质上是磁盘 IO 资源被争抢导致的。
要解决这个问题，除了升级硬件，更常见的做法是通过 Cgroup 的 blkio 子系统来限制或调整虚拟机的 IO 权重，让关键业务优先占用磁盘带宽。
本文会带你从零开始，在 CentOS 7/8 或 Ubuntu 18.04+ 上完成配置。

动手前的准备：确认环境与目标

在操作之前，先确认你的宿主机使用 systemd 管理服务，并且内核支持 blkio（一般 2.6.33+ 都支持）。
同时，你需要知道每个虚拟机的 ID（比如 libvirt 的 virsh list 输出的 ID）以及对应的 vhost 线程或 QEMU 进程号。
本教程的核心思路是：通过给不同虚拟机的 vhost 线程设置不同的 blkio 权重，来影响磁盘 IO 的调度优先级。
注意，这需要你的磁盘 IO 调度器是 cfq 或 bfq，noop 和 deadline 不支持权重限制。
可以用 cat /sys/block/sda/queue/scheduler 查看，如果是 none 或 deadline，建议先切换到 cfq：echo cfq > /sys/block/sda/queue/scheduler（临时生效）。

分步操作：用 Cgroup 调整虚拟机 IO 优先级

1. 创建 Cgroup 并设置权重

首先，创建两个 Cgroup 子组，用于区分高优先级和低优先级的虚拟机。
这里以 high_io 和 low_io 为例：

mkdir -p /sys/fs/cgroup/blkio/high_io
mkdir -p /sys/fs/cgroup/blkio/low_io

然后给这两个组设置不同的权重，权重范围是 100-1000，数值越大优先级越高。
比如高优先级组设为 800，低优先级组设为 200：

echo 800 > /sys/fs/cgroup/blkio/high_io/blkio.weight
echo 200 > /sys/fs/cgroup/blkio/low_io/blkio.weight

2. 找到虚拟机相关的 IO 线程

每个虚拟机的磁盘 IO 操作通常由一组 vhost-* 内核线程负责。
先列出所有虚拟机进程，再找到对应的线程：

ps -ef | grep qemu | grep -v grep

假设你看到虚拟机 A 的 QEMU 进程 PID 是 12345，那么它的 vhost 线程一般是 vhost-12345。
你可以通过 ls /proc/12345/task/ | grep vhost 来确认所有线程号。

3. 将线程移入对应的 Cgroup

把虚拟机 A 的所有 vhost 线程号（比如 12346、12347）写入高优先级组的 tasks 文件：

echo 12346 > /sys/fs/cgroup/blkio/high_io/tasks
echo 12347 > /sys/fs/cgroup/blkio/high_io/tasks

同样，把虚拟机 B 的 vhost 线程写入低优先级组。
注意，不要移动 QEMU 主进程，只移动 vhost 线程，因为主进程负责管理，不直接处理 IO。

4. 让配置在重启后依然生效

手动写入的配置在重启后会丢失。
为了让配置持久化，建议使用 systemd 服务或脚本。
这里提供一个简单的 systemd 服务示例，创建 /etc/systemd/system/io-priority.service：

[Unit]
Description=Set IO priority for VMs
After=libvirtd.service

[Service]
Type=oneshot
ExecStart=/usr/local/bin/set_io_priority.sh
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target

然后创建执行脚本 /usr/local/bin/set_io_priority.sh，内容如下：

#!/bin/bash
mkdir -p /sys/fs/cgroup/blkio/high_io /sys/fs/cgroup/blkio/low_io
echo 800 > /sys/fs/cgroup/blkio/high_io/blkio.weight
echo 200 > /sys/fs/cgroup/blkio/low_io/blkio.weight
for tid in $(ls /proc/12345/task/ | grep vhost); do echo $tid > /sys/fs/cgroup/blkio/high_io/tasks; done

记得给脚本执行权限，
并启用服务：chmod +x /usr/local/bin/set_io_priority.sh，
然后 systemctl enable --now io-priority.service。

避坑指南：这些细节容易踩坑

• 不要移动 QEMU 主进程：如果误操作，可能导致虚拟机无法正常管理 IO。
• 确保 IO 调度器支持权重：noop 和 deadline 不支持 blkio.weight，只有 cfq 和 bfq 支持。
• vhost 线程的动态变化：虚拟机磁盘热插拔或重启后，线程号会变化，所以脚本需要定期执行或由 udev 规则触发。
• Cgroup 版本差异：以上操作基于 Cgroup v1。如果你的系统使用 Cgroup v2（比如较新的 Ubuntu），路径和文件有所不同，建议先确认当前挂载情况。

效果验证：如何确认配置生效

配置完成后，可以通过观察虚拟机 IO 表现来验证。
在宿主机上持续产生磁盘压力，比如用 dd if=/dev/zero of=/tmp/test bs=1M count=1024，然后分别在高、低优先级虚拟机里执行 time dd if=/dev/vda of=/dev/null bs=1M count=512，对比两者的耗时。
正常情况下，高优先级虚拟机的耗时会更短。
另外，可以查看 blkio 的统计文件：

cat /sys/fs/cgroup/blkio/high_io/blkio.io_serviced

如果高优先级组的 IO 服务次数明显多于低优先级组，说明权重设置生效了。

常见疑问与补充

为什么只调整权重有时不够？ 如果磁盘持续 100% 占用，权重只能决定分配比例，但无法限制总量。
此时可以配合 blkio.throttle 来设置读写带宽上限，比如：

echo '8:0 10485760' > /sys/fs/cgroup/blkio/low_io/blkio.throttle.read_bps_device

虚拟机内部能否自己设置 IO 优先级？ 可以，但只对虚拟机内部进程有效，宿主机层面的争抢还是需要宿主机来干预。

Cgroup v2 怎么处理？ 在 Cgroup v2 中，blkio 控制器合并到了 io 控制器，权重文件变为 io.weight，并且需要先启用控制器，操作步骤类似，但路径和写法有差异。
建议先了解你的系统版本，再参考官方文档进行调整。

结语

通过 Cgroup 的 blkio 权重控制，你可以在不中断虚拟机的情况下，调整它们对宿主机磁盘 IO 的竞争能力，有效缓解因磁盘 IO 过高导致的全局卡顿。
本文提供的方法适用于大多数基于 KVM 的虚拟化环境，但不同内核和发行版的细节可能略有差异，遇到问题多查文档和系统日志。