AI驱动故障自愈实战：零基础搭建自动修复系统
什么是AI驱动故障自愈？
简单说，就是让服务器自己发现异常、自己修好。
不需要你半夜爬起来敲命令。
常见的场景包括：检测到Nginx挂掉立刻重启、磁盘快满了自动清理日志、CPU load过高自动降级服务。
真正的AI可能会用机器学习预测故障，但零基础入门可以先从规则化自愈开始——用脚本模拟“小脑反射”，也算迈进AI驱动故障自愈的第一步。
准备条件
- 一台Linux服务器（本文以Ubuntu 20.04为例）
- Python 3环境（系统自带）
- 一个正在运行的服务（比如Nginx，
apt install nginx -y） - 明白crontab基本用法（后面直接给命令）
第一步：写一个“发现异常”的脚本
AI驱动的核心是“感知”。
我们写一个最简单的CPU负载检测脚本：
#!/usr/bin/env python3
import psutil
import sys
# 获取最近1分钟CPU平均负载
load = psutil.getloadavg()[0]
threshold = 2.0 # 阈值根据自己的核数调整，单核建议1.0
if load > threshold:
# 输出告警，后续由定时任务捕获
print("CRITICAL: CPU load too high: {}".format(load))
sys.exit(1)
else:
print("OK: CPU load {}".format(load))
sys.exit(0)将脚本保存为 /usr/local/bin/cpu_check.py，并赋予执行权限：
chmod +x /usr/local/bin/cpu_check.py这个脚本返回非0时表示异常，后面就靠它触发自愈。
第二步：写一个自动修复脚本
发现异常后，怎么修？
我们简单重启Nginx并清理日志。
#!/bin/bash
# /usr/local/bin/self_heal.sh
DATE=$(date '+%Y-%m-%d %H:%M:%S')
echo "[$DATE] Starting self-heal..."
# 重启Nginx
systemctl restart nginx
if [ $? -eq 0 ]; then
echo "[$DATE] Nginx restarted successfully."
else
echo "[$DATE] Failed to restart Nginx."
fi
# 清理超过7天的Nginx日志
find /var/log/nginx -name "*.log" -mtime +7 -delete
echo "[$DATE] Old Nginx logs cleaned."同样赋予执行权限：
chmod +x /usr/local/bin/self_heal.sh给root添加这两个脚本的执行权限（注意所有权）。
第三步：用crontab定时驱动“AI”
设置定时任务，每1分钟运行检测脚本，如果检测到异常则触发自愈。
crontab -e添加以下行：
* * * * * /usr/local/bin/cpu_check.py || /usr/local/bin/self_heal.sh >> /var/log/self_heal.log 2>&1解释：/usr/local/bin/cpu_check.py 被crontab执行，如果返回值不为0（即 || 后面的命令被执行），则运行 self_heal.sh。
所有输出记入日志。
第四步：验证效果
故意制造CPU高负载，看看系统是否自动恢复。
# 制造CPU压力（运行5分钟）
stress --cpu 1 --timeout 300如果没有 stress 工具，先安装：
apt install stress -y执行后，观察 /var/log/self_heal.log：
tail -f /var/log/self_heal.log大约1分钟内就会看到类似：
[2025-03-28 15:10:01] Starting self-heal...
[2025-03-28 15:10:01] Nginx restarted successfully.
[2025-03-28 15:10:01] Old Nginx logs cleaned.同时用 systemctl status nginx 确认Nginx已重启（Restart计数增加）。
高频问题解答
Q：这个脚本算AI驱动吗？
A：这是基于规则的自愈，属于AI驱动故障自愈的初级阶段。真正AI需要异常检测模型，你可以后续用历史数据训练一个简单的孤立森林模型替换阈值判断。
Q：CPU负载阈值设多少合适？
A：取决于CPU核心数。单核系统建议1.0，四核可以设3.5。先用 uptime 观察正常负载，再设定阈值。
Q：自愈脚本如果误修复怎么办？
A：建议先加入确认逻辑，比如连续3次异常才修复。也可以利用 flock 避免并行执行。
避坑指南
- 脚本路径尽量使用绝对路径，crontab的环境变量有限。
- 日志文件要配置logrotate，防止撑满磁盘。
- 不要同时检测多个指标，逐步增加复杂度。
- 生产环境建议先用非核心服务测试。
总结
从零搭建一个简易的AI驱动故障自愈系统并不神秘：一个检测脚本、一个修复脚本、一行crontab。
当你把这个最小闭环跑通后，可以再引入 Prometheus + Alertmanager 做更专业的告警触发，甚至用 Python 的 scikit-learn 做异常预测。
记住，故障自愈的核心是“快速发现 + 安全修复”，别让脚本本身变成新麻烦。
如果你在实践过程中遇到问题，欢迎在评论区留言交流。
