服务器带宽限速脚本防止爬虫恶意耗尽流量

为什么需要限制爬虫带宽

爬虫不一定都是善意的。
部分恶意爬虫会大量请求你的网站，瞬间占满服务器带宽，导致正常用户无法访问。
更糟糕的是，流量耗尽还可能产生额外费用。
本文手把手教你用一条简单的脚本来限制特定 IP 或所有连接的速度，防止爬虫耗尽流量。

适用场景与准备条件

该方案适用于 Linux 服务器（CentOS / Ubuntu / Debian），需要 root 权限。
主要工具是 tc（Traffic Control）和 iptables，两者都预装在大多数发行版中。
如果你的是宝塔面板，也可以通过命令行执行，无需额外软件。

第一步：编写限速脚本

创建一个脚本文件（比如 /root/limit_bandwidth.sh），写入以下内容：

#!/bin/bash
# 限制所有发往 80 和 443 端口的 TCP 连接带宽为 1Mbit/s
INTERFACE="eth0"
LIMIT="1mbit"

tc qdisc del dev $INTERFACE root 2>/dev/null
tc qdisc add dev $INTERFACE root handle 1: htb default 30
tc class add dev $INTERFACE parent 1: classid 1:30 htb rate $LIMIT
tc qdisc add dev $INTERFACE parent 1:30 handle 30: sfq perturb 10

保存后赋予执行权限：chmod +x /root/limit_bandwidth.sh。

第二步：限制爬虫 IP（可选）

如果你发现某个 IP 特别疯狂，可以用 iptables 将其流量转发到 tc 的限速队列。
先创建入口限速规则：

tc qdisc add dev $INTERFACE ingress 2>/dev/null
tc filter add dev $INTERFACE parent ffff: protocol ip prio 1 u32 match ip src 1.2.3.4 flowid 1:30

将 1.2.3.4 换成实际 IP。
这样该 IP 的所有入站流量都会受到限速。

避坑指南

• 脚本中的 eth0 必须与实际网卡名称一致。可以用 ip a 查看。
• LIMIT="1mbit" 代表 1Mbps，你可以根据带宽调整，例如 10mbit、100mbit。
• 重启后 tc 规则会丢失，需要设置开机自启。用 crontab 的 @reboot 最简单：运行 crontab -e，添加 @reboot /root/limit_bandwidth.sh。
• 不要同时运行多个 tc 脚本，容易冲突。先执行 tc qdisc del dev eth0 root 清空旧规则。

如何验证限速是否生效

在服务器上安装 speedtest-cli 或直接使用 curl 下载文件测速：

curl -o /dev/null -w "%{speed_download}\n" http://speedtest.tele2.net/100MB.zip

如果返回的速度始终在 1Mbps 左右，说明限速成功。
你也可以让一台外部机器连续请求你的网站，观察带宽占用是否稳定在设定值。

高频问题

Q：限速后正常用户也被限制了怎么办？ 建议只对可疑 IP 单独限速，而不是全局。
或者设置限速为较高的值（比如 100Mbps），只对异常 IP 降低到 1Mbps。

Q：
脚本执行报错“No such file or directory”？ 检查 tc 是否安装：which tc，
未安装则执行 apt install iproute2（Ubuntu）或 yum install iproute（CentOS）。

Q：如何永久删除限速？ 执行 tc qdisc del dev eth0 root 和 tc qdisc del dev eth0 ingress。

总结

通过以上脚本和方法，你可以在几分钟内实现服务器带宽限速，有效防止爬虫恶意耗尽流量。
建议定期检查日志，发现异常 IP 及时加入限速列表。
如果你需要更精细的流量控制（如针对不同路径限速），可以结合 nginx 的限速模块实现。

建议先按本文步骤操作一次，再根据你的带宽和访问情况调整限速值，避免误伤正常访客。