带宽限速防止爬虫耗尽服务器流量：服务器带宽总被爬虫跑光？手把

知识分享

2026-07-16 09:00

10 阅读

为什么你的服务器流量总被爬虫偷偷吃掉？

运行网站的站长容易遇到这样的情况：月初流量套餐还很充裕，月底却突然提示超量。
十有八九是恶意爬虫或搜索引擎不当抓取造成的。
它们占用大量带宽，不仅导致额外费用，还会让正常用户访问变慢。
本文就是来解决这个问题的——通过带宽限速和请求频率限制，从源头上掐住爬虫的消耗。
操作过程全部面向零基础用户，你只需要一台Linux服务器（CentOS或Ubuntu皆可）并拥有root权限。

动手前的准备：这两样东西不能少

在开始限速之前，先确认你的服务器环境能满足以下条件：

已安装Nginx（用于请求速率限制）——如果没装，可执行 apt install nginx（Ubuntu）或 yum install nginx（CentOS）。
已安装iptables（用于带宽大小限制）——大多数系统自带，用 which iptables 检查即可。
确认网站配置路径 —— Nginx网站配置文件通常位于 /etc/nginx/sites-available/ 或 /etc/nginx/conf.d/。

如果你使用宝塔面板，可以在“网站”设置中找到Nginx配置文件编辑入口，操作思路一致。

核心操作一：用Nginx限制请求速率，让爬虫慢下来

打开你的Nginx站点配置文件，在 server 块或 location 块中添加以下配置（以 limit_req_zone 为例）：

http {
    # 定义限速区域：rate=1r/s 表示每秒只允许1次请求
    limit_req_zone $binary_remote_addr zone=anti_crawler:10m rate=1r/s;

    server {
        # 其他配置...

        location / {
            limit_req zone=anti_crawler burst=3 nodelay;
            # 上述配置表示：每IP每秒最多1个请求，允许瞬间最多3个突发请求
        }
    }
}

配置解释：

$binary_remote_addr 使用客户端IP（二进制形式）作为限速依据。
zone=anti_crawler:10m 创建一块10MB内存区域存放IP信息，足够应对一般站点。
rate=1r/s 是核心限制——如果你发现正常用户也被限制了，可以适当调大，比如 rate=3r/s。
burst=3 nodelay 允许短时间内的突发流量（最多3个），超过后会返回503错误。

保存后执行 nginx -t 测试配置，无误后 systemctl reload nginx 生效。

核心操作二：用iptables限制单IP带宽，直接掐住流量

如果爬虫不遵守请求速率限制（例如并发多条连接），可以从带宽本身下手。
下面这条iptables规则会限制每个IP的下载速度为1Mbps：

# 清除先前可能存在的规则（谨慎操作）
iptables -F

# 在FORWARD链（或INPUT链）中限制每个源IP的带宽
iptables -A FORWARD -m conntrack --ctstate NEW -m hashlimit --hashlimit-name crawl_bandwidth --hashlimit 128kbps --hashlimit-burst 1mb --hashlimit-mode srcip -j ACCEPT

但上面的规则比较粗糙，更精准的做法是结合 tc（流量控制）工具。
以下是一条常用的tc限速命令：

# 首先清除原有tc规则
tc qdisc del dev eth0 root 2>/dev/null

# 为网卡eth0创建根队列，限制总带宽为10Mbpstc qdisc add dev eth0 root handle 1: htb default 30

# 创建一个类别，保障单个IP最大1Mbpstc class add dev eth0 parent 1: classid 1:1 htb rate 10mbit ceil 10mbit

*注意：tc配置相对复杂，如果担心出错，建议先使用Nginx请求速率限制。
* 对于大多数新手来说，请求频率限制已经能解决80%的爬虫问题，带宽限制仅作为加强手段。

避坑指南：这几个地方最容易出错

burst参数不是越大越好：设置 burst=10 会导致短时间内大量请求通过，限速形同虚设。建议从 burst=2 或 3 开始测试。
不要对搜索引擎设置白名单：如果误把搜狗、百度等爬虫IP加入白名单，它们可能继续耗尽流量。可以单独为搜索引擎代理设置更高限制，而不是完全放行。
iptables规则会重启失效：如果服务器重启，iptables规则会丢失。建议将规则写入 /etc/rc.local 或使用 iptables-save > /etc/iptables/rules.v4 持久化。

验证限速是否生效的三种方法

观察错误日志：Nginx的 error.log 中会出现 limiting requests 字样，说明限速已生效。
压力测试：使用 ab -n 100 -c 10 http://yourdomain.com/ 模拟并发请求，观察返回的503错误数量。如果出现大量503，证明限速正常。
检查带宽用量：运行 nload 或 iftop 工具，查看实时流量变化。限速生效后，单个IP的带宽应明显下降。

结语

通过以上步骤，你已经掌握了带宽限速防止爬虫耗尽服务器流量的常用方法。
如果遇到误杀正常用户的情况，可以适当调高 rate 值（比如改为 3r/s），或者为已验证的搜索引擎IP设置单独的限速区域。
建议先启用Nginx请求限制，观察一周再决定是否添加iptables带宽限制。

常见问题解答：

Q：限速后网站延迟变高怎么办？

A：检查是否限制过严，适当调高rate值，并检查服务器是否还有其他瓶颈（如带宽出口已满）。

Q：爬虫更换IP怎么办？

A：配合WAF或防火墙，根据User-Agent、请求频率综合判断，必要时封禁IP段。

定时碎片优化数据库提升访问速度：如何定时碎片优化数据库来提升

robots屏蔽垃圾爬虫恢复网站收录