iftop流量分析脚本定位爬虫异常带宽占用根源

服务器带宽突然跑爆、网站响应变慢，排查一圈发现流量被陌生IP疯狂吃满——这种情况多半是恶意爬虫或采集程序在作祟。
iftop是一款实时流量监控工具，配合简单脚本就能自动筛选出占用带宽最高的IP，帮你快速定位爬虫异常流量的根源。

安装iftop并掌握基础用法

大多数Linux发行版可以直接用包管理器安装。

• Debian / Ubuntu：apt install iftop -y
• CentOS / Rocky / Alma：yum install iftop -y
• 如果提示找不到包，先执行epel-release再重试。

安装成功后运行iftop -i eth0（将eth0替换为你的主网卡名称）。
界面会实时显示连接IP、发送/接收速率。
按n可切换显示IP地址，按t可切换总流量统计。
如果看到某个IP的收发速度远超其他连接，基本可以锁定嫌疑IP。

编写流量分析脚本自动抓取异常IP

手工盯着iftop界面太累，写一个简单脚本自动采集并输出占用最高的IP地址。
将以下内容保存为iftop_crawler_check.sh：

#!/bin/bash
# 采集10秒流量数据，列出发送+接收总量前5的IP
iftop -i eth0 -t -s 10 -L 5 2>/dev/null | grep -E "^\s*[0-9]+" | awk '{print $2, $3, $5, $6}' | head -5

给脚本添加执行权限：chmod +x iftop_crawler_check.sh。
运行./iftop_crawler_check.sh，会看到类似输出：

192.168.1.100 10.2MB 2.1MB
203.0.113.50 8.7MB 0.3MB

第一列是IP，后面是发送和接收流量。
数值大的IP往往是爬虫。
你可以把这个脚本加入crontab每小时执行一次，并把结果写入日志，方便追溯。

避坑指南：为什么iftop看不到一些IP？

• 网卡名称错误：使用ip link show确认主网卡名，常见为eth0、ens33、enp0s3。
• 权限不足：iftop需要root权限，务必用sudo或root用户运行。
• 端口过滤需求：如果只想看80/443端口的流量，添加-f "port 80 or port 443"参数。
• 脚本未结束：-s 10表示采集10秒，时间太短可能会漏掉突发爬虫，建议设置在30秒以上。
• 本地流量干扰：SSH、面板等正常管理流量也会统计，需要结合访问日志进一步判断。

高频问题解答

Q：脚本输出IP的流量单位是什么？
A：iftop默认使用动态单位（KB、MB、GB），脚本中直接取了原始输出，对应的是流量总量。

Q：怎么用脚本自动封禁爬虫IP？
A：可以在脚本末尾加上IP白名单过滤，然后执行iptables -A INPUT -s [IP] -j DROP进行封禁，但要注意先确认IP确实来自恶意爬虫。

Q：宝塔面板环境能用吗？
A：可以。通过SSH登录服务器执行上述命令，宝塔不影响iftop的正常运行。

验证效果：确认爬虫是否被限制

执行脚本后，记录异常IP并临时用iptables禁止其访问：

iptables -A INPUT -s 192.168.1.100 -j DROP

然后再次运行iftop -i eth0 -t -s 10 -L 3观察该IP是否消失，整体带宽下降则说明定位正确。
你也可以查看服务器带宽监控图（宝塔面板首页/运维平台的流量监控），确认恢复情况。

找爬虫占用带宽根源并不难，核心思路就是实时监控+脚本自动化。
希望本文的iftop流量分析脚本能帮你快速清理掉那些偷跑流量的爬虫，让服务器带宽回归正常状态。
如果你对后续封禁策略或Nginx反爬配置感兴趣，可以继续查看站内相关教程。