AI解析Nginx访问日志，统计访客与爬虫报表
很多站长和运维新手第一次分析 Nginx 访问日志时，会直接把 access.log 丢给 AI 工具，结果要么因为文件太大失败，要么统计出来的访客数和爬虫数明显不对。
本文会从日志格式确认开始，一步步用命令行做基础统计，再结合 AI 辅助生成可读报表，最终得到一份能区分真实访客和爬虫的统计结果。
先确认你的 Nginx 日志格式
不同服务器环境下的 Nginx 日志格式可能不同，统计前必须先看日志长什么样。
用 head 命令查看前几行：
head -n 5 /var/log/nginx/access.log典型输出类似：
192.168.1.1 - - [10/Jan/2025:10:23:45 +0800] "GET /index.html HTTP/1.1" 200 1234 "-" "Mozilla/5.0 (compatible; Googlebot/2.1)"重点看最后引号里的 User-Agent，它是区分访客和爬虫的关键字段。
如果日志里没有 User-Agent，说明 Nginx 配置中 log_format 没有包含 $http_user_agent，需要先在配置文件中补上并重载 Nginx。
宝塔面板用户路径：网站 → 设置 → 配置文件，找到log_format行，确认末尾有"$http_user_agent"。
用命令行快速统计访客和爬虫
在日志格式确认无误后，先用系统自带命令做基础统计，避免直接依赖 AI 处理大文件。
统计独立 IP 访客数：
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20这会列出访问量最高的 20 个 IP。
如果某个 IP 访问量异常高，先别急着封，它可能是搜索引擎爬虫或监控服务。
统计 User-Agent 出现频率：
awk -F'"' '{print $6}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -30这条命令会输出出现次数最多的 User-Agent。
常见的爬虫标识包括：
Googlebot：Google 搜索爬虫bingbot：必应爬虫Baiduspider：百度爬虫YandexBot：Yandex 爬虫AhrefsBot、SemrushBot：SEO 工具爬虫python-requests、curl、Go-http-client：脚本或监控请求
把包含这些关键词的请求单独统计，就能得到爬虫报表。
统计爬虫总请求量：
grep -iE 'bot|spider|crawl|slurp' /var/log/nginx/access.log | wc -l统计真实访客请求量（排除常见爬虫）：
grep -ivE 'bot|spider|crawl|slurp|python-requests|curl' /var/log/nginx/access.log | wc -l得到这两个数字后，你就能粗略判断爬虫流量占比。
如果爬虫请求超过总请求的 60%，通常意味着站点被大量采集或监控，需要进一步检查来源 IP 和请求路径。
用 AI 辅助生成可读报表
命令行统计适合快速看数，但如果你想生成带趋势、来源分类和异常提示的报表，可以借助 AI 工具。
关键原则是 不要让 AI 直接读原始日志文件，而是先把日志压缩成摘要，再交给 AI 分析。
第一步：生成按小时统计的请求量
awk '{print $4}' /var/log/nginx/access.log | cut -d: -f2 | sort | uniq -c这条命令会输出每个小时的请求数，方便观察流量高峰。
第二步：生成爬虫与访客的 User-Agent 摘要
awk -F'"' '{print $6}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -50 > /tmp/ua_summary.txt第三步：把摘要文件内容粘贴给 AI
向 AI 提问时，建议使用类似这样的提示：
以下是一份 Nginx 访问日志的 User-Agent 统计摘要，请帮我区分哪些是搜索引擎爬虫、哪些是工具爬虫、哪些可能是真实用户，并估算各类占比。
AI 会输出分类结果和占比估算。注意：AI 的分类结果需要人工复核，尤其是 Mozilla/5.0 开头的 User-Agent，它既可能是浏览器，也可能是伪装爬虫。
避坑指南：这些统计错误很常见
误区一：把 CDN 回源 IP 当成访客 IP
如果站点用了 CDN，日志里的 $remote_addr 可能是 CDN 节点 IP，不是真实访客 IP。
需要在 Nginx 配置中启用 real_ip 模块，并设置 set_real_ip_from 为 CDN 回源段，否则统计结果会严重失真。
误区二：忽略日志切割
Nginx 日志默认可能按天切割。
如果只统计 access.log，会漏掉 access.log.1、access.log.2.gz 等历史文件。
统计前先用 ls -lh /var/log/nginx/ 确认所有日志文件，必要时用 zcat 处理压缩日志。
误区三：AI 直接读大文件
超过几万行的日志文件直接粘贴给 AI，容易截断或超时。
正确做法是先命令行聚合，再把摘要交给 AI。
误区四：把 200 状态码都当成有效访问
爬虫和监控脚本也会返回 200。
统计访客时，建议结合 User-Agent 和请求路径一起过滤，不要只看状态码。
验证报表是否可信
生成报表后，用以下方法交叉验证：
- 对比 Nginx 日志总行数和统计口径的总请求数，差距不应超过 5%。
- 抽查访问量最高的 10 个 IP，用
whois或 IP 归属地查询确认是否为已知爬虫或 CDN 节点。
