网站爬虫抓取超时怎么办？服务器配置整改完整指南

网站上线后，百度等搜索引擎的爬虫频繁抓取超时，会导致收录变慢甚至被降权。
很多站长遇到这个问题第一反应是升级带宽或服务器，但其实大部分场景下是超时参数设置不合理或资源限制未解除。
本文从零开始，带你一步步整改服务器配置，彻底解决网站爬虫抓取超时服务器整改的核心问题。

一、先确认问题范围

在动手改配置之前，先通过日志确认超时发生在哪个环节。

1. 登录服务器（或宝塔面板），查看 Nginx 错误日志：

   tail -n 100 /var/log/nginx/error.log

看到 upstream timed out 或 connect() timed out，说明是 Nginx 到后端（PHP-FPM）的连接超时。

1. 查看 PHP-FPM 慢日志：

   tail -n 100 /var/log/php-fpm/slow.log

如果某个请求执行时间超过 request_slowlog_timeout，说明 PHP 脚本本身执行太慢。

明确问题后，再针对性地调整参数，避免胡乱改动影响正常访问。

二、调整 Nginx 超时参数

Nginx 默认的超时值通常偏小，爬虫请求量大且可能触发复杂页面，容易超时。
需要修改以下三个关键指令：

• proxy_connect_timeout：与后端建立连接的超时，建议设为 75s。
• proxy_read_timeout：等待后端返回数据的超时，爬虫请求建议 120s。
• proxy_send_timeout：向后端发送请求的超时，默认 60s 通常够用。

找到站点对应的 Nginx 配置文件（宝塔面板：网站 → 设置 → 配置文件），在 location ~ \.php$ 块中或 server 块内添加：

proxy_connect_timeout 75s;
proxy_read_timeout 120s;
proxy_send_timeout 60s;
fastcgi_connect_timeout 75s;
fastcgi_read_timeout 120s;
fastcgi_send_timeout 60s;

如果你使用反向代理，proxy_* 生效；
如果用 PHP-FPM 直接，fastcgi_* 生效。同时设置更稳妥。
保存后执行 nginx -s reload 重载配置。

三、优化 PHP-FPM 执行超时与资源

PHP 脚本处理爬虫请求时，如果执行时间超过默认的 30s 也会直接断开连接。
调整两个参数：

1. request_terminate_timeout：单个请求最大执行时间，建议设为 120s（与 Nginx read_timeout 保持一致）。
2. max_execution_time：PHP 本身的最大执行时间，可以在 php.ini 中改为 120。

编辑 PHP-FPM 配置文件（宝塔面板：软件商店 → PHP → 配置）：

request_terminate_timeout = 120s

同时修改 php.ini：

max_execution_time = 120

如果站点流量较大，还需调整 pm.max_children（PHP-FPM 子进程数）和 pm.max_requests，避免资源耗尽导致超时。
根据服务器内存和 CPU 核心数合理设置，例如 2G 内存、2 核的机器，max_children 可以设为 10-15。

避坑提醒：不要将 request_terminate_timeout 设置过大（如 300s），否则慢请求会占满进程，影响其他正常访问。一般 120s 足够应付大部分爬虫请求。

四、常见问题与验证效果

Q：改完还是超时怎么办？
A：检查服务器负载（top 命令或面板监控），如果 CPU 或内存长期跑满，说明需要升级配置或优化程序（如开启缓存、压缩、CDN）。另外，检查数据库慢查询，通过 SHOW FULL PROCESSLIST 找出长查询并优化 SQL。

Q：宝塔面板在哪里修改这些配置？
A：Nginx 配置在“网站 → 对应站点 → 设置 → 配置文件”；PHP 配置在“软件商店 → PHP → 设置 → 配置修改”；PHP 版本需对应站点使用的版本。

Q：调整后会不会影响正常用户访问？
A：适当增加超时不会影响正常用户，因为普通用户访问通常几秒内完成。但 max_children 设太高可能耗尽内存，建议小步调整并观察。

效果验证方法：

1. 使用 cURL 模拟爬虫请求（带 Crawl 头）：

   curl -I -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -o /dev/null -s -w "%{http_code} %{time_total}\n" https://你的域名/某长页面

如果返回 200 且耗时在 120s 以内则正常。

1. 查看 Nginx 访问日志，过滤爬虫，对比调整前后是否有 499（客户端主动断开）或 504 错误。

五、写在最后

爬虫抓取超时服务器整改的核心思路是：先定位超时环节 → 同步增大 Nginx 和 PHP-FPM 的超时值 → 确保资源不成为瓶颈。
按照本文操作后，大部分超时问题都能解决。
如果问题依旧，建议同时开启页面静态缓存（如使用 Redis 或页面静态化），减轻 PHP 处理压力。
记住，改完一定要观察 24 小时，确认无负面影响后再应用到其他站点。