网站单篇文章被收录其余页面抓取失败方案
问题场景
很多站长在提交网站后，发现百度、谷歌等搜索引擎只收录了首页或某一两篇内容性文章，其他页面始终没有被抓取。
这种情况通常不是网站被惩罚，而是抓取过程中遇到了技术障碍。
本文按零基础可操作的思路，列出5个最常被忽视的检查点，帮你定位并修复问题。
第一步：检查 robots.txt 是否误封了大量页面
打开浏览器，访问你网站的 robots.txt 文件，例如 https://你的域名/robots.txt。
- 如果看到
Disallow: /或Disallow: /article/之类的规则，搜索引擎就会被禁止抓取对应目录或全站。 - 正确的做法：允许抓取所有页面，或者只屏蔽后台、静态资源等无意义路径。
修正方法：使用文本编辑器修改 robots.txt，删除不必要的 Disallow 规则，然后保存并重新上传到网站根目录。
如果你的网站使用宝塔面板，可以在“文件”中直接编辑。
第二步：确保站点地图已生成并提交
站点地图（sitemap.xml）告诉搜索引擎你网站上有哪些页面需要抓取。
很多建站程序（如WordPress、Empire CMS）都有自动生成插件。
- 检查方式：访问
https://你的域名/sitemap.xml，看是否返回XML内容，且包含所有重要页面链接。 - 提交操作（以百度站长平台为例）：登录百度搜索资源平台 → 添加站点 → 选择“站点地图” → 输入sitemap地址并提交。每两天后可查看抓取状态。
如果未生成，可借助在线生成工具或插件（如WordPress的Yoast SEO、Rank Math）重新生成。
第三步：检查内部链接结构是否过浅
搜索引擎抓取一个新页面，通常需要从已有收录的页面通过链接爬过去。
如果你的单篇文章被收录了，但其他页面没有任何链接指向它，搜索引擎就难以发现它们。
- 确保所有重要页面都能通过首页或已有收录的文章点击到。
- 使用“面包屑导航”、“相关文章”、“标签聚合”等方式增加内链。
- 避免使用JavaScript动态加载链接（搜索引擎不一定能识别）。
第四步：排查抓取异常与返回码
登录百度搜索资源平台的“抓取诊断”功能，或使用Google Search Console的“URL检查”。
输入一个未被收录的页面URL，查看抓取时返回的HTTP状态码：
- 200：正常，说明页面已可访问，但未收录可能是内容质量或等待时间问题。
- 404/410：链接错误或页面已删除，需要修正或重定向。
- 302/301：临时或永久跳转，可能导致抓取不完整。
- 500+：服务器错误，需要检查服务器配置或程序报错。
也可以通过命令行快速测试：
curl -I https://你的域名/未收录的页面查看返回的HTTP状态码。
第五步：检查是否被搜索引擎手动限制
在百度搜索资源平台或Google Search Console中，查看“手动操作”或“安全/手动处理”报告。
如果收到因作弊或违规导致的“降权处理”，那么仅有一些页面仍可被收录，大部分会被屏蔽。
- 如果被处罚，立即修正违规行为（如关键词堆砌、买链接等），然后提交申诉。
- 如果没有任何处罚，但仍只有单篇文章被收录，可以尝试手动提交该页面URL，并等待1-3天观察。
避坑指南
- 不要频繁修改robots.txt：搜索引擎重新读取需要时间，改完后稳定观察一周。
- 别只依赖自动提交：在百度站长平台手动提交“链接”也能加快抓取。
- 新站有沙盒期：刚上线的网站，前1-2个月只收录首页或少量文章是正常的，耐心更新内容并提交sitemap即可。
效果验证
执行以上所有步骤后，第二天查看百度搜索资源平台的“抓取数据”图表，观察抓取次数是否上升；
同时使用“site:你的域名”命令，看收录页面数量是否有增长。
通常一周内可见到明显改善。
高频问题解答
Q：为什么我的网站有100篇文章，只收录了1篇？
A：最常见的原因是robots.txt阻止了其他页面，或者sitemap未提交/未正确生成。优先检查第一步和第二步。
Q：我都设置了，但还是只有那一篇被收录？
A：检查那篇文章是否在其他网站被大量引用或转载，导致搜索引擎认为它才是你网站的主内容；同时检查其他页面是否有原创内容，内容太薄也可能不被收录。
Q：使用百度抓取诊断提示“抓取失败”，是什么原因？
A：可能是服务器暂时无法连接、DNS解析问题或防火墙屏蔽了百度蜘蛛IP。查看错误详情，按提示修正。
如果你已经按本文步骤完整执行后仍未解决，建议检查服务器日志中搜索引擎蜘蛛的访问记录，或者换一个角度——先集中精力把已有收录的文章做好内部链接，引导蜘蛛逐步爬取更多页面。
