网站仅一篇文章收录解决办法:网站只有一篇文章被收录?实操排查
很多站长在刚建好网站时,会发现百度、必应等搜索引擎只收录了网站里的一篇文章,其他内容就像被遗忘了一样。
这种情况通常不是单点故障,而是网站的整体可爬取性出了问题。
本文按检查-提交-优化-验证的顺序,帮你一步步找到原因并解决。
准备两个工具和一个账号
动手前先确认以下几样东西:
- 域名和服务器权限:能通过SSH或宝塔面板访问网站根目录。
- 百度资源平台账号(原百度站长平台):ziyuan.baidu.com 验证站点所有权。
- 一个能在线访问的浏览器:用于查看sitemap和robots.txt。
如果你用的是宝塔面板,大部分操作在后台就能完成,不需要手写命令。
第一步:检查是否被robots.txt误挡
robots.txt是告诉爬虫哪些页面可以抓取的文件。
如果写错了,很可能只允许首页和某一篇文章被爬。
操作:
- 在浏览器访问
你的域名/robots.txt。 - 查看内容。如果只有
User-agent: *和Disallow:或一条具体的Allow:规则,说明没问题。 - 如果看到类似
Disallow: /或Disallow: /article/,就会阻止爬虫访问大部分文章。需要修改robots.txt,删除或调整那些多余的Disallow规则。
在宝塔面板中,可以在 网站 -> 设置 -> 配置文件 里找到 robots.txt 并直接编辑。
保存后重新提交给搜索引擎。
第二步:提交Sitemap(站点地图)
Sitemap 把网站所有链接列成一个清单,方便爬虫快速发现。
很多静态网站生成器或CMS自带生成功能,也可以手动创建。
- 生成sitemap:如果使用WordPress,安装 Yoast SEO 或 Rank Math 插件,它们会自动生成
sitemap_index.xml。如果是静态站点,可以用 XML-Sitemaps.com 在线生成后上传到网站根目录。 - 检查sitemap内容:访问
你的域名/sitemap_index.xml或你的域名/sitemap.xml,确保里面列出了所有你想收录的文章 URL。 - 提交到百度资源平台:登录百度资源平台,在 站点管理 -> 普通收录 -> Sitemap 里添加你的 sitemap 地址,点击提交。
- 提交到必应:如果面向全球,在 Bing Webmaster Tools 也提交一次。
第三步:优化内部链接结构
搜索引擎通过链接从一个页面跳转到另一个页面。
如果网站文章之间没有相互链接,爬虫可能只看到一篇孤立的文章。
- 文章底部添加“相关文章”模块:至少链接2-3篇同主题的文章。
- 首页或栏目页列出所有文章:不要只展示最新的一篇,用分页列表展示所有文章。
- 使用面包屑导航:例如“首页 > 分类 > 当前文章”,让爬虫理解层级关系。
如果你使用的是静态页面,可以在每个Markdown文件末尾手动添加Markdown格式的推荐链接,例如:推荐阅读:[另一篇文章标题](/another-post/)。
常见问题与避坑
Q:sitemap提交了,但百度后台显示“抓取失败(无法链接)”
A:检查sitemap中的URL是否都能正常访问,不要包含 localhost 或没绑定的域名。确认网站开启了HTTPS且没有强制跳转错误。
Q:新站运营一个月了,还是只收录一篇
A:新站有考核期,前期收录慢是正常的。但也要检查内容质量:文章是否小于300字、是否大量抄袭、是否有重复页面。优质原创内容会逐渐被收录。
Q:我用的是二级域名或子目录,需要单独处理吗?
A:如果子目录是主站的一部分,sitemap里包含即可;如果是独立站点,需单独提交到搜索资源平台。
避坑提醒:
- 不要使用
noindex标签无意中屏蔽了文章页面。检查网页源代码,看是否出现name="robots" content="noindex",如果有就删除或修改。 - 如果使用了CDN或云防护(如Cloudflare),确保没有拦截百度爬虫IP。可以在CDN后台添加百度爬虫的UA白名单。
效果验证:确认爬虫开始爬取新文章
做完以上步骤后,需要等待1-3天,通过以下方式检验:
- 百度资源平台的“抓取诊断”:输入一篇文章URL,点击“抓取测试”,看返回码是否为200,内容是否完整。
- 查看日志:使用
tail -f /www/wwwlogs/你的域名.log | grep Baiduspider查看百度爬虫是否访问了其他文章。 - 手动搜索:在百度搜索
site:你的域名,观察收录数量是否从1变成了更多。
如果一周后收录仍无变化,可以重新提交sitemap,或者检查服务器配置是否限制了爬虫频率。
最后的建议:不要追求一夜收录大量文章。
持续稳定产出原创内容,配合正确的Sitemap和内链,收录量会逐步提升。
如果你在执行中遇到具体报错,欢迎在评论区描述错误信息,我会继续帮你定位。