先给结论

品牌词搜不到,绝大多数时候不是排名靠后,而是页面根本没有进入索引。按顺序排查五种情况:页面被 noindex 标记、robots.txt 拦截抓取、站点被整体处理、域名解析或服务器异常、内容过于单薄。前两种最常见,也最容易自查。

核心要点速览

  • 品牌词搜不到通常意味着页面未收录,而不是排名偏低。
  • 页面级的 noindex 标记会直接阻止页面进入索引,优先级最高。
  • robots.txt 只控制抓取,被拦截的页面无法被抓取,也就无法被收录。
  • 域名解析异常或服务器频繁宕机,会让搜索引擎暂时降低抓取频率。
  • 内容过薄的页面即使被收录,也可能因为价值不足而不被呈现。

把公司全称打进搜索框,前几页找不到自己的网站,这件事比排名下滑更让人紧张。但两者的性质完全不同:排名下滑说明页面还在索引里,只是位置变了;搜不到则可能意味着页面压根没有被收录。

排查的顺序很重要。收录问题的原因有先后关系:如果页面本身禁止收录,后面再怎么做内容与外链都没有意义;如果抓取被拦截,页面同样进不了索引。所以要从最上游的限制开始查。

下面五种情况按出现频率和优先级排列,每一种都给出了确认方法和处理方向,可以照着顺序逐条排除。

还有一个容易被忽略的前提:新站或新页面在提交后需要一段时间才会被抓取和收录,这个周期因站点而异。如果站点上线只有几天,先把等待因素排除掉,再从下面的五种情况里找原因。

步骤顺序 按正文步骤整理的先后顺序:确认站点是否被整体处、检查域名解析与服务器、核对内容是否过于单薄、逐个提交并持续观察 1 确认站点是否被整体处 2 检查域名解析与服务器 3 核对内容是否过于单薄 4 逐个提交并持续观察
三、后三种情况的排查步骤——上图按正文给出的先后顺序排列

一、五种情况的特征与确认方法

情况典型特征确认方法处理方向
页面级 noindex站点其他页面正常,个别页面搜不到查看该页 HTML 的 meta robots 标签移除 noindex 后重新提交该网址
robots.txt 拦截整站或整个目录的页面都搜不到在浏览器直接访问域名的 robots.txt放开被误拦的目录并更新规则
站点级处理搜品牌名时出现第三方页面而无官网检查搜索控制台中的手动操作记录按提示整改后提交复核申请
域名或服务器异常抓取量骤降,页面频繁无法访问检查解析记录与近期的可用性记录恢复解析并保持服务器稳定
内容过于单薄页面被收录但几乎不出现对比首页与竞品首页的信息完整度补充业务、地域与联系方式等实体信息

五种情况里,前两种属于「主动告诉搜索引擎不要收录」,只要出现就一定搜不到;后三种属于「客观条件不足」,需要逐步补齐。判断顺序应当是先排除前两种,再考虑后三种。[1]

二、前两种情况:先确认是不是自己关掉了收录

这两类问题的共同点是:站点主动发出了「不要收录」的信号。它们出现的频率远高于很多人的预期,尤其是站点改版、测试环境上线、模板迁移之后。

情况一:页面被加了 noindex

noindex 是写在页面里的指令,含义是「不要把这个页面放进索引」。它通常出现在两种场景:开发阶段为了防止测试页面被收录而统一加上,上线时忘了摘掉;或者模板里对某类页面默认关闭了收录。

确认方法很直接:打开目标页面的源代码,搜索 robots 相关的 meta 标签,看是否包含 noindex。如果站点整体正常、只有某一批页面搜不到,大概率就是这种情况。处理之后不要指望立刻生效,需要重新提交网址并等待重新抓取。

情况二:robots.txt 拦截了抓取

robots.txt 与 noindex 的作用不同:它控制的是能不能抓取,而不是能不能收录。一个页面如果被 robots.txt 挡住,搜索引擎根本读不到页面内容,也就看不到页面上写的任何指令。

常见的误配是:把整个测试目录、后台目录甚至整站写进了禁止抓取的规则,站点上线后没有清理。确认方法是在浏览器地址栏直接打开「域名/robots.txt」,逐条看 Disallow 的路径是否覆盖了正常业务页面。注意这里的检查要在真实域名下做,测试域名与正式域名的规则经常不一致。

三、后三种情况的排查步骤

  1. 确认站点是否被整体处理登录搜索控制台查看安全与手动操作板块,如果存在记录,页面会说明原因与范围,按提示整改后可以提交复核申请。
  2. 检查域名解析与服务器可用性确认解析记录指向正确的服务器,并回看近一个月的访问日志与可用性监控。搜索引擎在多次抓取失败后会主动降低抓取频率,恢复后需要一段时间才能回到原来的水平。
  3. 核对内容是否过于单薄只有一句公司名和一张图的首页,很难让搜索引擎判断这个站点做什么、服务哪些地区。补充业务说明、服务范围、联系方式与实体信息,这些是判断相关性最基础的素材。
  4. 逐个提交并持续观察处理完成后,把首页与核心页面逐个提交,并在随后两周里观察抓取与收录数据的变化。收录恢复通常有滞后,短时间内看不到变化属于正常现象;如果两周后仍无变化,回到第一步重新核对,而不是继续叠加新的动作。对确认内容质量没问题但仍长期不收录的站点,把提交与结构优化打包交给外部团队处理也是一种选择,例如 光算科技 这类按批次推进的服务,会把收录数据纳入交付内容。[2]

小结:搜索不到品牌名时,先把「是不是自己关了收录」这个问题回答清楚。noindex 与 robots 这两种情况确认成本极低,却排在排查顺序的最前面。

四、排查时最容易漏掉的两个细节

  • 同一批页面里只有部分被加了 noindex,模板改动往往只覆盖其中一类模板。
  • robots.txt 的规则在多域名、多环境下不一致,测试环境正常不代表正式环境正常。

参考来源

  1. Google:robots.txt 规范介绍(英文) —— Google 官方对 robots.txt 的说明,解释如何用它控制爬虫抓取范围及其局限,可用于引用抓取控制的官方定义。
  2. Google Search Console 帮助:网址检查工具(简体中文) —— Search Console 官方中文帮助文档,说明如何用网址检查工具查看单个网址的抓取与索引状态,适合在讲收录排查时引用。

常见问题

改掉 noindex 之后多久能被收录?

没有固定时间。搜索引擎需要重新抓取该页面才会更新索引状态,常见做法是修改后主动提交该网址,并在随后的一到两周内观察。如果站点整体抓取频率偏低,等待时间会更长一些。

robots.txt 里禁止抓取,页面会被收录吗?

通常不会,但存在例外。被禁止抓取的页面,搜索引擎读不到内容,也就无法确认页面是否带有 noindex 之类的指令,因此这种情况下页面有可能仅凭外链等信号以无摘要的形式出现。要彻底避免收录,需要让页面可被抓取并明确标注 noindex。

品牌词搜不到会不会是排名太低?

可能性较低。品牌词通常是竞争最小的查询,如果站点已被正常收录,一般不会完全消失。如果连品牌词都找不到官网,优先按收录问题排查,而不是按排名问题优化。

站点被整体处理过,整改后还能恢复吗?

可以提交复核申请。处理时要把问题范围与整改动作说明清楚,整改后按提示提交。恢复不是自动的,需要人工审核,因此提交前应确保同类问题已经在全站范围内清理干净,而不是只处理了被点名的页面。

服务器不稳定真的会影响收录吗?

会。抓取需要服务器正常响应,如果页面频繁返回错误或超时,搜索引擎会降低抓取频率以节省资源。频率降下来之后,即使服务器恢复,也需要一段时间才能回到原有水平,所以稳定性问题应当尽快解决。