先给结论:收录少,八成不是内容太少
最近半年我们接手了 20 多家制造企业的官网诊断,其中大部分客户的第一个问题是「我们内容写得不少,为什么百度只收录了几十个页面」。实际排查下来,内容量很少成为真正的原因。真正卡住爬虫的,往往是下面这五类结构问题。
问题一:抓取入口太少,页面藏在深层
很多工厂站的页面层级是这样的:首页 → 产品中心 → 一级分类 → 二级分类 → 产品详情,深度达到五层。爬虫的抓取预算有限,层级越深,被发现的概率越低。
建议把 URL 层级控制在三层以内,例如 /products/xxx.html,并在首页、侧边栏、相关产品模块中增加指向详情页的内链,让每个产品页至少有三条可达路径。
问题二:全站 TDK 高度重复
这是我们见到最普遍的问题。产品列表页、详情页的 title 全部是「公司名称 - 某某机械有限公司」,description 直接缺失或复制首页。搜索引擎无法判断页面之间的差异,自然只挑一两个收录。
判断方法:打开你的网站,随手点开 5 个不同的产品页,看浏览器标签上的标题是否完全相同。如果相同,这就是首要修复项。
问题三:H1 重复或缺失
按照语义化要求,每个页面应当有且仅有一个 H1。模板站的常见做法是把公司名做成 H1 放在页头,导致全站几百个页面的 H1 完全一致,正文里的产品名反而用的是 div 加粗。
修复方法很直接:页头公司名改为 span 或 div,把 H1 让给页面主体内容标题;同时保证 H2、H3 的层级顺序正确,不要跳级。
问题四:分页参数造成内容稀释
产品列表分页使用 ?page=2 这类动态参数,且没有做 canonical 规范,容易产生大量近似页面,分散权重。建议采用静态化的分页路径,或对分页页面统一设置 canonical 指向第一页。
问题五:没有 sitemap,也没有主动推送
sitemap.xml 是最基础的抓取入口,但仍有不少老站没有配置,或者配置了却长期不更新。更关键的是,光有 sitemap 还不够——百度提供了主动推送接口,新页面发布后可以立即提交,把被发现的时间从数周压缩到 24 小时内。
一张自查表
| 检查项 | 合格标准 | 优先级 |
|---|---|---|
| URL 层级 | ≤ 3 层,静态化,小写连字符 | 高 |
| TDK 唯一性 | 每个页面独立 title 与 description | 高 |
| H1 唯一性 | 每页有且仅有一个 H1 | 高 |
| 内链数量 | 每个详情页至少 3 条内部可达路径 | 中 |
| sitemap | 存在且随内容更新自动更新 | 中 |
| 主动推送 | 接入百度收录接口,新页面 24h 内推送 | 中 |
| 图片 alt | 所有内容图片均有描述性 alt | 低 |
小结
收录问题的排查顺序建议是:先看抓取入口(sitemap、内链、层级),再看页面质量(TDK、H1、内容差异度),最后看收录推送。顺序反了,容易出现「拼命写内容但没收录」的情况。