百度抓取步骤 · 站点体检

智游大别山全站抓取链路逐项核对 —— 哪些已经通了,哪些还差着

4301全站页面
356地图已提交
8.3%地图覆盖率
已验证站长平台

一、百度抓取的完整八步从"能被找到"到"被持续更新"

百度收录一条链接,走的是固定链路:能访问 → 能进来 → 能知道有哪些页 → 能拿到新页 → 能看懂页面 → 能持续回访 → 能看数据。下面按这个顺序排,每一步右边是我们站上的真实状态。

环节要做什么我们
1域名与 HTTPS全站 HTTPS,http 自动 301 跳 https,证书不过期✓ 已通
2站长平台加站在百度搜索资源平台添加站点并完成文件验证✓ 已通
3robots.txt根目录放 robots,声明地图地址,屏蔽后台与内部页△ 一半
4站点地图 sitemap生成全量 URL 清单,带真实更新时间,无死链△ 一半
5主动推送新页面发布即主动推给百度(接口推送 / 自动推送)✗ 没做
6页面结构标题、描述、H1、真实可点的内链、图片说明、结构化数据✓ 基本好
7抓取诊断用平台工具实测蜘蛛能不能正常抓、有没有被拦✗ 没做
8数据监控装统计代码,看收录量、抓取频次、来了多少人✗ 没做
一句话结论:骨架是通的(能访问、已验证、页面结构没问题、内链是真实可点的),卡在"让百度知道我们有 4301 个页面"这一环——地图只提交了 8.3%,也没有主动推送,等于大部分内容只能等蜘蛛自己慢慢撞见。

二、已经到位的部分11 项,实测通过

三、还差着的部分10 项,按影响大小排

① 地图只覆盖了 8.3% 的页面 · 最要命

实测:全站 4301 个页面(根目录 135 + 详情页 3752),地图里只有 356 条

根目录 135 个页面只有 10 个进了地图,路线页、板栗专题、冰桂酥月、老月饼、打板栗、摆摊手册、甜柿、直播培训、各目的地专题页一个都没进。等于我们做的内容,百度压根不知道它存在。

整改:重写地图生成规则 —— 自动扫描全站真实 HTML(排除备份/测试/后台页),一次提交全量,之后每天增量追加。

② 地图里混着死链

实测:随机抽 12 条,2 条打不开(404),比例约 17%

死链进地图会被判"站点质量差",直接压低抓取额度。

整改:生成地图前逐条校验状态码,非 200 一律剔除;已有的失效条目从地图中删除。

③ 地图里的"更新时间"是假的

实测:356 条里 355 条的更新时间都停在 2026-07-13,只有一条是当天

百度靠这个时间判断"这页有没有新东西"。时间长期不动,蜘蛛就懒得来了。

整改:直接取页面文件的真实修改时间写入,内容真变了才更新时间戳。

④ 完全没有主动推送

实测:全站无推送接口、无自动推送代码、服务器定时任务里也没有推送动作

现在新页面上线后只能被动等蜘蛛来撞,周期以周计。有主动推送,新页面当天就能进队列。

整改:新页面发布后自动调用推送接口提交链接;页面底部加一行自动推送代码,有人访问即顺带提交。

⑤ robots 没屏蔽后台和内部页

实测:后台目录、登录页、工作台、员工门户、库存与订单后台、接口目录全部对蜘蛛开放

更需要注意的是根目录还躺着 23 个备份测试页19 个内部方案页(突破方案、运营手册、审计、投放方案等),这些都被蜘蛛看得见,有被收录外泄的风险。

整改:robots 里明确屏蔽后台、接口、备份测试与内部方案这几类路径。

⑥ 首页和板块页缺 H1

实测:首页 H1 数量 0,避暑页 0;只有详情页有 H1
整改:首页和各板块页补一个 H1,写清这一页讲的是什么。

⑦ 没有装统计代码

实测:全站无百度统计

没有统计,就不知道百度来了多少人、抓了哪些页、哪些词带来了流量,后面没法迭代。

整改:装百度统计,把"收录量 / 抓取频次 / 来源词"三项纳入日常查看。

⑧ http 和 https 被当成两个站收录

实测:搜索结果里 http://ltdlt.cnhttps://ltdlt.cn 同时存在

权重被摊薄。虽然有 301 跳转,但历史收录没合并。

整改:在站长平台提交 HTTPS 认证 / 站点改版规则,把 http 版本合并过来。

⑨ 板块页没写关键词

实测:只有首页有 keywords,六个板块页都没有
整改:各板块补上自己的关键词(避暑、民宿、秋游、结伴、活动、文化各写各的)。

⑩ 页团体量偏大、快照数据不一致

实测:资讯页 976KB、民宿页 447KB、避暑页 426KB;首页标题写"3485 个玩法",电脑版写"1492 条"
整改:板块页首屏之外做分批加载;全站标题里的条数统一由一个数据出口生成,别各写各的。

四、接下来怎么干分两摊

我这边可以直接做的(改服务器配置,不需要账号)

需要您在百度搜索资源平台点一下的(需要账号权限)

说明:上面所有数字都是今天(2026-09-07)从线上实测抓出来的,不是估算。页面越往上优先级越高,先解决前四条,收录量会有明显变化。