用 Screaming Frog 比较两次抓取时,先把正式站和测试站的同一张页面配成一对。测试域名或目录换了,先看它是否符合改版清单。两页都返回 200,再对照它们的规范网址、索引指令和站内入口。新抓取中少了一页,就打开那个网址,看看是页面不见了,还是原本指向它的链接变了。
两次抓取怎样保持相同范围
假设你要验收一个工业泵目录。以前型号 PX-40 在 /products/px-40/,新版计划放进英文目录 /en/products/px-40/。先在改版清单写下这对网址,再把买家选型时会用到的分类、型号页和安装说明都列进抓取范围。如果旧站抓了资料区,测试站只抓商品目录,报表当然会少一份说明书。这种差异要先从抓取范围里排除。
用同类入口开始两轮,例如都从各自首页开始。保留相同的 User-Agent、渲染方式、层级限制和排除规则。如果旧站直接在 HTML 输出链接,新站要等 JavaScript 才显示菜单,先用能看到菜单的同一种方式重新抓两边。手头只剩旧版静态抓取时,就在差异表里标明这个条件。链接在一次抓取里没出现,还需要打开页面确认是否真的少了。
测试站需要登录时,按原有访问规则让爬虫登录。先抽查一张栏目页和一张商品页,确认标题与正文确实属于那条路径。登录页有时也会给出 200,如果全站抓回来的都是登录界面,就先修正爬虫访问设置。保留测试站的访问保护,单独记录诸如测试商品页带 noindex 这类预期配置。 Screaming Frog 抓取测试站说明
在 Compare 里配对旧网址和新网址
原生 Compare 需要付费许可与数据库储存模式。分别保存两份抓取,在 Mode → Compare 里把改版前放在 Previous,测试版放在 Current。第一个位置决定变化从哪一侧算起。也可以在 File → Crawls 打开已保存的抓取,选中两份记录后进入比较。 Screaming Frog 两次抓取教程
域名或目录不同时,在 Config → Compare → URL Mapping 把前一次的网址映射到这一次。若只换域名,保留路径。像 PX-40 同时换域名和目录时,可以逐条测试。例子中的 ^https://www\.example\.com/products/px-40/$ 只匹配旧型号页,替换目标填 https://staging.example.com/en/products/px-40/。点 Test 看输出是否完整落到新型号页,再拿仍用旧路径的其他型号跑一次,确认规则没有误把它们也归到 PX-40。

映射完成以后,仍要从 Previous 和 Current 各打开 PX-40 对照型号与用途。清单上被合并到分类页的旧产品,也要按批准过的目标处理,别用一条宽泛规则把几个型号都当成同一页。Compare 只在报告里配对两份数据。旧地址是否跳到新地址,要另外发送请求查看。 原厂 URL Mapping 说明
如果目录有多个语言版本,还要试一个不该改的地址。例如老站 /de/ 下的型号页已经有对应的德语新地址,应继续配到德语版。只按末尾 px-40 搜寻,可能会让两种语言都落到英语页。复查映射表中的多对一记录,留下有意合并的项目,其余按语言和路径分开写规则。
Added、Removed、New 和 Missing 分别意味着什么
在 Compare 模式里打开 Overview 的 4xx 列表。网址在两次抓取中是否出现,以及状态码有没有变,决定它会被归到哪一组。
- Added。两次都抓到了这个网址,这次从 200 变成 404。打开新版
Inlinks,看看现在哪一页还指向它。 - Removed。旧版返回 404,新版仍抓得到,状态已变为 200。打开网址确认显示的是该页原有的内容。
- New。旧版没抓到,新版第一次发现时就返回 404。到新版
Inlinks找到把它带进抓取范围的链接。 - Missing。旧版在
4xx列表,新版没抓到。直接打开那个网址确认当前状态,再查它是否超出本次范围,或旧入口已经撤掉。
两轮抓取就算都只有两条 404,也要逐条对照。旧的可能已修好或这次没抓到,新的可能来自刚添的站内入口。同一个网址恢复到 200 后会移出 4xx 列表,标题留空时仍会出现在「标题缺失」里。
改版还可能删掉标题里的商品型号。这时页面照常返回 200,标题也没空着,两份报告都未必会增加条目。要查字段变化,在 Config → Compare 选择要对照的字段,再运行分析并查看 Change Detection。比对正文时,先确认两轮抓取都保留了 HTML。 Screaming Frog 比较配置与栏目说明
商品页都返回 200,仍有两处要修
两轮本地测试都从首页沿 HTML 链接抓取。旧版抓到四页,测试版抓到三页。PX-40 的两条商品 URL 都返回 200,路径变化和改版清单一致。打开测试版的 HTML,却发现 rel="canonical" 指向 /pumps/。分类页和型号页各有用途,准备上线的型号仍要承接选型资料和询盘,模板应该声明改版后实际使用的型号页地址。对照正式站判断时,别把测试域名和正式域名之间的预期差异误判为错。测试版商品页仍返回 200,canonical 却指到了 /pumps/ 分类页。

/pumps/。测试商品页的响应头还带 X-Robots-Tag: noindex,这是这次测试环境预设的限制。在测试阶段可以保留它。上线时再查看正式 URL 的响应头和 HTML,确认没有把测试用的 noindex 一起带过去。测试站的屏蔽状态、页面声明的规范地址,以及后来 Google 选定的规范地址,都可以各自记录。 Google 关于 noindex 的说明
少掉的第四页是 /manuals/px-40/。直接请求,返回 200,页面也确实是 PX-40 的安装说明。旧版从商品正文就能点进去。对比两轮 Inlinks 时,把说明书以前的来源页记下来,再打开当前版本对应的型号页检查。这次测试中,商品页少的是通往说明书的那条链接。恢复这个入口后,从首页再抓,可以重新找到第四页。直接访问能打开,只证明页面还在。买家沿产品目录能否找到它,要看入口有没有恢复。

真实站点的抓取也可能通过 XML Sitemap 发现说明书。这时对比表里有这页,买家常用的型号页却仍少了入口。先看 Inlinks 里有没有改版前的那张来源页,再点开新版页面确认链接。如果原来靠型号页进入,现在只能从网站地图找到,就按内链遗漏处理。页面从源站下线的话,再按改版清单查它该返回 404、410,还是跳到一份已经迁移的说明书。
上线时复查新页、旧地址和说明书
给开发的记录里写明 PX-40 详情页应该声明哪个规范网址。给内容同事的记录附上新版型号页和安装说明的网址,请他们恢复这条链接。没必要因为对比表少了一个地址就另外建一份说明书,也不要把错误的分类页写进型号页的跳转清单。
本地按这两项修完后,用同样的起点复抓,重新得到四页。新版型号的 canonical 指向 /en/products/px-40/,模拟上线版本的响应不再带测试用 noindex。旧地址 /products/px-40/ 直接返回 301,目标是新的型号页,终点再打开仍是 200。上线当天可以把这三个响应连着保存,交付给负责切换的人复核实际域名。还有很多旧 URL 要验时,再把映射清单导入列表模式批量检查。 批量检查 301
手头没有许可或完整旧抓取,也可以用同一组商品 URL 比较两份 CSV。前提是旧表存了相应字段。例如只有网址与状态码时,你能查出 301 和 404,无法从这两列还原旧版的内链或商品名。结束时记下新版型号页的状态和规范网址、旧地址的实际跳转,以及从新版型号点进安装说明的入口。下次拿到新的抓取,就能沿这三个地址复查。 Screaming Frog 首次抓取指南







