跨境YOUNG

Screaming Frog 怎么对比测试站和正式站?识别网址变更和改版遗漏

用 Screaming Frog 的 Compare 和 URL Mapping 对照改版前后的网页。从规范网址、站内入口和真实跳转判断哪里漏改。
两版实测抓取收到 4 和 3 个网址,修复内链后回到 4 个
两版实测抓取收到 4 和 3 个网址,修复内链后回到 4 个

本页阅读目录

用 Screaming Frog 比较两次抓取时,先把正式站和测试站的同一张页面配成一对。测试域名或目录换了,先看它是否符合改版清单。两页都返回 200,再对照它们的规范网址、索引指令和站内入口。新抓取中少了一页,就打开那个网址,看看是页面不见了,还是原本指向它的链接变了。

两次抓取怎样保持相同范围

假设你要验收一个工业泵目录。以前型号 PX-40 在 /products/px-40/,新版计划放进英文目录 /en/products/px-40/。先在改版清单写下这对网址,再把买家选型时会用到的分类、型号页和安装说明都列进抓取范围。如果旧站抓了资料区,测试站只抓商品目录,报表当然会少一份说明书。这种差异要先从抓取范围里排除。

用同类入口开始两轮,例如都从各自首页开始。保留相同的 User-Agent、渲染方式、层级限制和排除规则。如果旧站直接在 HTML 输出链接,新站要等 JavaScript 才显示菜单,先用能看到菜单的同一种方式重新抓两边。手头只剩旧版静态抓取时,就在差异表里标明这个条件。链接在一次抓取里没出现,还需要打开页面确认是否真的少了。

测试站需要登录时,按原有访问规则让爬虫登录。先抽查一张栏目页和一张商品页,确认标题与正文确实属于那条路径。登录页有时也会给出 200,如果全站抓回来的都是登录界面,就先修正爬虫访问设置。保留测试站的访问保护,单独记录诸如测试商品页带 noindex 这类预期配置。 Screaming Frog 抓取测试站说明

在 Compare 里配对旧网址和新网址

原生 Compare 需要付费许可与数据库储存模式。分别保存两份抓取,在 Mode → Compare 里把改版前放在 Previous,测试版放在 Current。第一个位置决定变化从哪一侧算起。也可以在 File → Crawls 打开已保存的抓取,选中两份记录后进入比较。 Screaming Frog 两次抓取教程

域名或目录不同时,在 Config → Compare → URL Mapping 把前一次的网址映射到这一次。若只换域名,保留路径。像 PX-40 同时换域名和目录时,可以逐条测试。例子中的 ^https://www\.example\.com/products/px-40/$ 只匹配旧型号页,替换目标填 https://staging.example.com/en/products/px-40/。点 Test 看输出是否完整落到新型号页,再拿仍用旧路径的其他型号跑一次,确认规则没有误把它们也归到 PX-40。

Screaming Frog 官方教程的 URL Mapping 规则窗口
Screaming Frog 官方操作图。图中的测试域名在 Previous,映射目标为正式域名。PX-40 的映射方向取决于你放在 Previous 和 Current 的两份抓取。

映射完成以后,仍要从 Previous 和 Current 各打开 PX-40 对照型号与用途。清单上被合并到分类页的旧产品,也要按批准过的目标处理,别用一条宽泛规则把几个型号都当成同一页。Compare 只在报告里配对两份数据。旧地址是否跳到新地址,要另外发送请求查看。 原厂 URL Mapping 说明

如果目录有多个语言版本,还要试一个不该改的地址。例如老站 /de/ 下的型号页已经有对应的德语新地址,应继续配到德语版。只按末尾 px-40 搜寻,可能会让两种语言都落到英语页。复查映射表中的多对一记录,留下有意合并的项目,其余按语言和路径分开写规则。

Added、Removed、New 和 Missing 分别意味着什么

在 Compare 模式里打开 Overview 的 4xx 列表。网址在两次抓取中是否出现,以及状态码有没有变,决定它会被归到哪一组。

  • Added。两次都抓到了这个网址,这次从 200 变成 404。打开新版 Inlinks,看看现在哪一页还指向它。
  • Removed。旧版返回 404,新版仍抓得到,状态已变为 200。打开网址确认显示的是该页原有的内容。
  • New。旧版没抓到,新版第一次发现时就返回 404。到新版 Inlinks 找到把它带进抓取范围的链接。
  • Missing。旧版在 4xx 列表,新版没抓到。直接打开那个网址确认当前状态,再查它是否超出本次范围,或旧入口已经撤掉。

两轮抓取就算都只有两条 404,也要逐条对照。旧的可能已修好或这次没抓到,新的可能来自刚添的站内入口。同一个网址恢复到 200 后会移出 4xx 列表,标题留空时仍会出现在「标题缺失」里。

改版还可能删掉标题里的商品型号。这时页面照常返回 200,标题也没空着,两份报告都未必会增加条目。要查字段变化,在 Config → Compare 选择要对照的字段,再运行分析并查看 Change Detection。比对正文时,先确认两轮抓取都保留了 HTML。 Screaming Frog 比较配置与栏目说明

商品页都返回 200,仍有两处要修

两轮本地测试都从首页沿 HTML 链接抓取。旧版抓到四页,测试版抓到三页。PX-40 的两条商品 URL 都返回 200,路径变化和改版清单一致。打开测试版的 HTML,却发现 rel="canonical" 指向 /pumps/。分类页和型号页各有用途,准备上线的型号仍要承接选型资料和询盘,模板应该声明改版后实际使用的型号页地址。对照正式站判断时,别把测试域名和正式域名之间的预期差异误判为错。测试版商品页仍返回 200,canonical 却指到了 /pumps/ 分类页。

两次本地抓取中 PX-40 商品页状态都为 200,测试版规范网址指向分类页
两版商品页都返回 200。旧版的规范网址指向商品自己,测试版指向 /pumps/。

测试商品页的响应头还带 X-Robots-Tag: noindex,这是这次测试环境预设的限制。在测试阶段可以保留它。上线时再查看正式 URL 的响应头和 HTML,确认没有把测试用的 noindex 一起带过去。测试站的屏蔽状态、页面声明的规范地址,以及后来 Google 选定的规范地址,都可以各自记录。 Google 关于 noindex 的说明

少掉的第四页是 /manuals/px-40/。直接请求,返回 200,页面也确实是 PX-40 的安装说明。旧版从商品正文就能点进去。对比两轮 Inlinks 时,把说明书以前的来源页记下来,再打开当前版本对应的型号页检查。这次测试中,商品页少的是通往说明书的那条链接。恢复这个入口后,从首页再抓,可以重新找到第四页。直接访问能打开,只证明页面还在。买家沿产品目录能否找到它,要看入口有没有恢复。

在测试版直接请求安装说明返回 200,首页起抓时未发现该页
直接打开安装说明仍返回 200。把入口补回型号页后,下一次抓取才能沿链接找到它。

真实站点的抓取也可能通过 XML Sitemap 发现说明书。这时对比表里有这页,买家常用的型号页却仍少了入口。先看 Inlinks 里有没有改版前的那张来源页,再点开新版页面确认链接。如果原来靠型号页进入,现在只能从网站地图找到,就按内链遗漏处理。页面从源站下线的话,再按改版清单查它该返回 404、410,还是跳到一份已经迁移的说明书。

上线时复查新页、旧地址和说明书

给开发的记录里写明 PX-40 详情页应该声明哪个规范网址。给内容同事的记录附上新版型号页和安装说明的网址,请他们恢复这条链接。没必要因为对比表少了一个地址就另外建一份说明书,也不要把错误的分类页写进型号页的跳转清单。

本地按这两项修完后,用同样的起点复抓,重新得到四页。新版型号的 canonical 指向 /en/products/px-40/,模拟上线版本的响应不再带测试用 noindex。旧地址 /products/px-40/ 直接返回 301,目标是新的型号页,终点再打开仍是 200。上线当天可以把这三个响应连着保存,交付给负责切换的人复核实际域名。还有很多旧 URL 要验时,再把映射清单导入列表模式批量检查。 批量检查 301

手头没有许可或完整旧抓取,也可以用同一组商品 URL 比较两份 CSV。前提是旧表存了相应字段。例如只有网址与状态码时,你能查出 301 和 404,无法从这两列还原旧版的内链或商品名。结束时记下新版型号页的状态和规范网址、旧地址的实际跳转,以及从新版型号点进安装说明的入口。下次拿到新的抓取,就能沿这三个地址复查。 Screaming Frog 首次抓取指南

我专注 Google SEO、独立站增长与 AI 工作流,实践覆盖 WordPress 外贸 B2B 询盘站和 Shopify DTC 品牌站。从关键词研究、网站架构到内容与技术优化,我关注每一步怎样影响流量、询盘和购买。

本站分享我的项目方法与复盘,说明为什么这样做、具体怎样执行,以及如何判断改动是否有效。

雨果跨境观察员 · 公众号、抖音、小红书同名账号:跨境YOUNG。

学习与查找

从入门开始,或回到问题目录:

关于跨境YOUNG

跨境YOUNG整理WordPress建站、Google SEO与AI SEO / GEO方法,并提供建站、代运营和顾问服务。

需要有人持续推进SEO?

网站已上线,但页面、内容、技术、内链和月度数据没有持续推进?可先诊断范围与优先级,再按月执行与复盘。

最具性价比的服务器

Hostinger 适合预算有限的新站和中小企业 WordPress 网站,托管、备份与基础性能配置比较完整。通过专属链接可享 20% 折扣,购买前再核对机房位置和续费价格。

专属链接含 20% 折扣;跨境YOUNG可能获得佣金,不会增加你的购买成本。