Googlebot遇到429,先保留那次响应、时间和对应安全事件,核实请求来源,再查是哪条规则把什么请求算进了同一个额度。如果限流规则误挡了公开内容,就调整匹配和计数条件。如果监控确实显示服务过载,就保留临时保护,等负载回落后再复测。单纯清缓存、重提站点地图或全局提高阈值,往往没有回答为什么被限。
一个常见困惑是:你用浏览器打开产品页很正常,抓取工具却报“Too Many Requests”,或者Google的访问记录出现429。你等一会儿再看,又恢复了。于是问题被记成“偶发”,下次发布或集中抓取时却再次出现。
429表示服务端对这次请求实施了限流,但它没有直接告诉你,额度按哪个人、哪个IP、哪个接口计算,也没有证明服务器CPU已经满了。下面用一个API规则误伤公开产品页的例子,把原因和修复动作对应起来。
先确认:谁收到了429,哪一层返回的?
先区分是你自己的抓取工具收到429,还是确有Google请求收到429。两者的来源、速度和触发条件可能不同。自己工具报错,不足以证明Google也被挡;浏览器现在正常,也不足以否定另一时刻发生的限流。
保留完整网址、请求时间与时区、实际响应码、Retry-After原值,以及能关联到事件的请求ID。还有请求方法:有些工具默认只发HEAD,而实际页面读取使用GET;不要把不同请求混成同一次观察。
请维护者用同一条请求关联边缘与源站记录。边缘是网站前面的CDN或安全服务,源站是提供原内容的服务器。在边缘被429挡住,请求可能根本没到源站;源站本身也可能限流。只有响应码,不能确定规则在哪一层。
如果来源只写Googlebot,还需用可信客户端IP核验,不能只看User-Agent。日志准备和逐页计次可以参考Googlebot访问日志检查。旧记录对应不起来,就明确写“历史原因未还原”,保留后续样本,不根据两条相近时间的记录猜同次事件。
把限流规则拆成四个具体问题
请维护者打开命中的规则,不要只回复“有防刷”。先对照下面四项,再看该次请求为什么被算进去。
| 要查的内容 | 具体问法 | 常见误解 |
|---|---|---|
| 匹配哪些请求 | 只作用于搜索API,还是全站路径? | 名称叫“API保护”就以为只管API |
| 怎样计数、分给谁 | 哪些请求增加计数,按IP、账户还是其他字段分组? | 每个URL都天然拥有独立额度 |
| 额度与时间窗 | 多长时间允许多少次,当前计数来自哪些请求? | 只看最后一条被挡请求 |
| 超额后持续多久 | 只拦超出的请求,还是触发后持续一段时间? | 时间窗结束,所有拦截立即消失 |
“哪些请求会被规则处理”与“哪些请求会增加计数”也可能分别配置。修改时要一起核对,不能只把规则名称改得更准确。Cloudflare的限流参数说明区分匹配、计数条件、分组特征与动作行为;可用参数还受套餐影响,不应直接照抄别人的截图。
还要看图片、脚本和缓存资源是否参与计数。用户打开一个页面可能触发多次资源请求;按“每分钟能打开多少页”去理解“每分钟请求额度”,很容易选错限制。
计数窗口和拦截时长要分别记。举例说,一条规则按60秒计数,却在触发后持续拦截10分钟,那么第61秒不一定解除动作。下面的本地程序没有设置这种额外拦截期,不能把它的恢复时间套到所有WAF上。
如果原服务器只按直接连接IP计数,而所有访问都经过同一个代理,许多不同访问者还可能挤进一个额度。此时先修可信来源识别,不能把所有访问者的合计请求数,当成某个Googlebot地址自己发出的次数。
一个API额度,怎样挡住公开产品页
本次搭建了两个本地HTTP服务:前面模拟限流层,后面提供API和产品内容。教学规则设为“同一客户端,60秒内允许三次”;这些数字只用于重现,不是生产网站推荐阈值。请求不来自Google,也没有修改真实CDN。
错误范围:前三次请求把产品页额度用完
假设规则本来想保护/api/search,实际却对所有路径匹配并共用计数。对同一个教学客户端,依次发送三次API请求,再请求/products/ab120/。
| 请求顺序 | 本地实际结果 | 后面的内容服务器 |
|---|---|---|
| 第1—3次:搜索API | 均返回200 | 收到这三次请求 |
| 第4次:公开产品页 | 返回429,带Retry-After: 60 | 没收到这次产品请求 |
| 把受控时钟推进到第61秒,再访问产品页 | 返回200 | 收到新的产品请求 |
两个服务用请求ID关联记录,确认被限那一次没有转发到后面的内容服务器。最后一行是主动推进测试时钟后的结果,并非在线等了一分钟,更不是测量Google重试时间。
计数窗口重置后,产品页暂时能打开。只要 API 和产品页还共用同一额度,下一轮 API 请求用完额度时,产品页仍会被拦截。
修正范围:API仍限流,产品页不再占用同一额度
重新开始同一测试,把这条规则的匹配与计数范围都限定在教学API路径;额度仍保持三次。前三次API返回200,第四次API返回429;随后访问公开产品页,返回200并拿到AB120教学正文。

这个修改没有增加额度,也没有停掉API保护。它修的是不相干资源共用一条限流规则的问题。真实站点可能还有其他保护规则,不能根据这个例子就认为公开产品页应完全取消防护。
按查到的原因改,不统一关闭限流
范围写错:修匹配和计数条件
如果事件证据指向上一节的问题,让维护者调整负责的规则。除了产品页,也抽查正常教程、接口和登录入口:公开内容恢复,真正需要保护的接口仍能在既定条件下触发限制,才算范围改对。
在Cloudflare中,把“修范围”落实到字段
如果命中的确是Cloudflare限流规则,可按它的当前后台操作说明进入对应站点的Security rules,找到事件里的规则;需要保留旧版时,用三点菜单的Duplicate建立副本,先存为草稿。草稿不会影响线上流量。记录旧规则ID、表达式和各参数,便于对照与回滚。
本例先确认要保护的是整个/api/目录,再把匹配表达式写为:
starts_with(http.request.uri.path, "/api/")
含义是路径以/api/开头,依据Cloudflare starts_with函数说明。/api/search会匹配,/products/ab120/和/apiary/不会;/api没有结尾斜杠,也不在这条条件里。若业务只允许保护单一搜索接口,应使用该接口的精确路径条件,而不是顺手扩到全部API。还有主机名、方法等旧条件时,先确认它们的用途再组合,不能直接覆盖掉。
接下来逐项对照配置,而不只修改Rule name:
| 后台字段 | 本例怎样填写或核对 |
|---|---|
| 匹配表达式 | 保留确认需要的原条件,把错误的全路径范围缩到实际API范围 |
| Use custom counting expression | 未启用时默认沿用匹配条件;已启用时另查其内容,避免仍按全站计数 |
| With the same characteristics | 确认按客户端IP等什么字段分桶;若按IP,核对ip.src,不要把它误读成每个URL各有额度 |
| When rate exceeds | 填网站确认的请求数与时间窗;本轮只修范围时,不顺便调整这两个值 |
| Then take action / Duration | 分别核动作与持续时间,保留需要的保护;别把Duration当成计数窗口 |
字段能否选择取决于实际套餐和功能。默认计数条件、分组特征和缓存资源参与方式可核对参数说明;如果实际使用自定义计数,它应按业务需要与这次API范围对齐,不能靠一张“通用配置表”替代检查。

先用上面的API、产品和相似前缀路径核对条件,再由维护者在可控环境验证。本篇只在本地对这些路径的前缀判断作了检查,没有在你的Cloudflare账户编译或部署这条表达式。保存草稿也不等于已完成线上测试。
实际变更时,只替换或编辑负责误拦的那条规则,核对旧版本是否仍在生效;否则新副本范围正确,旧全站规则仍可能继续挡产品页。记录部署时刻,少量复测公开内容与受保护API。如果出现新的误拦或保护失效,撤回本次变更、恢复保存的旧配置,并记录尚未解决的问题,避免同时留下两份有效规则。复查时同时记录公开内容能否访问、API是否仍受保护。
来源或类别弄错:先核身份,再处理例外
如果是可信爬虫被错误的“所有bot”条件拦截,可以考虑针对已验证类别和必要公开资源调整对应条件。仅凭User-Agent含Googlebot就设永久白名单,任何自报同名的程序都可能享受豁免。
如果不同访客被记成同一个代理IP,先确认真实来源的识别方式和限流计数依据。否则同一个错误计数对象换个更大额度,仍会在另一轮请求增长时出现问题。是否允许访问私密内容,继续由业务授权决定,不能拿爬虫来源替代登录权限。
确实承受不住:保护容量,再安排恢复
当日志、资源监控和处理耗时支持真实容量不足时,临时限流可以保护服务。此时要处理昂贵查询、缓存、资源分配或不必要请求,而非直接让所有请求通过。Google也将429解释为服务器负载过高的信号。
临时措施应有负责人与复查时间:压力缓解后撤回临时限制,检查正常内容读取是否恢复。一直保留“暂时稍后再来”,就会把短时应急变成长期不可访问。若实际错误是503,可以按503抓取故障检查核对具体主机、故障时段和对应请求日志;不要把不同响应码改名后混在一起统计。
Retry-After是等待提示,不能当作恢复预约
Retry-After是响应头,告诉客户端建议多久以后重试。它可以写等待秒数,也可以写HTTP日期。例如本地服务那次响应的关键部分是:
HTTP/1.1 429 Too Many Requests
Retry-After: 60
Cache-Control: no-store
这里的60表示等待秒数,不是60次请求。日期形式则要按HTTP日期读,不能直接拿本地钟表的同名时刻替换。MDN的Retry-After说明列出了两种形式。
标准允许429带这个头,并没有要求每个429必须有。没有它,不等于这次响应不是限流;有它,也不代表底层故障或错误规则自动解决。RFC 6585的429定义还要求这种响应不得由缓存存储;如果怀疑错误被中间缓存继续返回,应检查实际响应链和缓存策略,不用“清缓存”替代根因诊断。
Google何时再访问,还涉及自身调度。不能对运营承诺“写60,Google一分钟后必来;那时一定恢复收录”。本地受控时钟测试只证明这份程序的窗口行为。
429持续出现,对抓取和索引意味着什么
Google对429的处理与普通404不同:它把429当作服务器过载信号,暂时降低抓取;错误持续,已索引网址也可能最终退出。服务恢复返回成功响应后,抓取速度是逐渐恢复的。Google当前HTTP状态处理说明
因此,不要为了让抓取报告“少点429”,把原来的限流响应换成 403、404 或返回 200 的错误页。403/404表达了其他结果,不是替代性的Google限速工具;200错误页则可能掩盖真正的不可用。状态和实际服务情况应一致。
如果重要页面长期被挡,代价不仅是报告里多一个数字:新内容不能被正常读取,旧说明也难及时更新。修正响应与规则后,再看后续抓取和索引选择,不能只靠重新提交同一份地图。
验收要覆盖触发条件,不能只打开一次
先在可控测试环境验证规则边界,必要时由维护者在授权范围内做少量线上检查。不要为重现故障反复向真实网站压请求。
本例的验收同时包含两个方向:同样条件下,公开产品页能返回正确产品内容;受保护API超出教学额度时,仍返回429。只看到产品200,却让API保护消失,也不是完整修复。实际本地测试分别记录了前面的响应和后面服务器是否收到同次请求。
线上还要把“当前检查正常”与“新的Google自动访问正常”分开。先核当前响应和内容,再观察身份已确认、发生在修改之后的请求;暂时没有新请求,就写“当前访问恢复,等待后续抓取记录”。浏览器正常、GSC主动测试正常,都不能冒充已经观察到自动回访。
交接时写清:哪条规则、原来匹配与计数哪些请求、修改时刻、现在验证哪些目标、哪些保护保留,以及还缺什么后续证据。规则看不懂时,带着这份记录请维护者处理,比只说“Google不收录,麻烦放开”更容易查对。 同一批页面还出现其他访问或索引问题,可在技术SEO专题选择对应的检查路线。
访问已恢复但仍没索引,继续用抓取与索引排查区分网址选择与内容;整站层面的检查接到技术SEO审计。把这次故障与内容更新、站内文章入口放在一起排优先级,可对照谷歌SEO完整流程;需要补基础时,从谷歌SEO学习路径选相应教程。
常见问题
只有自己的抓取工具遇到429,要修改网站吗?
先查工具是否超出正常速率、并发过高或命中特定规则。可以降低自己的请求速度并遵守等待提示,再结合Google的实际记录判断。自己的工具需要更多额度,不等于所有公开访问都应放宽。
robots.txt也返回429,能只改页面规则吗?
需要把文件本身的访问和限流范围一起检查。Google读取规则文件有专门处理逻辑,不能照搬普通404的分支;具体恢复顺序见robots.txt写法与响应检查。先恢复稳定文件读取,再看受影响页面。
规则改了,再提交一次站点地图就算修好吗?
地图提供网址,不修改HTTP响应或限流计数。应先验证实际触发条件、公开内容和后续访问;需要提交时使用当前正确地图,不靠反复提交证明故障已经消失。







