429 Too Many Requests(RFC 6585)表示用户在给定时间内发送了太多请求。响应应说明具体情况,并可以包含 Retry-After 响应头,给出客户端重试前需等待的秒数或具体日期。缓存不得存储 429 响应。
速率限制可以按 IP 地址、用户、API 密钥或端点来设置。许多 API 还会发送 X-RateLimit-Limit 和 X-RateLimit-Remaining 等响应头,或者 IETF 正在标准化的 RateLimit 头字段,以显示剩余的请求额度。
行为规范的客户端会按照 Retry-After 的要求等待,或采用指数退避,而不是立即重试。如果在短时间内运行大量检测,TrueURL 自己的 API 也会返回 429 和 Retry-After。
响应示例
HTTP
HTTP/1.1 429 Too Many Requests
Date: Fri, 06 Nov 2026 10:15:32 GMT
Retry-After: 120
Content-Type: application/json
Content-Length: 81
{"error":"rate_limited","message":"Too many requests. Try again in 120 seconds."} SEO 与重定向检测
Google 将 429 视为服务器过载的信号,与 5xx 错误类似。Googlebot 会放慢抓取速度,持续返回 429 的 URL 最终可能会被从索引中移除。在紧急情况下,短时间内返回 429 或 503 是降低抓取频率的推荐做法;但持续一两天以上就不可取了。
要确保在正常运行时,速率限制和机器人防护不会误伤合法的爬虫。如果重定向检测返回 429,说明目标网站正在对检测工具进行速率限制;请稍等一段时间后再检测。
常见原因与使用场景
- API 客户端超出了配额或突发限制。
- 登录表单拦截来自同一 IP 地址的反复尝试。
- 爬虫、监控工具或批量检测工具触发了 CDN 或 WAF 的速率限制规则。
- 许多用户共用一个 IP 地址(公司网络、移动运营商),一起触发了按 IP 设置的限制。