一条心智模型#

真正的强制校验层在服务端和边缘，不在浏览器。 任何渲染给真人看的东西，最终都能被自动化；客户端硬化只能抬高成本，永远不是保证。

所以 ROI 最高的姿态是三层叠加：

1. 跨层网络指纹（TLS JA4 + Akamai HTTP/2 + JA4T）；
2. 之上放一层托管的边缘机器人管理（Cloudflare / Akamai / DataDome / HUMAN，国内对标极验、数美）；
3. 再加逐流程的服务端管控（限流、HMAC 请求签名、Redis 库存预留 + 幂等键、核销环节要求手机/支付验证过的身份）。

把精力花在这三层上，而不是去破坏页面语义来”恶心”爬虫。

威胁分成了两类#

传统自动化是 Selenium / Playwright / Puppeteer，加上隐身分支（selenium-stealth、undetected-chromedriver、nodriver、Patchright、Camoufox）和按键精灵这类 RPA 宏工具。

新的一类是 LLM 驱动的浏览器 Agent：OpenAI Operator / ChatGPT Agent / Atlas、Anthropic 的 Claude for Chrome、Google Project Mariner、Perplexity Comet，以及 browser-use、Skyvern、Stagehand 等开源框架。它们的交互特征跟传统 bot 不一样：

• 通过 CDP 驱动真实的、被注入插桩的 Chrome；
• 读的是**无障碍树（AXTree）**而不是像素；
• 点击落在元素中心坐标，打字只向前，时序方差很低；
• 通常来自数据中心 / 云 IP。

几个能直接拿来当检测特征的事实（来自 HUMAN Security 的 SATORI 团队）：

• 让 ChatGPT Agent 点随机方块时，“鼠标总是以 0.25 像素为增量移动”，从目标到目标走直线、落在中心——人类的动作有更多”修饰”，不会直接跳到要点的点上。
• 分析过的全部 AI Agent 都依赖 Selenium / Playwright / Puppeteer 之一，最常见的是 Playwright。
• 有些会留 DOM 指纹：Genspark 注入 <div id="genspark-float-bar">，Manus 加载一个能用 chrome-extension:// 探测到的辅助扩展。
• 漏斗行为不像人：约 87% 的 AI Agent 交互停在商品页，只有 2.2% 走到结账，0.1% 尝试创建账户。

把检测信号按”能撑多久”排序#

这是这份调研最有用的角度——同样是检测，耐用性差很多。

最耐用：网络 / 传输层指纹（JS 还没跑就生效）

• TLS 指纹已从 JA3 转向 JA4/JA4+。Chrome/Firefox 随机化 TLS 扩展顺序后 JA3 的 MD5 哈希失效；JA4 先排序再哈希，稳定且可读。Python requests 的 JA4”跟任何真实浏览器都对不上”。
• HTTP/2（Akamai）指纹：格式为 S[;]|WU|P[,]#|PS[,]——SETTINGS 帧参数、WINDOW_UPDATE 增量、PRIORITY 帧、伪头部顺序（Chrome m,a,s,p / Firefox m,p,a,s / Go a,m,p,s）。比 TLS 更难伪造，因为很多客户端根本不支持改这些底层细节。
• **TCP/IP 指纹（JA4T）**绑内核（TTL、窗口大小、MSS）。
• 最强的单一信号是”协议栈漂移”：TLS、HTTP/2、TCP/IP 与 JS 暴露的浏览器表面互相讲了不同的故事。一个声称”Windows 上的 Chrome”却带 Linux TCP 指纹、或躲在 Windows 代理后的 Chrome-on-Mac，就这么暴露。Cloudflare / Akamai / DataDome 都已标配。

很耐用：行为生物特征 鼠标曲率与熵、打字停留-飞行时间、滚动动态、触控模式——人类自然不规则、走曲线，机器人/Agent”线性、可预测、数学上精确”。这正是能专门抓 AI Agent 的那层（见 0.25 像素）。注意反制也在进化：会话重放 bot、ML 训练的”拟人化器”（Botasaurus 的 human mouse），而且采集行为可能触发 GDPR/PIPL 同意义务。

正在失效：浏览器层信号

• V8 的 CDP 侧信道（观察 Runtime.enable 下序列化 Error 的 .stack getter 副作用）已在 2025 年 5 月被两个补丁修掉。
• Playwright 1.53（2025 年 6 月）把 navigator.webdriver 设成 false，跟普通浏览器一样——这些信号”从来就不是基准真相”。
• 隐身框架转向 CDP 最小化：nodriver、selenium-driverless 完全避开 WebDriver，用原始 CDP / OS 级输入驱动。2026 年一次对 31 个 Cloudflare 目标的基准里 nodriver 干净通关；Camoufox（打补丁的 Firefox）在 CreepJS 套件上约 0% 检出。单靠浏览器层是注定输的军备竞赛。

已经很弱：CAPTCHA 与工作量证明

• 打码农场（2Captcha、CapMonster）能解 reCAPTCHA v2/v3/企业版、hCaptcha、Turnstile、GeeTest、FunCaptcha 甚至 DataDome 挑战，约 $0.60–1/千次、~1 秒、宣称 95–99%。视觉 LLM 能以人类水平解图片码。
• PoW（Anubis、ALTCHA、Cap.js、mCaptcha、Friendly Captcha）施加计算成本而非智力测试，能降量但不稳健——Tavis Ormandy 用一台免费 GCE 虚拟机 6 分钟为 11000 个 Anubis 部署生成了解。PoW 还惩罚慢浏览器和低功耗设备。它们是爬虫威慑器 / DDoS 成本抬高器，不是人类验证。

前端硬化：无障碍是那条不能越过的线#

最关键的权衡：无障碍树如今是辅助技术和 AI Agent 共享的同一个接口。 你没法在不致盲残障用户的前提下，靠破坏语义去致盲 Agent。

安全区（无障碍代价≈0，能打败选择器型爬虫和脆弱的宏）：

• 按构建/会话轮换混淆类名与 data-*，让 CSS/XPath 选择器失效；别留稳定的 data-testid/id 钩子。屏幕阅读器靠的是无障碍树而非类名，所以这是”免费”的。
• Shadow DOM 封装（只能拖慢 Agent，Playwright 的 AXTree 快照会解析 shadow 内容）。
• 蜜罐字段、随机化表单字段名、一次性表单 token。
• 敏感逻辑/密钥放 WASM、计算放 Web Worker。
• 关键内容靠行为信号门控、出现类人交互后才渲染。

有害区（无障碍代价高、对 Agent 收益低——别做）：

• 剥离/扰乱 ARIA、用 <div> 汤替代真实控件：直接伤害 NVDA/JAWS/VoiceOver 用户、违反 WCAG，却几乎挡不住 Agent——Atlas、Playwright MCP、Mariner 读的正是这棵 ARIA 树，OpenAI 自己的指南就让发布者遵循 WAI-ARIA。
• 把敏感 UI 全渲染成 canvas：对辅助技术不可见，又被视觉模型（Computer Use、WebVoyager 上 83.5% 的 Mariner）直接读截图绕过。

防篡改那一套（代码混淆、反调试、DevTools 检测、运行时完整性、JS 挑战 token、HMAC 签名）是成本抬高器不是保证——客户端算出来的都能被重放/逆向（GeeTest 重度混淆已有公开破解）。它真正的价值是把攻击者从廉价的 HTTP 重放，逼到昂贵的全浏览器自动化。

服务端才是唯一真管控#

• 限流 / 速率检查：按 IP/ASN/账户/设备自适应限制；“24h 内同设备 ≥3 账户""30min 内同用户 ≥5 张券”这类规则引擎（国内营销风控标配）。
• 设备 / 账户信誉：服务端关联设备 ID、数据中心 IP / 秒拨（轮换住宅）检测、手机号风险画像（接码平台检测）。
• 请求签名与 nonce：带每请求 nonce、短过期的 HMAC 签名挡重放；幂等键。
• 秒杀 / 库存：虚拟等待室（Cloudflare Waiting Room + 隐形 Turnstile + 给 bot 的 Infinite Queue 焦油坑；Queue-it；CrowdHandler）配预排队随机化洗牌抵消时区/抢购优势；Redis 库存预留 token + 幂等键；每个已验证身份一个名额；对绕队订单做事后取消（国内 2025 年 6 月起诉过一起含 6 万+ 欺诈订单的薅羊毛案）。
• 优惠券：每个手机/支付验证身份只核销一次 + 设备指纹反多账号 + 注册风险评分。
• 注册刷量：手机/邮箱验证 + 封数据中心 IP + 基于图的团伙检测（数美用 GCN/Node2Vec/Louvain 找共享手机/设备/IP 的协同团伙）。

反 AI 爬取：robots.txt 已死，边缘强制和 402 经济在起来#

• robots.txt / llms.txt / ai.txt 全是建议性的。 Cloudflare 测 47 个英国站点发现 72% 的站点有 AI 爬虫违反 robots.txt，三周内平均每站 156 次违规。llms.txt 是导航辅助不是拦截器——Google 的 Gary Illyes 确认不支持；Ahrefs 研究 13.7 万域名发现 97% 的 llms.txt 收到零请求。把它们当路由/授权信号，别当强制手段。
• Cloudflare 在 2025-07-01 翻成默认封禁 AI（新域名，约占全网 20%），推 Pay Per Crawl（HTTP 402 微费，2025-08 上线）和 AI Labyrinth（AI 生成假页面 + nofollow 的焦油坑）。爬取/引荐比量化了训练型爬虫的单向抽取：Anthropic ClaudeBot 70900:1、OpenAI GPTBot 1700:1，同期 Googlebot 约 18:1。
• 现实检验：坚决的爬虫轮换住宅 IP、伪造 UA，无视上述一切。字节 Bytespider 无视 robots.txt，Kasada 30 天追到约 400 万次请求。强制要靠指纹 + WAF/ASN 封禁，不是礼貌的文本文件。

转向：放行已验证 Agent，拦截坏 Agent#

这是 2025–2026 最大的方向变化——从”一刀切封 Agent”转向 Agent 身份。

• Web Bot Auth（Cloudflare 主导的 IETF 工作，建在 RFC 9421 HTTP 消息签名上）：Agent 在 /.well-known/http-message-signatures-directory 发布 Ed25519 公钥并对请求签名，签名绑 @authority 不能跨站重放。OpenAI 已对 Operator/ChatGPT Agent 请求签名（2025-07-25），AWS Bedrock AgentCore、Vercel、Shopify、Akamai 都支持。
• 支付层 Agent 信任：Visa Trusted Agent Protocol（2025-10，HTTP 签名 + WebAuthn）、Visa Intelligent Commerce、Mastercard Agent Pay、OpenAI Instant Checkout / Agentic Commerce Protocol（与 Stripe）。
• Private Access Tokens / Privacy Pass：Apple PAT 不泄露身份地证明”真实设备 + 健康 iCloud 账户”，被 WAF 当信号减少 CAPTCHA。局限：仅 Apple 设备，且实际惩罚了非 Apple 用户；Web 端还没有通用等价物。

落地优先级#

第 1 阶段（先做，ROI 最高摩擦最低）

1. 应用放在带跨层指纹的托管边缘机器人管理之后。GFW 外：Cloudflare/DataDome/HUMAN/Akamai；境内（阿里云/腾讯云）：数美、顶象、网易易盾、极验，或阿里云/腾讯天御。
2. 所有改状态的端点上做服务端限流 + 带 nonce 的 HMAC 签名 + 幂等键。这是真正能守住的。
3. 只在高风险动作上挂隐形挑战（Turnstile 或 GeeTest v4），别全站铺，接受它会被农场部分破解。

第 2 阶段（硬化高价值流程） 4. 结账/秒杀：等待室 + 预排队洗牌 + Redis 库存预留 + 每身份一名额 + 绕队事后取消。 5. 促销：每个手机/支付身份只核销一次 + 设备指纹关联 + 注册风险评分。 6. 注册：手机验证 + 数据中心 IP/秒拨封禁 + 图团伙检测。 7. 登录/结账/搜索加行为生物特征——最好的 AI Agent 区分器，注意 PIPL/GDPR 同意。

第 3 阶段（内容/爬取） 8. robots.txt + llms.txt 仅作授权信号，再用 WAF/ASN + AI 爬虫 UA 封禁强制；可上 AI Crawl Control / 默认封禁 / 402 / AI Labyrinth。

第 4 阶段（Agent 感知、面向未来） 9. 边缘采用 Web Bot Auth 校验，放行已验证的好 Agent、封未签名自动化——别一刀切（可能封掉付费客户的购物 Agent）。 10. 做 Agentic 商务就评估 Visa Trusted Agent Protocol / OpenAI Instant Checkout。

何时调整姿态：误报率上升（弃单升高、屏幕阅读器工单变多）→ 回调挑战与混淆；Agent 购买成为有意义营收 → 从封禁转向 Web Bot Auth 允许名单；爬取转住宅代理 → 从 UA/ASN 封禁升级到行为 + 跨层指纹。

别忘了的坑#

• 根本极限：渲染给真人的最终都能被自动化，客户端只能抬成本。
• 无障碍是硬边界：激进混淆破坏辅助技术和 WCAG，却拖不慢 AXTree/视觉 Agent。待安全区，别碰有害区。
• 厂商数据都有偏差：DataDome 的 85000 模型、Roundtable 的 87% vs 33%、ALTCHA 的 97%、易盾的 99.99971%、HUMAN 的 87%/2.2%——全是从专有网络自报、有商业动机、未经独立审计。用自己的流量验证。
• 法律不确定：Amazon 诉 Perplexity（Comet Agent 登录用户 Amazon 账户购物，按 CFAA 起诉，援引 Facebook v. Power Ventures）——地区法院 2026-03 给了初步禁令，约一周后第九巡回中止，2026-06-11 口头辩论，截至目前无裁决。CFAA 下”Agent 算不算授权访客”悬而未决，宽泛裁决可能让所有 Web 自动化承担责任。
• 中国特定：GFW 让依赖 Cloudflare/Google 的防御对大陆用户不可靠；ICP 与国内 CDN 约束更倾向数美/顶象/易盾/极验/阿里腾讯；设备指纹是黑产对抗主流，但又被改机/模拟器/群控击破，需要图团伙检测兜底。