LLM 自主操作浏览器可以做一次性验证，但不适合作为每天、每小时稳定运行的生产采集主链路。生产环境应优先使用抓取 API 或可测试的规则化流程。
这里的“AI 爬取”特指 LLM 在运行时阅读 DOM、截图或页面内容，自行决定等待、点击、调用工具和提取结果的 agent 式流程。
API/规则化采集与 AI 爬取有什么不同？
| 维度 | 抓取 API / 规则化采集 | AI agent 爬取 |
|---|---|---|
| 执行方式 | 预先定义 URL、等待条件、分页和字段规则 | 模型在执行时决定下一步 |
| 适合场景 | 定时任务、重复页面、价格、SKU、链接等精确字段 | 一次性验证、规则草稿、人工监督下的小范围探索 |
| 生产定位 | 主采集链路 | 采集后的辅助分析，不是主取数链路 |
AI 爬取不适合生产主链路的三个原因
1. 成功率不稳定
LLM 会出现幻觉，也可能误判页面是否加载完成、把配送费当成商品价格，或遗漏分页内容。DOM、加载时序和模型决策都可能在两次执行间变化；一次性验证可以接受，定期采集则不可控。
规则化采集也会因页面改版而失败，但失败通常能被定义为“字段为空”“选择器没有命中”或“记录数低于阈值”，并触发明确的告警与修复。agent 的问题更隐蔽：它可能返回一份格式正确、内容却错误的结果。对价格、库存、SKU 等会进入业务决策的字段，这种静默错误比一次明确的失败更难处理。
2. 单次成本容易失控
AI agent 每走一步，可能都要把 DOM、截图甚至整页内容传给模型。复杂页面、多轮点击和重试会持续消耗 Token 与工具调用额度。规则化采集的前期投入可以复用；agent 成本则会随页面复杂度、步骤数和采集量增长。
每条可用记录成本 = 采集 + 模型处理 + 重试 + 人工复核成本 / 通过校验的记录数
| 成本环节 | 抓取 API / 规则化采集 | AI agent 爬取 |
|---|---|---|
| 页面理解 | 预先配置字段位置和等待条件，重复运行时复用 | 运行中反复提交 DOM、截图或文本让模型判断 |
| 失败重试 | 根据状态码、超时或字段规则执行固定策略 | agent 可能尝试更多点击、等待或工具调用，步骤数不稳定 |
| 人工成本 | 主要检查异常和页面改版 | 还要抽查模型是否取错字段、遗漏记录或走错路径 |
因此，“AI 只调用一次”不是完整成本。要把页面长度、交互轮数、失败率和复核工时都算进去。页面越复杂、运行越频繁，规则化流程的可复用性越有价值；AI 越适合被限制在少量、明确的后处理任务中。
3. 访问路径不透明
agent 可能尝试页面背后的接口、临时 token 或未说明的工具调用。用户未必知道它访问了什么、请求了多少次，或该路径是否公开、稳定、符合网站规则。这会增加服务端检测、规则和法律边界风险。
“页面能打开”不等于页面背后的接口可以被第三方长期调用。内部接口可能依赖会话、临时凭证或仅供前端使用，也可能随时变更。生产采集不应把“agent 偶然拿到数据”当作可持续能力；应当明确允许的 URL、交互范围、请求频率、保存的数据和失败时的退出方式。
生产环境应如何分工？
- 采集层： 用抓取 API 或规则化流程获取页面和精确字段，记录 URL、时间、原始值与失败状态。
- 校验层： 检查必填字段、分页、重复记录和异常页面。
- AI 层： 只处理已采集的数据，例如分类评论、归纳卖点、标记异常或生成带来源的摘要。
例如，竞品价格监控应先由采集层返回商品链接、标题、价格和库存文本；校验层确认没有把广告位、运费或重复商品混进来；最后才由 AI 总结价格变化或评论主题。这样，AI 的结论可以回溯到原始记录，但它不会控制网页访问本身。
Clawoxy 提供网页采集 API 与网页端任务配置。对已知 URL 或页面类型，可先用采集流程获取结果，再交给 AI 做后处理。当前支持的平台、字段、认证方式和套餐，应以 Clawoxy Scraping API 的发布时文档为准。
FAQ
AI 完全不能用于网页数据工作吗？
可以，但应定位为一次性验证、规则草稿，或对已采集文本进行分析。不要让它在生产中自主决定点击、接口和重试路径。
官方 API 存在时，还需要网页采集吗？
先检查官方 API 是否覆盖需要的字段、时效、额度与使用条件。只有当它缺少确有业务价值的公开页面信息时，再评估受控的网页采集；无论哪种方式，都应保留数据来源与校验规则。
