测试用例生成 Agent 落地 - 速读

核心结论

NL2Test Agent 的价值不是替代 QA，而是把 QA 的自然语言测试意图转译成可运行回归资产；稳定落地依赖确定性校验、任务拆解、上下文治理、受约束生成和稳定断言。

5 个节点

• 场景转译：QA 保留目标和业务判断，Agent 负责生成框架可执行用例。
• 确定性边界：语义理解用 LLM，字段/Schema/匹配/断言校验用程序。
• 任务拆解：请求匹配、依赖提取、断言识别和代码生成分别产出可校验结果。
• 上下文治理：过滤静态资源、轮询、重复流量和临时字段，只给模型相关证据。
• 稳定断言：少而准地验证业务结果，删除波动或语义不明的断言。

方法链

1
2
3
4
5
6
7
8
自然语言场景
  → 流量治理与 API 匹配
  → 依赖/参数提取
  → 断言意图识别
  → 受约束代码生成
  → Schema/白名单校验
  → 可运行回归用例
  → CI/CD 持续验证

原文指标

85.4% 生成用例进入 CI/CD；新增用例平均约 25% 来自 Agent，个别团队 50%+；月活 30.7%；平均每两周节省约 30 人天。以上为文章团队自述，未独立审计。

反模式

• 用一个端到端大模型调用生成完整用例，错误难定位且会扩散。
• 把全部测试流量塞进上下文，噪声和临时字段干扰判断。
• 只靠 Prompt 要求模型“不编造”，不设置允许集合和后置校验。
• 追求断言数量，牺牲长期稳定性和 QA 对自动化的信任。

关联

[[01-ai-agents/Agent评测漫谈-由浅入深讲解Agent评测]] · [[01-ai-agents/InfoQ-TiDB-薄Agent-Loop厚Control-Plane-Harness]] · [[02-ai-coding/研发工程化升级-Coding-Agent-AI-Testing与Verification-First]]