Agent能力不足维护代码库——HumanLayer创始人质疑”无人值守”软件工厂

核心结论(一句话)

Agent 能加速单次实现,但在长期迭代的代码库中无法自动维持架构质量;SlopCodeBench 最优 Agent 仅通过 16.3% 检查点,”无人值守软件工厂”在复杂系统中尚未成立。

知识节点(8 个独立概念)

关联图谱

上游(基于 / 来自)

下游(应用于 / 验证于)

同级(横向 / 并列)

正文要点(4 条)

  1. “关灯软件工厂”的诱惑与陷阱:Agent 把实现从几天缩到几小时,但审查未同比缩短;诱人想法是把审查也交给 AI,但复杂项目的架构退化代价按月/年计,无人看管的模型很难在一次次修改中维持代码库质量。
  2. 测试通过 ≠ 可维护:当前测试只验证本次功能正确,无法预判下月新需求对模块边界的影响;Agent 为交付眼前功能在三处各补一段判断,测试全过,下次规则变化就得同步改三处。
  3. SlopCodeBench 实证:36 任务、196 阶段检查点,要求 Agent 在自己写的代码上连续扩展;无一完整完成全部任务,最优 Agent 严格通过率仅 14.8%→16.3%,远未到”长期维护已解决”。
  4. 实操建议:影响面大的任务先花 20-30 分钟规划;给 Agent 浏览器让它看见实际运行效果;把用户反馈和事故告警接入后续改动;保留会话记录和架构文档供后续回溯。

3 个对 Seetong 团队可借鉴动作

  1. Seetong iOS/Android 大改动前强制规划段:涉及多模块联动的需求(如注册页海外适配、回放架构切换),提 MR 前先写 200 字以内的改动方案(动哪些模块、保留哪些旧接口),欧阳荣或对应负责人确认后再让 Agent 铺开实现。
  2. 给 Agent 加”看见运行效果”的能力:在 Seetong-App-AI 的 Agent 工作流中接入模拟器截图或真机录屏,不要只靠单元测试判定交付;特别是 UI 类改动,Agent 交 PR 前必须附上运行画面。
  3. 建立 Agent 会话归档机制:每次 Agent 参与的代码改动,把规划对话、否决方案和最终决策写入 memory/seetong-ios/ 或 memory/seetong-android/,避免下一个人或下一个 Agent 接手时重复踩坑。

备注与链接