衡量 AI 开发，不只看它写得多快，还要看你多久能放心交付。
把观察对象从回答换成任务
一段回答看起来合理，与一个功能能够长期使用，是两个不同问题。研究 AI 辅助开发时，应以边界明确的任务为单位，记录从准备资料到最终验收的整个过程。
本文是一套评估方法，不是已完成的实验报告，也不提供未经验证的效率提升比例。读者可以用自己的项目建立数据。
选择具有代表性的任务样本
建议覆盖局部界面修改、跨文件功能实现和可复现故障排查。为每个任务提供相同的初始资料、约束和完成标准，避免简单任务只分配给某一种工具。
记录模型或工具版本、环境、权限和测试条件。若执行过程中获得了额外提示，也应记录下来，否则不同结果难以公平比较。
评价完整成本，而不是单次响应
至少观察准备时间、首次完成时间、审阅时间、返工次数、回归问题和资源用量。一次生成很快，但需要长时间修正，并不一定节省总投入。
质量评价应包含功能正确性、可维护性和安全边界。对于主观设计任务，可以先形成评价规则，再安排多人独立审阅。
重点研究上下文与任务拆分
可以比较有无复现步骤、是否提供项目规范、不同任务拆分方式，以及是否要求先检查再实现。每轮只改变少量因素，更容易解释结果。
长任务还应观察阶段记录是否完整、切换工具后能否继续，以及多执行者的合并成本。并行带来的收益要扣除协调和冲突处理时间。
让结论有适用范围
对照结果应注明任务类型、样本数量、运行条件和失败案例。不要从少数成功演示推导出所有行业、所有团队都适用的结论。
如果要公开分享，应先清理源码中的机密信息和日志中的凭据，并区分测量结果、经验判断和后续假设。可复核的方法，比缺乏背景的漂亮数字更有价值。