真实任务测试：编程智能体最佳完成率仅26.4%

当用户把真正遇到的编程问题交给AI，智能体能否把任务完整做完，仍是比排行榜分数更直接的考验。据The Decoder报道，阿里巴巴推出新的编程智能体评测基准Co-Design Bench，测试材料来自现实使用中已经让AI智能体受挫的用户请求。在这套测试里，即使是表现最好的GPT-6 Astra，完整解决任务的比例也只有26.4%。换言之，在这批经过筛选的真实难题中，接近四分之三的任务仍未被完整解决，需要人类进一步收尾或介入。这一结果把编程AI的讨论，从“能否生成代码”推向了“能否交付可用结果”。

把实际失败的请求带回测试场

Co-Design Bench最值得关注的地方，是其任务来源：它采用真实用户提出、且已经在实践中难住编程智能体的请求。这样的选题方式，让评测直接瞄准产品使用中的薄弱环节。对于开发者而言，一段看起来合理的代码只是工作的一个部分；请求能否被准确理解，修改能否符合已有项目的约束，最终结果能否满足用户需求，才决定了智能体是否真正完成了委托。以这些问题作为理解背景，有助于看清这项测试为何强调“完整解决”，而不只是生成一个表面上像答案的输出。

不过，任务来源也决定了结果的适用边界。这是一批曾经导致智能体受挫的任务，并非对所有日常编程需求的随机抽样。因此，不能把测试中的失败比例直接解释成所有用户使用编程AI时都会遇到的失败率。它更适合回答的问题是：面对真实使用中已经暴露出来的困难，现有模型究竟能补上多少缺口？这种针对薄弱环节的测试，对于判断智能体的能力边界很有价值，但与衡量普通任务的平均表现属于不同的评估目标。

最佳模型也只完整解决26.4%

报道给出的核心成绩是，GPT-6 Astra在Co-Design Bench上排名第一，但完整解决率仅为26.4%。按这一数字计算，剩余73.6%的任务没有达到完整解决标准，这也是“接近四分之三的任务仍需人工收尾”这一表述的依据。需要分清的是，没有完整解决并不等于毫无帮助：智能体可能完成了部分工作，也可能提供了可供继续修改的起点。不过，所提供的报道素材没有展开这些中间状态，因而无法进一步判断每项未完成任务距离交付还有多远。

对实际采用编程智能体的团队来说，这个区别十分关键。如果AI已经完成大部分工作，人类只需小幅修正，其价值与效率收益仍可能相当可观；如果用户必须重新理解需求、定位错误，再大范围重写，所谓自动化就可能转变为另一种审核负担。这些是解读测试结果时需要追问的问题，并不是该报道已经给出的实测结论。现有信息能够支持的判断是：即便排名领先的模型，在这批真实难题上也无法稳定独立交付，人工检查和后续处理仍然具有重要作用。

旧基准超过99%，为何仍难交付

与26.4%的完整解决率形成鲜明对照的是，报道指出，相同模型在较早的评测基准上得分超过99%。接近满分的旧成绩与新测试上的有限完成率，说明仅看某一类排行榜，很容易对系统的实际能力形成过于乐观的预期。旧基准上的高分并不因此失去意义，它仍能反映模型对相应测试任务的掌握程度；但当用户关心的是复杂请求能否被完整处理时，这些分数显然不足以单独支撑“已经可以放心交付”的判断。

这组反差也不能被简单描述为模型能力突然下降。不同基准的任务来源、难度分布和评分口径可能不同，而本次素材没有提供旧基准的名称、详细评测规则或可直接对齐的实验条件。因此，不能把两项成绩直接换算为统一尺度上的能力退步，更不能仅凭这一落差断言存在训练数据污染等具体问题。更稳妥的解释是，Co-Design Bench把测试重点转向了实际使用中已经出现的难点，揭示出旧成绩未能充分展示的能力短板。分数差异提示人们重新审视评测覆盖范围，而非只比较数字大小。

从排行榜高分走向可验证的完成

对于编程智能体的使用者，这项测试带来的启示是，评估工具时应把“完整完成了什么”放在更突出的位置。一般而言，编程工作涉及理解需求、检查上下文、实施修改和验证结果等环节，任何一处偏差都可能让最终交付不符合预期。这里列举的是软件开发中的常见要求，并非报道已经确认的具体失败原因。要判断Co-Design Bench上的短板究竟集中在哪里，还需要更详细的任务案例、失败分类和评测方法；仅凭一个总完成率，无法定位模型最需要改进的环节。

对于模型开发方和采用AI的企业，这类基准提供了一种有用的观察方向：除了追求既有测试上的更高得分，也应检验系统能否处理用户已经反馈过的实际困难。在具体应用中，人工介入频率、修改工作量和最终结果是否可靠，都值得与模型分数一起考量。不过，当前提供的素材没有披露测试任务总量、完整参评名单、各模型的详细成绩、人工收尾耗时，也没有给出后续版本或产品部署计划。因此，这次报道能够说明真实难题上的交付缺口，却不足以量化编程智能体带来的总体成本节省或生产率变化。

Co-Design Bench将一个容易被高分掩盖的问题重新摆到台前：智能体在标准测试中表现出色，与它能否把用户的实际请求处理到可以交付，并不是自动等同的。GPT-6 Astra的26.4%为这批已知难题提供了一个明确参照，而旧基准超过99%的成绩则提醒行业，评测需要持续贴近真实使用的障碍。接下来值得关注的是，这些尚未完整解决的请求能否转化为可验证的改进，以及模型进步能否真正减少人的收尾负担；这比单独刷新一个排行榜数字更能回答用户关心的问题。