GPT-6.1 Terra实测:低价高速的精度代价
据The New Stack测试,GPT-6.1 Terra在三项高推理强度任务中的估算成本仅为Astra的7.8%,耗时也明显更短,但在SQL推理和数据校验上失分。低价模型能否替代旗舰,关键在于任务类型与结果核验。
速度更快、价格更低,是否意味着可以直接替代旗舰模型?据The New Stack报道,OpenAI于10月26日发布GPT-6.1 Terra,将其定位为适合高频日常工作的低成本模型。但该媒体通过API进行的三项高推理强度测试显示,节省成本与保持精度并不总能兼得:Terra总耗时258.8秒、估算令牌成本0.61美元,GPT-6 Astra则分别为709.2秒和7.88美元;两者总分分别为121/150与148/150。Terra在故障日志排查中追平旗舰,在SQL推理和完整数据校验上则出现明显差距。对于需要直接采用计算结果的用户,这种差异比单纯比较价格更值得关注。
价格降至十分之一,测试边界也要看清
在GPT-6家族中,Terra属于中等定价产品:每百万输入令牌收费1美元,每百万输出令牌5美元;Astra对应价格为10美元和50美元,均为Terra的10倍。OpenAI还称,Terra在Agents’ Last Exam基准中完成任务的速度超过Astra的3倍。不过,这项计算机操作基准与此次三项测试并不能直接比较。其他早期评测也呈现出优点与局限并存的面貌:Plotly的分析测试中,Terra找出了5个预设模式中的3个,总体通过43道题中的40道;Artificial Analysis发现,在无法回答的问题上,它有38%的情况会猜测答案,而同一基准中的GPT-5.6 Terra为88%;DualEntry的会计基准则给出78.2%的准确率。这些数字来自不同任务与评分口径,不能拼接成一个通用能力结论。
The New Stack作者希望检验的,是宣传之外的速度、令牌成本与答题质量取舍。最终测试通过OpenAI API进行,两款模型的reasoning effort均设为high,每项最终版测试对每个模型只运行一次。作者没有自行设置输出令牌上限,但模型仍有内置输出限制;同为high,也不代表获得相同的推理令牌预算。评分依据是作者自行建立并核验的答案。作者为每项任务开发了三个版本,在简单和中等版本中反复看到两款模型同分,第三次仍出现相同结果后,继续用较弱的GPT-5 Mini检验高难度题目,直到Mini得分很低。因此,最终题目是根据此前结果筛选、加难后的合成任务,并非日常工作的代表性样本,也无法衡量结果能否稳定复现。
成本统计同样需要限定解释:文中“输出令牌”包含推理令牌,括号里的推理数量只是其子集,不能再次计费。所有费用均按报告的用量和标准非缓存输入、输出价格估算,未计入工具费用或账单调整,也不是经过核验的实际发票金额。作者认为,模型竞争让每次发布都倾向于强调优势,容易让用户对实际表现形成过高预期;此次测试的价值,在于展示具体任务中的取舍,而不是复现OpenAI的计算机操作成绩,或给所有应用场景排出统一名次。
SQL推理:价格优势背后是未完成的计算
SQL任务使用一份包含500次软件构建的虚构数据库,要求回答25个问题。数据中混有软删除、重试、三种货币和时区问题,其中两题无法根据已有数据作答,正确处理方式就是明确指出信息不足。每题2分,必须完全正确才能得分,近似答案与其他题目的未作答均计零分。Astra拿到48/50,Terra只有26/50,GPT-5 Mini基线为6/50,是三项任务中两款主力模型差距最大的一项。
Astra能够处理这些构建记录中的复杂条件,但也没有做到全对。它在汇总某个区域151次构建的运行时长时,给出31,022秒,正确值为31,428秒,少了406秒,偏低约1.3%。单看最终答案,无法判断问题出在加法、漏行还是误读数值。Terra则在6道需要跨全部500行汇总费用或时长的题目中没有给出计算结果,而是提供SQL查询,让用户自行运行,并标记为“未计算”。这避免了编造数字,却把最关键的执行与汇总工作交回给用户。此外,Terra还有6题答错,其中4题的计数只差1或2;这些错误答案与正确答案一样表现得很有把握,用户难以据此判断报告中的哪些数字需要复查。
这一轮Terra耗时133.1秒,输入21,060令牌,输出11,554令牌,其中推理令牌10,707,估算费用0.079美元;Astra耗时319.7秒,超过5分钟,输入同为21,060令牌,输出28,806令牌,其中推理令牌27,970,估算费用1.65美元。Terra确实更快、更便宜,但由于没有完成一部分核心计算,这些节省不能直接视为同等工作质量下的效率提升。Astra的成绩更高,其错误总数仍说明,涉及精确数值汇总时,旗舰模型也需要可执行查询或其他确定性方法进行核验。
数据校验:找出的都对,不代表已经找全
第二项任务提供4,950条虚构客户记录,要求按19条规则检查。部分规则必须放在整份文件中判断,例如同一邮政编码最多容纳3名客户、推荐关系不能形成循环。数据中有40条真正违规记录,另有10条看似异常但实际上合规。满分50分,其中40分来自正确找出违规记录并说明违反的规则,另外10分用于衡量对合规记录的处理;每误报一条合规记录就扣1分。Astra取得50/50,Terra取得45/50,GPT-5 Mini为10/50。Terra正确识别35条违规记录,没有误报合规记录,因此本轮召回率为87.5%、精确率为100%。45/50是特定评分规则下的分数,不是对全部4,950条记录的准确率。
Terra在回答前提示,自己无法可靠地按规则检查全部4,950条记录,可能有所遗漏。实际上,报告的输入量处于其上下文窗口内,作者也没有设置输出上限。它漏掉的5条违规记录中,有3条需要跨记录比较才能发现,例如某位客户使用了另一位客户的电话号码。这个结果说明,“被标出的记录都正确”和“所有错误都被找出来”是两件事。原始测试不能解释遗漏的具体原因,也不能因为Terra使用的推理令牌更少,就断言推理不足导致了漏检。
具体用量上,Terra输入234,045令牌,输出2,336令牌,其中推理令牌1,841,耗时31.4秒,估算费用0.25美元;Astra输入同为234,045令牌,输出13,369令牌,其中推理令牌12,831,耗时145.0秒,估算费用3.01美元。Astra找出了全部40条违规记录,代价是耗时超过Terra的4倍,成本约为12倍。这里的耗时是完整响应时间,并没有单独隔离推理时间。对于要求穷尽检查的流程,Terra的漏检意味着仍需额外校验;对于允许后续复核的初筛,它的成本和速度则可能具有实际价值。
故障排查同分,模型选择要按任务拆解
第三项测试包含约7,000行虚构故障日志,涉及超过20个服务。作者故意加入时钟漂移、指向错误服务的报错,以及在真正故障前触发告警的无关变更。50分评分清单要求模型将根因定位到ledger服务的配置变更,找出3台时钟错误的服务器,并排除多条误导线索:已经回滚的fraud服务更新、比真正原因早数秒发生的payments配置变更、数据库切换,以及search服务无关的内存问题。虽然报错信息把责任指向fraud服务,两款模型都没有照单全收,而是追查底层证据,最终均得50/50;GPT-5 Mini为12/50。
这一次,Terra的经济性建立在相同得分之上:它耗时94.3秒,输入251,651令牌,输出7,508令牌,其中推理令牌5,114,估算费用0.29美元;Astra耗时244.5秒,输入同为251,651令牌,输出14,158令牌,其中推理令牌9,742,估算费用3.22美元。Astra成本约为11倍,耗时约为2.6倍;多出的6,650个输出令牌中,有4,628个属于推理令牌,但没有带来更高分数。三项测试合计,Terra、Astra和GPT-5 Mini分别得到121、148和28分,满分150分。Astra总耗时约为Terra的2.74倍,Terra估算成本约为Astra的7.8%。这些结果展示了成本、时间与得分之间的关系,却不能证明OpenAI刻意削减推理来换取速度,也不能证明更多推理必然改善其他任务的成绩。Mini的低分只是参照,并非独立的难度认证。
对后续部署而言,这组测试更适合用来设计验证流程,而不是直接宣布某款模型全面胜出。Terra在早期简单和中等版本中与Astra同分,不等于它在所有同等难度任务上都同样准确;在最终难题中,它更适合作为部分工作负载的低成本候选,例如本次表现良好的日志排查,但仍需核验结果。未经复核的数值汇总与穷尽式数据校验,则应更加谨慎。报道没有披露OpenAI针对这些具体问题的后续修复计划。企业下一步更有价值的工作,是用自身数据进行重复测试,并把人工复核、查询执行和漏检处理的成本一并纳入评估:只有在所需质量得到保障后,较低的令牌账单才真正意味着更低的使用成本。