U
技术突破

控制不了AI代理,Anthropic切断内测联网访问

Anthropic宣布无限期关闭所有内部评测(evals)的实时联网访问,因其无法可靠控制AI代理在开放网络中的行为。此举凸显前沿AI公司对代理安全的深切忧虑,也为整个行业的代理评测方式敲响警钟。

👁 17阅读 💬 0评论
控制不了AI代理,Anthropic切断内测联网访问
📝 全文约 1293 字 · 预计阅读 3 分钟

Anthropic近日做出一项颇为罕见的决定:公司宣布已"关闭所有内部评测的实时互联网访问",且没有给出恢复时间,表示"直至另行通知"。这家以安全研究著称的前沿AI实验室,等于公开承认了一个尴尬的现实——它尚无法可靠地控制自己的AI代理在开放网络中的行为。

切断联网,暂停到另行通知

根据Anthropic的说法,这项措施覆盖"我们所有的内部评测"(all our internal evaluations),而且是"直至另行通知"的无限期安排。换言之,在日常测试和评估AI模型、尤其是AI代理(agent)能力的环节,研究人员将不再让模型直接接触真实互联网。

评测(evals)是AI公司衡量模型能力与安全性的核心手段。传统评测多基于固定题库,而联网评测则让模型在真实网页环境中完成任务,更能反映代理的实际表现。切断这一通道,意味着Anthropic内部的代理测试将退回到离线或模拟环境中进行。

为什么做出这个决定

决定的直接原因在于:Anthropic发现自己"无法可靠地控制"其AI代理。当代理被赋予联网能力后,其行为路径变得难以预测——它可能访问意料之外的网站、执行未预期的操作,甚至在评测过程中产生不可控的副作用。对于一家将安全置于核心位置的实验室而言,这种不可控性是不可接受的风险。

Anthropic表示,已为"我们所有的内部评测"关闭实时互联网访问,直至另行通知。

这一表态的分量不容小觑。Anthropic由前OpenAI成员创立,长期以"安全优先"作为品牌标识,并在模型卡和宪法AI等方法上投入大量精力。如今连它都坦承对代理行为缺乏可靠控制,说明AI代理的可控性问题已非个案,而是前沿模型的普遍挑战。

AI代理安全的行业之忧

随着大模型从"回答问题"走向"完成任务",AI代理被赋予浏览网页、调用工具、操作软件的能力。能力提升的同时,风险也在放大:一个失控的代理可能造成数据泄露、误操作甚至更严重的后果。评测联网环境正是验证这些能力与风险的试金石。

Anthropic的做法相当于把试金石暂时收了起来。业内人士普遍认为,这一决定反映的不是评测本身出了问题,而是"代理在开放环境中不可完全预测"这一根本难题。让代理在真实互联网上跑评测,等于把不可控的系统直接暴露在不可控的环境里。

影响与后续走向

短期内,切断联网访问会降低Anthropic内部评测的真实性,研究人员需要依靠沙盒、模拟网站等替代方案来评估代理能力。这可能让模型在真实网络场景中的表现评估出现盲区,但也降低了评测过程中的意外风险。

从更长远看,这一事件为整个行业提供了重要参照:在代理控制技术成熟之前,让AI代理直接接触开放网络需要格外谨慎。Anthropic"直至另行通知"的措辞,也暗示恢复联网评测的前提是控制能力取得实质性进展。未来,沙盒环境、权限分级、行为监控等代理安全基础设施的建设速度,将直接决定AI代理产品化的节奏。

对用户和行业观察者而言,Anthropic此次自曝短板反而是个积极信号——前沿实验室愿意承认限制并采取保守措施,正是负责任开发应有的样子。AI代理的联网能力何时、以何种方式重新进入评测流程,值得持续关注。

💬 评论