U
行业动态

字节跳动Seed单独设立大模型安全与对齐部门

字节跳动Seed发内部邮件宣布成立Model-Alignment&Preparedness部门,由严林负责,向Seed负责人吴永辉汇报,原Responsible AI团队及部分Chat团队成员转入。该部门聚焦智能体安全与CBRN前沿风险防范,成为国内首家单设安全与对齐部门的前沿AI实验室。

👁 54阅读 💬 0评论
字节跳动Seed单独设立大模型安全与对齐部门
📝 全文约 1646 字 · 预计阅读 4 分钟

字节跳动Seed团队近日发出内部邮件,宣布正式成立"Seed Model-Alignment&Preparedness"(模型对齐与风险防备)部门,由严林出任负责人,直接向Seed负责人吴永辉汇报。原Responsible AI团队及部分Chat团队成员将整体转入新部门。这也是国内首家单独成立安全与对齐部门的前沿AI实验室。

组织架构调整:安全能力升级为独立部门

根据内部邮件披露的信息,新部门由严林负责,汇报线直接通至Seed负责人吴永辉,显示出安全与对齐工作在Seed体系内的优先级被显著提升。原Responsible AI团队以及部分Chat团队成员将转入这一新部门,意味着原本分散在不同团队中的安全相关职能将得到整合与集中。

此前,国内大模型研究团队的安全与对齐工作大多被纳入公司整体的安全合规体系中,作为合规流程的一部分存在。字节跳动Seed此次将安全与对齐从合规框架中独立出来,设立专门部门,被业内视为对大模型安全问题的认知升级:安全不再是辅助性、合规性的配套工作,而是与模型能力建设并列的核心研发方向。

对齐为何重要:让模型行为与人类意图一致

据悉,该部门的设立旨在加强安全与对齐方向的投入。对齐(Alignment)的核心,是让模型的行为与人类意图和安全约束保持一致,避免模型在执行任务时偏离设计目标或被恶意利用。

随着模型能力的快速提升,对齐的难度和重要性也在同步上升。能力越强的模型,一旦行为偏离带来的潜在危害就越大。对齐工作的目标,是在模型能力增长的同时,确保其始终处于人类可控的范围内,这也是全球领先AI实验室共同面临的挑战。

聚焦两大风险:智能体安全与CBRN前沿风险

新部门明确将提升Agent Model(智能体模型)的安全能力作为重点方向之一。当前,大模型安全风险正日益凸显,智能体逃逸引发的网络攻击等事件频繁发生。智能体具备自主规划和执行任务的能力,一旦出现目标偏离或被诱导越权,其影响范围和破坏力远超传统对话模型。

另一重点是防范CBRN(化学、生物、放射、核)等前沿能力风险。随着前沿模型在专业知识领域的表现不断增强,如何防止模型输出可能被滥用于危险领域的敏感信息,已成为国际前沿AI实验室普遍关注的安全红线。字节跳动Seed将此类风险防范写入部门使命,表明其对前沿模型潜在风险的判断趋于审慎。

安全与对齐:从风险防范到规模化应用的核心能力

Seed团队内部判断,随着模型能力越来越强、应用场景越来越复杂,安全与对齐已不只是风险防范,而是决定模型能否规模化应用的核心能力。这一判断意味着,在Seed的战略框架中,安全能力与模型能力被视为同等重要的一体两面:没有可靠的安全与对齐保障,前沿模型难以在真实业务场景中大规模落地。

这一观点也与国际趋势相呼应。近年来,海外主要AI实验室陆续设立专门的对齐与风险防备(Preparedness)团队,将模型能力评估与风险分级纳入研发流程。字节跳动Seed此次的组织设计,名称中同样包含"Preparedness"一词,体现出与国际前沿实践的对齐。

后续投入方向与外部合作计划

据了解,Seed安全与对齐部门将围绕五大方向持续投入:模型规范制定、安全评估体系建设、对齐训练、防护系统搭建和风险监控。这五个方向覆盖了从规则设计、能力评估到训练落地、运行防护和持续监测的完整链条,构成一个闭环的安全与对齐体系。

同时,该部门计划加强与外部研究机构和第三方评测的公开合作。开放协作的思路,一方面有助于借鉴学术界的最新研究成果,另一方面也能借助独立第三方评测提升安全工作的公信力。其最终目标是使前沿模型在安全与授权约束内有效完成任务,并随着模型能力和自主性的增强,持续降低滥用及行为偏离风险,建立面对未知风险的全面安全体系。

随着智能体应用的加速普及和大模型能力的持续跃升,安全与对齐正在成为前沿AI竞争的新维度。字节跳动Seed率先在国内将安全与对齐提升为独立部门,或将推动更多国内AI实验室跟进这一组织范式,安全能力有望成为衡量前沿实验室综合实力的重要标尺。

💬 评论