据报道,字节跳动Seed近日通过内部邮件宣布,将成立“Seed Model-Alignment & Preparedness”部门,专门负责模型安全与对齐工作。新部门由严林负责,向Seed负责人吴永辉汇报,原Responsible AI团队及部分Chat团队成员将转入。

新部门的重点之一是提升智能体模型的安全能力,让模型在执行任务时遵循人类意图和授权范围,降低自主操作过程中出现行为偏离或被滥用的风险。其研究范围还包括先进模型涉及的化学、生物、放射和核等前沿能力风险。

具体工作将覆盖模型行为规范、安全评估、对齐训练、防护系统和风险监控。Seed也计划加强与外部研究机构及第三方评测团队的公开合作。

随着模型能够处理更复杂的任务、拥有更强的自主执行能力,Seed将安全与对齐工作设为独立部门,集中推进相关技术研发和评估。