针对当前人工智能研发竞赛带来的安全风险,一项名为“内部模型透明度”的治理思路正受到关注。其核心机制是:当一家AI实验室将某个模型部署用于内部用途时,必须同时向其他研究机构的研究人员提供该模型的访问或服务。...
Read More华尔街日报报道,一支参与OpenAI漏洞赏金计划的独立安全研究团队,利用Anthropic Claude的网络安全版本Opus 4.8和Opus 5,成功突破OpenAI防线并访问了托管在GitHub上的内部“monorepo”代码库。尽管这属于授权安全测试...
Read More近日,Transluce发布报告,探讨将独立评估者嵌入AI实验室内部,以更直接地调查前沿人工智能的潜在风险。报告指出,随着模型能力快速提升,传统的实验室自我评估难以充分暴露关键问题,而嵌入式评估者可借助特权访问...
Read MoreOpenAI首席执行官Sam Altman向员工表示,公司对放慢前沿人工智能模型的开发持开放态度。此前,OpenAI已就其先进AI系统可能带来的风险提出警告,认为出于安全考虑,模型开发应适时暂停。这一表态发生在部分研究人员言...
Read MoreOpenAI 非营利董事会成员、AI 对齐研究领域的重要人物 Paul Christiano 在社交平台表示,他将加入 OpenAI 非营利董事会,并在安全与保障委员会任职,以支持安全监督工作。他同时发出明确警告:当前 AI 行业并未走在...
Read More近日,OpenAI 发布内部观察,披露其研究流程正被编码智能体(coding agents)深度重塑。研究人员更频繁地调用编码智能体,自动生成代码并执行实验,实验迭代速度显著提升,使研究者能够将更多精力转向更复杂、更高阶...
Read MoreOpenAI研究员Jakub Pachocki近日在《An Alien Mind》一文中对人工智能能力的快速提升表达了审慎担忧。他指出,具备推理能力的模型可能持续高速进化,甚至达到能够参与自身研发的程度。这种自加速趋势一旦形成,将带...
Read MoreAnthropic 正计划将外部安全评估机构 METR 引入内部,对其近期涉及 AI 智能体的安全事件进行独立审查。与此同时,该公司已暂停最高风险级别的强化学习研究,但仍公开分享了一项刻意训练出奖励追求型 Claude 版本的研...
Read More