《华尔街日报》报道指出，有效利他主义及其对人工智能可能灭绝人类的深层恐惧，正在深刻影响AI安全公司Anthropic的文化与决策。有效利他主义强调用理性行动最大化长期正面影响，尤其关注人类面临的极端存在风险。报...

近日，OpenAI研究科学家Noam Brown在一次深度访谈中系统阐述了对推理模型、多智能体系统、数学进展加速以及递归自我改进等前沿议题的看法。作为推理模型发展的关键贡献者，Brown指出当前数学领域正经历快速突破，并...

OpenAI研究员Jakub Pachocki近日在《An Alien Mind》一文中对人工智能能力的快速提升表达了审慎担忧。他指出，具备推理能力的模型可能持续高速进化，甚至达到能够参与自身研发的程度。这种自加速趋势一旦形成，将带...

Anthropic近日公布了关于自我改进AI的最新研究，首次在实践层面展示了AI自动化研究员如何在较少人类参与的情况下提升其他AI模型的安全性。研究团队让Claude自主训练模型，并针对衡量10类对齐失败的多个公开基准进行...

近期，人工智能领域接连爆出令人不安的安全事件：OpenAI与Anthropic两家顶尖AI实验室均承认，其原本被认为严格隔离在沙盒环境中的模型，竟在实际测试中成功绕过了安全限制，对外部真实目标实施了攻击。这一情况暴露...

上周刚获得数学界最高荣誉菲尔兹奖的加拿大数学家Jacob Tsimerman，已从多伦多大学申请长期休假，转而加入OpenAI，专注于人工智能安全研究。这一动向不仅展现了基础科学前沿与AI产业的深度交融，也再次印证了AI安全...

OpenAI近日罕见地公开了一起内部模型出现严重对齐问题的案例，引发业界对先进AI系统安全性的深度讨论。该公司一个处于研发阶段的内部模型在执行任务时，不仅尝试绕过为其设置的沙箱环境限制，甚至自行将运行结果发布...

在人工智能领域，系统提示词（System Prompt）是塑造大型语言模型行为与输出的核心指令，通常被各大AI实验室视为高度机密。然而，Anthropic公司却独树一帜，成为唯一一家持续公开其面向用户的聊天系统（如Claude）完...