OpenAI 正式发布了其新一代自动化安全测试系统 GPT-Red。该系统不再依赖传统人工红队测试，而是通过大规模的自我博弈机制，让模型在对抗中持续进化。具体而言，GPT-Red 被训练成能够迭代式生成对抗性提示，系统性地...

AI Agent在实际部署中常常面临单元测试无法捕获的失败模式，例如工具调用错误、提示注入攻击以及缺失防护栏等问题。Flint AI新推出的CLI工具解决了这一痛点，它提供一套轻量级的本地命令行工具，支持开发者通过一个...

人工智能研究公司Perplexity近日开源了其最新研究成果“BrowseSafe”，这是一个专门为保护AI浏览器智能体（AI Browser Agents）而设计的实时内容检测模型与基准测试套件。在开放世界的网页环境中，AI智能体在执行网页...

Meta公司近日在官方博客提出名为‘Agent双能力法则’的AI安全框架，旨在解决AI智能体面临的提示注入攻击隐患。该规则要求单个AI代理在会话周期内最多只能同时具备三项核心能力中的两项：处理非可信用户输入、访问私有...

最新研究揭示，基于大语言模型（LLM）的智能体AI系统存在根本性安全缺陷——模型无法有效区分指令与数据，导致其极易遭受提示注入攻击。攻击者可通过在Jira工单、网页内容等非受信源中嵌入隐藏指令，诱使具有敏感数据...

提示注入攻击正成为大型语言模型面临的新型安全威胁，这种攻击通过操纵自然语言处理能力来利用系统漏洞，其原理类似于传统的SQL注入攻击。研究人员最新提出了六种核心设计模式来强化AI智能体的安全防护：行动选择器...

网络安全研究团队近日公开了名为AgentHopper的概念验证型AI病毒，这是一种基于条件提示注入（Conditional Prompt Injection）技术的跨智能体攻击载荷。该病毒通过针对性操纵AI代理的行为逻辑，实现在不同AI系统间的...

安全研究机构Trail of Bits近日宣布推出mcp-context-protector测试版，这是专为采用模型上下文协议(MCP)的大型语言模型(LLM)应用程序设计的安全防护层。该解决方案能有效防御此前披露的各类边界突破攻击，包括通过工...