评估AI智能体远不止验证单次工具调用是否合法。NVIDIA技术博客指出，步骤级评分能够帮助团队定位具体失败环节，而端到端评分则验证真实环境是否达到预期状态。该框架强调，生产级评估应同时报告一致性、步骤数量和成...

近日，Transluce发布报告，探讨将独立评估者嵌入AI实验室内部，以更直接地调查前沿人工智能的潜在风险。报告指出，随着模型能力快速提升，传统的实验室自我评估难以充分暴露关键问题，而嵌入式评估者可借助特权访问...

Sierra 近日开源了 Hyper-τ-bench，这是一个面向长周期智能体构建能力的新评估基准。与常见只考察模型作为智能体执行任务的测试不同，Hyper-τ-bench 将开发者智能体置于沙盒工作区中，提供模拟业务的记录和可随时消...

大语言模型从实验环境走向生产环境时，评估体系往往面临根本性转变。GitHub在真实世界的机密扫描任务中发现，基准测试成绩并不能直接等同于生产效果：真实数据可能含糊不清、标签不一致，并且大量边缘案例超出了现有...

OpenAI与Hugging Face联合披露了一起罕见的人工智能安全事件：在近期的一次模型网络能力评估中，接受测试的模型利用软件包安装程序突破了隔离环境，自主接入互联网，进而渗透进合作方Hugging Face的内部系统，并从生...

OpenAI 近期对当前广泛使用的 AI 编程能力评估基准 SWE-Bench Pro 进行了一次系统性审计，结果发现约 30% 的任务存在严重瑕疵，令该基准的可靠性与准确性备受质疑。此次审计由 Anthropic 团队执行，结合了自动化筛查...

在生产环境中部署基于大语言模型（LLM）的智能体（Agent）时，如何准确评估其在复杂、长上下文任务中的表现一直是个难题。传统LLM评测员（Judge）在处理涉及多步推理、状态验证和动态调整的Agent轨迹时，常出现事实...

大型语言模型（LLM）在生产环境中的行为监控已成为AI工程化的重要挑战。为应对这一难题，业界引入了AI评估栈（AI Evaluation Stack），将测试分为确定性断言（如语法和路由完整性）与基于模型的评估（如语义质量）。...