vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于...

LLM-as-a-Verifier 是一个通用验证框架，其核心思路是让大语言模型直接充当“验证器”，在不引入额外训练的情况下，为任意智能体（agent）提供细粒度、可操作的反馈。该框架在编码、机器人和医学智能体等基准测试中均...

WebLLM 是 MLC AI 推出的高性能浏览器端大语言模型推理引擎，它借助 WebGPU 将开源模型的加载与推理全过程放在用户浏览器内完成，不需要后端服务器。该项目提供兼容 OpenAI 的 API，可支持流式输出、JSON 模式等聊天...

Three-LLM 项目展示了一种全新的浏览器端大模型推理路径：它将 GPT-2、SmolLM2、Qwen 和 Phi 等模型的推理图，直接翻译为 Three.js TSL 计算着色器，并借助 WebGPU 在本地完成计算。与常见方案不同，它不需要服务端...

在软件工程中引入大语言模型（LLM）已在绿地项目中展现出显著的生产力提升，但在遗留系统场景下，模型常受困于长期累积的技术债务与术语不一致问题。文章指出，单纯依赖模型能力难以应对复杂的历史架构，需要引入清...

近日，一项研究展示了由开放权重大语言模型驱动的自适应计算机蠕虫“Adaptive Agentic Worms”。这类蠕虫不再依赖固定脚本，而是将LLM作为智能体，根据目标环境动态生成针对特定系统的攻击指令，并利用被攻陷的机器继...

大语言模型从实验环境走向生产环境时，评估体系往往面临根本性转变。GitHub在真实世界的机密扫描任务中发现，基准测试成绩并不能直接等同于生产效果：真实数据可能含糊不清、标签不一致，并且大量边缘案例超出了现有...

承载前沿大语言模型（LLM）的宿主机正成为高价值攻击目标。这类机器不仅拥有运行先进模型所需的GPU算力，还能直接访问模型权重，并在数据中心内具备比普通互联网主机更高的特权。最新研究指出，LLM可以生成特定token...