一项针对2019年至2025年预训练进展的拆解分析显示，计算效率提升的主要来源正从模型架构转向数据侧。研究发现，数据改进带来的计算效率增益约为模型改进的3.24倍，且两者基本相互独立、不存在显著交互效应。过去几年...

vLLM团队发布了一份关于在AMD GPU上使用推测解码（Speculative Decoding）的实用指南。推测解码允许vLLM在单次目标模型传递中验证多个草稿token，同时保持目标模型的输出行为不变，有望显著提升推理效率。该指南基于...

Google在GitHub开源了Accelerator Agents工具包，面向Google Cloud TPU开发场景，利用Gemini模型帮助开发者将PyTorch工作负载迁移到JAX，并优化自定义内核。该工具包包含MaxCode和MaxKernel两个核心模块：MaxCode负...

谷歌TPUv7 Ironwood的第三方推理结果首次在InferenceX官方预览中亮相。在与Nvidia B200/B300进行同口径FP8对比时，Ironwood每美元性能最高可领先50%，意味着单位成本下能够提供明显更强的推理吞吐。值得关注的是，Ir...

Spotify 工程团队披露，其内部工具 Portal 通过特定模式与 Claude Code 插件，将大文件读取和可预测的代码生成任务从 Claude Code 转移至成本更低的 Gemini 2.5 Flash worker。该机制利用 hooks 对超过大小阈值的文...

TypeScript模式声明与校验库Zod发布4.5版本，针对长期存在的内存占用问题进行了关键优化。此前，Zod会为每个schema实例预先绑定并附加数十个闭包方法，导致即使是一个简单的z.string()也会在堆中保留约7.5KB内存。4....

LLM-as-a-Verifier 是一个通用验证框架，其核心思路是让大语言模型直接充当“验证器”，在不引入额外训练的情况下，为任意智能体（agent）提供细粒度、可操作的反馈。该框架在编码、机器人和医学智能体等基准测试中均...

Three-LLM 项目展示了一种全新的浏览器端大模型推理路径：它将 GPT-2、SmolLM2、Qwen 和 Phi 等模型的推理图，直接翻译为 Three.js TSL 计算着色器，并借助 WebGPU 在本地完成计算。与常见方案不同，它不需要服务端...