Cloudflare 近日公开了 Cache Transcoding 原型系统，该系统在缓存写入前对符合条件的 HTML、JSON、CSS 和 JavaScript 资源使用 Zstandard 进行压缩，并在不同缓存层级之间以压缩形态存储和传输。初步测试显示，这些...

近日，GitHub上开源了一个名为TriAttention的项目，其核心是一种创新的KV（键值）缓存压缩技术。该技术旨在解决大语言模型在处理长上下文任务时，因KV缓存占用内存巨大而难以在消费级或内存受限的GPU上高效部署的行...