Sentence Transformers最新升级引入对稀疏嵌入模型训练的支持，这一技术突破特别适用于混合搜索和重排序场景。该博客详细解析了模型的核心组件与训练步骤，并重点介绍了基于SPLADE架构的现成模型。稀疏编码技术通过...

Meta旗下FAIR研究团队在arXiv最新论文中提出重大架构革新，通过名为Dynamic Tanh（DyT）的逐元素操作替代传统归一化层，使Transformer模型在保持性能的同时摆脱了对归一化层的依赖。这种S型曲线模拟技术能够自然复现...

NVIDIA实验室最新发布的PS3技术，通过选择性编码（selective encoding）实现了高达4K分辨率的视觉预训练，为VILA-HD模型提供了技术基础。这一突破显著提升了计算机视觉领域的高分辨率数据处理能力，解决了传统方法在...

Frame Pack是一种创新的视频生成方法，它通过利用图像潜在空间和巧妙的帧打包技术，显著降低了长视频生成的计算负担。该方法不仅实现了令人信服的生成效果，而且安装过程简便易行。Frame Pack的核心在于将视频帧视为...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...

人工智能公司MiniMax在GitHub开源了其4560亿参数规模的推理模型M1，该模型采用创新的混合专家架构（MoE）并引入'闪电注意力'技术，实现百万token级别的超长上下文处理能力（相当于DeepSeek R1的8倍）。特别值得注意...

近日，一项名为PTSD（Progressive Tempering Sampler with Diffusion）的新型采样技术在预印本平台arXiv上发布，该技术通过序列化温度调节训练扩散模型，显著提升了从未归一化概率密度中采样的效率。传统方法在复杂...

Tokasaurus是一款针对高吞吐量工作负载优化的大型语言模型（LLM）推理引擎，由斯坦福大学Scaling Intelligence团队研发。该引擎通过创新的架构设计和算法优化，显著提升了LLM在批量处理任务时的计算效率，为需要大规...