Sentence Transformers最新升级引入对稀疏嵌入模型训练的支持,这一技术突破特别适用于混合搜索和重排序场景。该博客详细解析了模型的核心组件与训练步骤,并重点介绍了基于SPLADE架构的现成模型。稀疏编码技术通过...
Read MoreMeta旗下FAIR研究团队在arXiv最新论文中提出重大架构革新,通过名为Dynamic Tanh(DyT)的逐元素操作替代传统归一化层,使Transformer模型在保持性能的同时摆脱了对归一化层的依赖。这种S型曲线模拟技术能够自然复现...
Read MoreNVIDIA实验室最新发布的PS3技术,通过选择性编码(selective encoding)实现了高达4K分辨率的视觉预训练,为VILA-HD模型提供了技术基础。这一突破显著提升了计算机视觉领域的高分辨率数据处理能力,解决了传统方法在...
Read MoreFrame Pack是一种创新的视频生成方法,它通过利用图像潜在空间和巧妙的帧打包技术,显著降低了长视频生成的计算负担。该方法不仅实现了令人信服的生成效果,而且安装过程简便易行。Frame Pack的核心在于将视频帧视为...
Read More近日,一篇关于将大语言模型(LLMs)编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计,将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核,显著减少了内核启动...
Read More人工智能公司MiniMax在GitHub开源了其4560亿参数规模的推理模型M1,该模型采用创新的混合专家架构(MoE)并引入'闪电注意力'技术,实现百万token级别的超长上下文处理能力(相当于DeepSeek R1的8倍)。特别值得注意...
Read More近日,一项名为PTSD(Progressive Tempering Sampler with Diffusion)的新型采样技术在预印本平台arXiv上发布,该技术通过序列化温度调节训练扩散模型,显著提升了从未归一化概率密度中采样的效率。传统方法在复杂...
Read MoreTokasaurus是一款针对高吞吐量工作负载优化的大型语言模型(LLM)推理引擎,由斯坦福大学Scaling Intelligence团队研发。该引擎通过创新的架构设计和算法优化,显著提升了LLM在批量处理任务时的计算效率,为需要大规...
Read More