近日，AI2研究团队在Hugging Face博客上发布了DiScoFormer模型，这是一种基于Transformer架构的创新方法，能够在单次前向传播中同时完成数据的密度估计和得分函数估计，而无需针对新分布进行重新训练。与经典的核密...

大型语言模型（LLM）的核心架构是Transformer，它通过引入自注意力机制，从根本上解决了传统循环神经网络（RNN）在处理长序列数据时面临的顺序计算瓶颈与长距离信息衰减问题。本文深入剖析了Transformer的各个关键组...

在处理长文本或长时间序列时，标准Transformer模型的内存占用和计算复杂度会随序列长度平方级增长，并面临信息稀释问题。GitHub上最新开源的“Wall Attention”项目提出了一种极具创新性的注意力变体机制：通过引入带...

Anthropic发布了其名为“Project Glasswing”的最新研究进展，旨在提升人工智能系统的透明度和可解释性。该项目名称引用了一种蝴蝶的透明翅膀，象征着让AI模型内部运作变得更加清晰可见。此次更新是项目初期的阶段性汇...

艾伦人工智能研究所（Ai2）最新发布的OlmoEarth v1.1模型家族，在遥感智能分析领域实现了显著的成本突破。该系列模型通过创新的序列长度优化技术，将处理遥感数据的计算成本最高降低至原来的三分之一（即3倍效率提升...

上下文窗口的大小一直是大型语言模型在处理长文本任务时的关键瓶颈。近日，初创公司Subquadratic宣布推出一款全新的AI模型，其上下文窗口达到了惊人的1200万token（约合1200万个单词或代码标记），远超过当前主流模...

近日，GitHub上开源了一个名为MoDA的项目，它实现了一种创新的注意力机制——混合深度注意力。该机制的核心突破在于，允许注意力头同时访问当前层以及更早层的键值对。这一设计旨在解决随着模型深度增加，信息在传递过...

在深度学习领域，残差连接（Residual Connections）是构建深层神经网络的关键技术，它通过将浅层特征直接传递到深层，有效缓解了梯度消失问题。然而，传统的残差连接通常采用固定、均匀的累加方式，这可能限制了模型...