OpenAI近日将其内部研发的高性能计算核心——FP4（4-bit浮点）与MoE（混合专家）系统的关键算子通过GitHub PR开源至Triton语言项目。这一举动标志着AI基础设施领域的重要进展：FP4作为新兴的低精度计算格式可显著提升...

近日，FlexPrefill技术通过动态调整稀疏注意力模式和计算预算，显著提升了大型语言模型（LLM）的推理效率。该技术通过查询感知模式确定和累积注意力索引选择，优化了长序列处理的速度和准确性。FlexPrefill的核心在...

近日，一项名为Model-Guidance（MG）的技术在扩散模型训练领域取得了突破性进展。该技术通过引入后验概率优化目标，显著提升了扩散模型的训练速度和推理效率。实验结果显示，采用MG技术的扩散模型在ImageNet 256基准...

近日，Jakiro团队通过引入Mixture of Experts（MoE）技术，成功优化了Speculative Decoding的性能。该方法通过生成多样化的预测结果，减少了候选预测之间的相关性，从而显著提升了推理速度。Speculative Decoding作...

近日，QLASS推出了一种创新的Q引导逐步搜索方法，旨在提升语言agent的决策能力。该方法通过提供中间奖励，显著提高了推理效率，并减少了对标注数据的依赖。这一技术突破不仅优化了语言agent的搜索过程，还为复杂任务...

在最新的技术观察中，我们总结了三个关键点，揭示了AI与LLM（大型语言模型）领域的未来发展趋势。首先，LLM的embedding技术正在迅速进步，使得模型能够更好地理解和生成自然语言。其次，agent技术的应用范围不断扩大...

随着人工智能技术的快速发展，推理型LLMs（Large Language Models）在自然语言处理领域展现出了巨大的潜力。推理型LLMs不仅能够生成高质量的文本，还具备强大的逻辑推理能力，能够在复杂任务中提供精准的解决方案。...

DeepSeek项目致力于通过大规模合成数据提升LLM在定理证明领域的能力。传统的定理证明通常依赖于有限的标注数据，这限制了模型的学习和推理能力。DeepSeek通过生成多样化的合成数据集，训练模型识别和解决复杂的数学...