近日，一项名为Light Thinker的技术引起了广泛关注。该技术旨在将冗长的推理轨迹压缩为更小、更紧凑的表示形式，从而节省上下文空间，同时仍能有效引导模型。这一创新不仅提升了模型的效率，还为处理复杂任务时的资...

近日，OmniServe发布了一个全新的统一框架，旨在优化大规模LLM（大语言模型）的部署效率。该框架结合了低比特量化和稀疏注意力机制等创新技术，显著提升了模型推理速度并降低了成本。通过低比特量化，OmniServe能够...

近日，DeepSeek公司推出了一项名为Native Sparse Attention的创新算法技术，旨在加速传统的二次Attention计算。该技术通过硬件对齐和原生可训练的稀疏Attention机制，实现了高达11倍的计算速度提升，同时保持了整体...

近日，研究人员通过优化技术展示了大型语言模型（LLMs）在减少非embedding参数的同时仍能保持学习能力。研究表明，通过用优化的子网络替换密集层，LLMs可以在减少高达77%的参数的情况下，依然保持与原有模型相当的性...

近期，DeepScaleR的研究成果引起了广泛关注。该研究通过扩展强化学习（RL）训练，成功开发出一款1.5B参数的模型，其性能超越了O1-Preview。研究团队采用了一种独特的方法，即在RL训练过程中逐步增加上下文长度，从而...

近日，OpenAI发布了其最新研发的O3-Mini模型，这一小型化AI模型在性能和效率上取得了显著突破。O3-Mini采用了先进的embedding技术和LoRA优化策略，使其在保持高精度的同时，大幅降低了计算资源的消耗。该模型特别适...

近日，DeepSeek公司发布了其最新的R1-Zero和R1技术架构，引发了业界的广泛关注。R1-Zero作为一款轻量级模型，专注于低资源环境下的高效运行，特别适用于边缘计算和物联网设备。其采用了先进的LoRA技术，能够在保持高...

本文综述了基础模型的参数高效微调技术，深入探讨了在保持多样化任务性能的同时，如何最小化计算成本的方法。随着基础模型（如LLM）的广泛应用，参数高效微调技术（如LoRA、RAG等）成为研究热点。这些技术通过减少需...