LayerMerge是一种新的方法，通过联合裁剪卷积层和激活函数来提高神经网络的效率。在神经网络中，卷积层和激活函数是最基本的两个组成部分，它们的有效组合和优化对于提升网络性能和效率至关重要。LayerMerge通过在网...

法律初创公司Harvey宣布与Mistral建立合作关系。尽管公告细节不多，但很可能双方将共同开发一个定制的法律模型。这一合作有望在法律技术领域带来新的突破，进一步推动法律行业的技术进步和效率提升。Harvey作为一家...

QUICK是一套新的优化CUDA内核，通过解决内存问题，提升了大型语言模型的效率。这导致了NVIDIA GPU上的显著速度提升，使AI模型运行更快，效率更高。QUICK的出现，无疑为AI领域带来了新的可能性，通过优化内存处理方式...

浮点精度的降低能够提高训练速度，但可能会导致不稳定的现象。最新的研究论文展示，通过新的装包格式FP6-LLM，可以在不引发常见不稳定性或由于尝试不当引发的训练速度下降的情况下，实现全张量核心的利用。这一突破...

科研团队近期推出了一项名为DiJiang的创新技术，旨在将现有的Transformer模型转化为更精简、更快速的版本，同时避免了重新训练模型所需的巨大成本。DiJiang技术通过优化模型结构，大幅减少了计算资源的消耗，使得Tra...

在RAG（检索-生成）管道中，对嵌入向量进行搜索是至关重要的一环。通过将fp32数字替换为单个0或1，并使用KNN聚类器和重排序器，可以在缩小内存需求30倍的同时，保持性能不受影响。这一技术突破为处理大规模数据集提...

Databricks Mosaic团队在语言模型训练领域不断创新。在最近的一篇文章中，他们讨论了用于fp8训练的训练技术栈，以及通过降低精度所带来的一些优势。fp8作为一种新兴的计算精度格式，能够在保持足够精度的同时，大幅...

韩国科学技术院(KAIST)的研究人员成功研发了C-Transformer，这是一款面向大型语言模型的超低功耗AI芯片，其能效表现显著优于Nvidia的A100 GPU。C-Transformer的问世，为AI领域的能源效率提升设立了新的标杆，有望推...