首份关于大语言模型(LLM)服务经济学的综合模型揭示,随着AI公司竞相部署高token消耗的推理模型和智能体,当前扩展推理能力的方法比预期更快遭遇瓶颈。研究发现,网络延迟而非带宽成为主要瓶颈,阻碍了公司通过简单...
Read MorePyTorch官方博客最新发布的ParetoQ训练算法在低比特量化领域取得重大突破。该技术首次实现了二元(1-bit)、三元(1.58-bit)和2至4位量化的统一框架,并在所有量化级别上均达到当前最优性能。这一突破性进展尤其适...
Read More来自arXiv的最新研究论文提出了一种革命性的矩阵运算算法RXTX,该算法在计算矩阵与其转置的乘积XX^t时,比当前最先进技术减少了5%的乘法和加法运算量。值得注意的是,RXTX算法即使在小型矩阵X的情况下也能实现显著的...
Read More苏黎世联邦理工学院(ETH)研究人员在GitHub开源了名为'Alias free super resolution'的创新项目,该项目通过算法突破解决了超分辨率技术中长期存在的重建伪影问题。传统超分辨率方法在放大图像时往往会产生锯齿、振...
Read More