Attorch项目旨在用Python和Triton重新编写PyTorch的nn模块部分代码，创建一个易于修改且性能卓越的神经网络实验库。这一尝试标志着以往成本过高的编写工作现在变得可行。Attorch的设计允许研究人员和开发者轻松进行...

英特尔公司近日宣布推出新一代Gaudi 3 AI处理器，该处理器在性能上实现了重大突破。据官方数据显示，Gaudi 3在训练性能上提升高达1.7倍，推理性能提升50%，同时在效率上也比英伟达的H100处理器高出40%，而成本却更低...

近日，开发者社区GitHub上出现了一项名为SqueezeAttention的新技术，该技术针对大型语言模型（LLMs）的键值缓存进行了优化。通过SqueezeAttention，内存使用量能够显著降低30%至70%，同时吞吐量也得到了翻倍提升。这...

近期在GitHub上发布的ReFT（Representation Fine-Tuning）项目，为微调语言模型带来了一种新的参数高效方法。与传统的PeFT相比，ReFT在保持强大性能的同时，大大降低了成本。该方法通过精细化调整模型参数，使得在进...

SableDb是一款新兴的键值对NoSQL数据库，其设计目标是相较于Redis进一步降低内存成本并提升数据存储容量。该数据库采用了高效的数据结构和算法，优化了内存使用效率，使得在处理大量数据时仍能保持较低的资源消耗。S...

科研团队近期推出了一项名为DiJiang的创新技术，旨在将现有的Transformer模型转化为更精简、更快速的版本，同时避免了重新训练模型所需的巨大成本。DiJiang技术通过优化模型结构，大幅减少了计算资源的消耗，使得Tra...

YC支持的25家创业公司通过培训或微调自有的基础模型，打破了构建AI模型需要巨额资源的传统观念。这些公司在短时间内取得了显著成就，如创造专业音乐和设计新型蛋白质。这些公司利用YC的资金和技术支持，跨越不同领域...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...