现代变压器模型在处理数据时，每个数据单元都使用相同的预测计算量，但事实上，不同数据单元的预测难度差异很大。DeepMind的最新研究突破了这一限制，允许模型在生成过程中根据数据单元的难易程度提前退出，从而减少...

SableDb是一款新兴的键值对NoSQL数据库，其设计目标是相较于Redis进一步降低内存成本并提升数据存储容量。该数据库采用了高效的数据结构和算法，优化了内存使用效率，使得在处理大量数据时仍能保持较低的资源消耗。S...

AI基础设施是部署和扩展AI技术的基础，它由GPU、专业软件和云服务构成。GPU作为AI计算的核心，提供了强大的并行处理能力，使得机器学习和深度学习算法得以高效运行。专业软件则为AI开发提供了必要的工具和库，简化了...

科研团队近期推出了一项名为DiJiang的创新技术，旨在将现有的Transformer模型转化为更精简、更快速的版本，同时避免了重新训练模型所需的巨大成本。DiJiang技术通过优化模型结构，大幅减少了计算资源的消耗，使得Tra...

YC支持的25家创业公司通过培训或微调自有的基础模型，打破了构建AI模型需要巨额资源的传统观念。这些公司在短时间内取得了显著成就，如创造专业音乐和设计新型蛋白质。这些公司利用YC的资金和技术支持，跨越不同领域...

近日，一个庞大的工业文档OCR数据集正式发布，该数据集包含了2600万页的高质量PDF文档，总计约180亿个标记。这些文档涵盖了工业领域的广泛内容，包括机械设计、电气工程、自动化控制等多个方面。该数据集的发布，将...

在3D设计领域，一个重大的突破已经到来——Bezi AI技术使得设计师能够以思维的速度进行创意构思，并拥有无限的资源库。这种创新技术将极大地提高设计效率，让设计师能够在极短的时间内生成无限多的设计方案，从而推动...

在移动设备上运行语言模型面临着延迟、带宽和功耗等多方面的挑战。本研究通过采用量化技术、移除键值缓存以及其他优化手段，成功实现了在手机上以每秒30个令牌的速度运行强大的Gemma 2B模型。这一成果比其他框架快约...