QoQ,一种新型量化算法,通过使用4位权重、8位激活和4位KV缓存,加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术,它能够减少模型的存储需求和计算复杂性。在这种情况下,QoQ算法采用了较低精度的数...
Read More科研人员已经研发出一种名为RaffeSDG的新算法,该算法能够在分析来自不同来源的数据时提高医疗影像模型的准确度。RaffeSDG通过加强算法的鲁棒性,使得模型在处理多源数据时的性能有了显著提高。这一进步对于医疗影像...
Read More科研人员已经开发出一种名为微梦想家(MicroDreamer)的创新3D生成算法。这种算法通过降低所需函数评估的数量,显著加快了3D生成的过程。微梦想家算法采用先进的计算策略和优化技术,大大提升了3D建模和渲染的效率和...
Read MoreLlama3是一种革命性的新技术,它通过使用Unsloth进行微调,可以在保持相同的计算效率的同时,显著降低VRAM的使用量。最近的研究表明,使用Unsloth微调Llama3可以使上下文长度增长六倍,这比HF的flash attention技术...
Read More字节跳动宁愿选择关闭在美国的TikTok,也不愿意出售。美国市场只为TikTok的全球收入贡献了四分之一,而且字节跳动旗下所有媒体平台的日活用户中,美国市场只占5%。短时间内完成出售的压力可能会对任何可能的销售价格...
Read More苹果已经收购了总部位于巴黎的人工智能初创公司Datakalab,这是苹果为了提供设备内AI工具的一项举措。Datakalab公司专注于算法压缩和嵌入式AI系统。这次收购显示出苹果对于提升其在设备内处理技术的重视,这也将对苹...
Read More由于WebGPU标准的不断完善,现在可以在浏览器中进行高性能的GPU计算。最近,一组研究人员开发了一种基于WebGPU的算法,称为 'marching cubes',用于在浏览器中进行实时体积渲染。这项技术可以将三维图形数据转换为表...
Read More据报道,Linux 2022年版将启用多路径TCP,这将有助于提高网络连接的性能和可靠性。多路径TCP可以同时使用多个网络路径来传输数据,从而增加了网络带宽和容错能力。Linux 2022年版的多路径TCP还将采用一种新的路径选...
Read More