MaxText是一个高性能、高可扩展性的开源低级机器学习模型(LLM),完全使用Python/Jax编写,目标是在Google Cloud的TPUs和GPUs上进行训练和推理。这个项目在GitHub上公开,充分展示了其强大的功能和优秀的性能。MaxTex...
Read More微软近日发布了一组用于训练BitNet风格模型的GPU加速内核。这些模型在准确度上没有明显下降的情况下,大大降低了内存消耗。BitNet风格模型是一种新型的深度学习模型,它的特点是使用1.58位的数据表示方法,比传统的3...
Read More近日,GitHub上发布了一个名为tiny-gpu的项目,这是一个基于Verilog实现的最小化GPU。该项目的主要优化方向是帮助用户从头开始学习GPU的工作原理。tiny-gpu尝试通过最简单的方式,将GPU的操作和结构进行模拟和实现,...
Read More由于WebGPU标准的不断完善,现在可以在浏览器中进行高性能的GPU计算。最近,一组研究人员开发了一种基于WebGPU的算法,称为 'marching cubes',用于在浏览器中进行实时体积渲染。这项技术可以将三维图形数据转换为表...
Read MoreAMD 宣布将开源其 Radeon GPU 的固件,这一决定意味着技术社区将能够快速改进人工智能框架,同时也可能提高 AMD 产品的市场接受度。开源固件将使得独立开发者和研究人员能够更深入地了解和修改 GPU 底层功能,从而推...
Read MoreLambda公司近日宣布,已获得5亿美元的特别债务融资,用于扩大其GPU云服务。此前,Lambda在年初已经完成了2.3亿美元的C轮融资。该扩张计划预计将进一步增强Lambda在GPU云计算市场的影响力,为客户提供更加强大的计算...
Read MoreAI基础设施是部署和扩展AI技术的基础,它由GPU、专业软件和云服务构成。GPU作为AI计算的核心,提供了强大的并行处理能力,使得机器学习和深度学习算法得以高效运行。专业软件则为AI开发提供了必要的工具和库,简化了...
Read More在移动设备上运行语言模型面临着延迟、带宽和功耗等多方面的挑战。本研究通过采用量化技术、移除键值缓存以及其他优化手段,成功实现了在手机上以每秒30个令牌的速度运行强大的Gemma 2B模型。这一成果比其他框架快约...
Read More