Lightning Whisper MLX是一款针对苹果硅芯片优化的Whisper语音识别算法的高速实现版本。它采用批量解码技术以提高吞吐量，运用蒸馏模型以加快解码速度，并引入量化模型以加速内存传输。相较于传统的Whisper CPP，Lig...

英伟达在其GitHub仓库Optimum-Nvidia中发布了TensorRT的最新更新，这一更新使得AI推理速度大幅提高，达到了比基线快28倍的速度。特别是在Llama 2的基准测试中，能够达到每秒处理1200个令牌的惊人速度。这一进步得益...

Total-Decom技术通过从多视角图像中准确分解物体，以最小的用户努力实现3D场景重建，为用户提供了简便的编辑和操控体验。这一技术的出现，标志着3D场景编辑领域的一大进步，使得非专业人士也能轻松进行3D场景的创作...

在移动设备上运行语言模型面临着延迟、带宽和功耗等多方面的挑战。本研究通过采用量化技术、移除键值缓存以及其他优化手段，成功实现了在手机上以每秒30个令牌的速度运行强大的Gemma 2B模型。这一成果比其他框架快约...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

在企业中，数据、评估和计算资源对于高性能的人工智能至关重要。评估（evals）可能是组织改进其AI产品的一个关键因素。通过构建针对商业问题的评估体系，企业能够更有效地衡量AI解决方案的性能，并据此进行优化。这...

谷歌宣布，即将推出的Pixel 8手机将在开发者预览版中集成Gemini Nano技术。这一技术的应用旨在增强手机内置应用的功能，特别是录音器中的'Summarize'摘要功能和Gboard键盘的'Smart Reply'智能回复功能。Gemini Nano...

Coframe公司近日推出了一项创新产品——Coframe Living Images，这是一款基于生成型人工智能技术的图像优化工具。通过使用该工具，网站管理员能够在短短几分钟内对网站图片进行A/B测试和优化，从而显著提高网站的用户...