漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-04-04 talkingdev

Worldcoin基金会开源Orb核心软件组件

Humanity.tools(Tools for Humanity)为Worldcoin Orb开发了一个安全且强大的计算环境,该环境采用NVIDIA Jetson进行处理,并使用Arm Cortex M4微控制器执行实时功能。Orb运行Rust应用程序,并使用NVIDIA的TensorRT...

Read More
2024-04-02 talkingdev

英伟达TensorRT更新,性能提升达28倍,Llama 2基准测试每秒处理1200个令牌

英伟达在其GitHub仓库Optimum-Nvidia中发布了TensorRT的最新更新,这一更新使得AI推理速度大幅提高,达到了比基线快28倍的速度。特别是在Llama 2的基准测试中,能够达到每秒处理1200个令牌的惊人速度。这一进步得益...

Read More
2024-03-26 talkingdev

Anyscale与NVIDIA合作 推动低延迟生成式AI模型在生产中的应用

Anyscale与NVIDIA最近宣布了一项新的合作伙伴关系,旨在帮助客户将生成式AI模型扩展到生产环境中。通过这次合作,客户可以将Ray与Anyscale的托管运行环境相结合,以提高资源管理、可观测性和自动扩缩容的能力。这项...

Read More
2023-11-23 talkingdev

微软和英伟达简化了在Windows上运行AI模型的过程

微软宣布了Windows AI Studio,这是一个供开发人员访问和配置AI模型的中心,提供了来自Azure AI Studio和Hugging Face的工具以及模型配置界面和性能测试模板等功能。英伟达更新了其TensorRT-LLM,支持GeForce RTX 30...

Read More