本文探讨了模型拥有热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU上,您可以节省内存而不会牺牲太多吞吐量。同时,该文提供了一个可用的代码库。
Read MoreCerebras是一家人工智能训练芯片制造商,近日发布了一个在其系统上训练大型模型的框架,名为gigaGPT。该框架非常简单易用,不需要将大型模型分割成多个GPU和节点进行训练。
Read More近日,HuggingFace 发布了最新版本的 Transformers 4.36.0。此次更新新增了 Mistral 模型和 AMD 支持等多项功能。同时,safetensors 已成为默认设置。HuggingFace 的这次更新将为 AI 模型的开发和训练提供更加便利的...
Read MoreStable Fast是HuggingFace扩散模型的推理引擎,通过它可以进行快速的Diffusers推理。该推理引擎在多种硬件上实现了出色的性能,包括CPU和GPU。此外,Stable Fast还兼容多个框架,包括PyTorch和TensorFlow。在GitHub...
Read More近日,苹果公司发布了一款针对 Mac 设备加速的 Array 框架,利用统一内存技术,使其变得简单干净,并提供了一些 GPU 支持。这个新框架可以帮助开发者更高效地编写代码,从而提升用户体验。据悉,这个新框架可以在 Gi...
Read More微软宣布了Windows AI Studio,这是一个供开发人员访问和配置AI模型的中心,提供了来自Azure AI Studio和Hugging Face的工具以及模型配置界面和性能测试模板等功能。英伟达更新了其TensorRT-LLM,支持GeForce RTX 30...
Read More贝恩资本风投公司成立了一个名为BCV Lab的新人工智能孵化器和技术社区,提供办公空间、活动、研究计划、GPU租赁、招聘支持以及资金支持。BCV Lab将为创业公司提供必要的资源和支持,以帮助他们成长和发展。
Read More使用语言模型构建工具是一种新兴的工程学科,涵盖了高性能计算、GPU编排和监控。在这个领域,LLMs(语言模型)是至关重要的组件,它们可以帮助工程师们开发出更智能、更高效的工具。本文将介绍如何在生产环境中使用L...
Read More