qsv是一款并行化、CPU加速的命令行程序,可用于查询、索引、切片、分析、过滤、增强、转换、排序、验证和连接CSV文件。它具有超过50个简单、快速和可组合的命令,旨在处理大型数据集而无需专业编程技能。此外,它还...
Read MoreOllama就像是llama cpp模型周围的软件包管理器。它具有易用性和质量生活功能,甚至可以在CPU上轻松运行模型。本示例展示了如何运行两个优秀的模型,Dolphin和Samantha,它们是用于对话任务的优秀未过滤模型。
Read MoreStable Fast是HuggingFace扩散模型的推理引擎,通过它可以进行快速的Diffusers推理。该推理引擎在多种硬件上实现了出色的性能,包括CPU和GPU。此外,Stable Fast还兼容多个框架,包括PyTorch和TensorFlow。在GitHub...
Read More近日,llamafile发布了新的GitHub Repo,它是一种新的单文件分发工具,允许任何人使用单个文件分发和运行LLMs。LLMs可以在多个CPU微架构上运行,而不需要用户在每个平台上编译。这种工具可以节省开发者的时间和精力...
Read More微软已研发出自己的定制AI芯片Azure Maia AI以及Azure数据中心的基于ARM架构的CPU Azure Cobalt,旨在减少对Nvidia的依赖,为AI驱动的未来做好准备。这些芯片预计将于2024年推出。据悉,这些芯片将与微软的Azure AI...
Read More微软公司为训练大型语言模型建立了自己的定制人工智能芯片。它还开发了用于云工作负载的基于Arm的CPU。这两款芯片将于2024年推出。它们可能会减少行业对英伟达的依赖。微软已经在设计这些芯片的第二代版本。更多关于...
Read MoreDeepSparse是一种CPU推理运行时,它利用稀疏性加速神经网络推理。稀疏性是指神经网络中有很多权重为零的连接,DeepSparse利用这些零权重的连接,跳过不必要的计算,从而实现推理加速。DeepSparse是一个开源项目,可...
Read More