Yuan 2.0-M32是一款具备40亿参数的专家混合模型，其中任意时刻仅有3.7亿参数处于激活状态。尽管其计算需求仅为Llama 3 70B的1/19，但其性能却接近后者。该模型在2万亿个token上进行了训练，展现出了令人惊讶的强大性...

随着大型语言模型性能的提升，其对能源和计算能力的渴求也随之增加。为降低成本，提高处理速度，同时减少对环境的影响，模型需要实现更小型化。研究人员目前采用一种名为量化的技术，通过减少模型参数的精度来压缩网...

FrankenPHP 是一个现代化的 PHP 应用服务器，它为 PHP 应用程序提供了一个高效和可扩展的运行环境。FrankenPHP 内置了一些流行的扩展模块和工具，使得开发人员可以更容易地构建和部署 PHP 应用程序。与传统的 PHP 部...

深度学习框架Tinygrad 0.9.0正式发布。Tinygrad是一个轻量级的深度学习框架，支持Python和JavaScript。Tinygrad 0.9.0增加了对自定义函数的支持，以及其他一些性能和稳定性的改进。它的设计使其非常适合在边缘设备上...

近日，计算机科学家们推出了一款名为Llama 3-V的新型人工智能模型，其与GPT4-V性能相当，但模型大小只有GPT4-V的1/100。与GPT4-V的高昂价格相比，Llama 3-V仅需500美元即可获得。这款新型模型可以应用于自然语言处理...

构建一个RAG系统需要了解检索部分的工作效果。这个工具包提供了多种强大的信息检索性能测量方法，帮助开发者深入分析和优化检索系统的性能。无论是精确度、召回率还是F1分数，这个工具包都能为您提供详尽的数据支持...

模块化范数是一种全新的神经网络权重更新归一化方法，能够高效扩展不同规模网络的训练。这种方法通过调整网络的权重更新过程，确保在各种网络规模下都能保持高效的训练速度和准确性。与传统的归一化方法相比，模块化...

LoRA-Ensemble是一种面向自注意力网络的参数高效深度集成方法。该技术扩展了低秩适配（LoRA）的应用，通过隐式集成实现了在不增加传统集成方法高计算成本的情况下，仍能做出准确且校准良好的预测。这种方法不仅在精...