SoftMoE 是一种新的模型架构，它改进了稀疏的混合专家（MoE）模型。通过使用软分配方法，每个专家处理输入令牌的子集，SoftMoE以更低的成本提供了更大的模型容量。在视觉识别任务中，SoftMoE的表现超过了标准的变压...

最新研究中，科研人员引入了一种名为‘聚焦线性注意力’的新方法，使变压器（Transformers）变得更为高效和强大。研究人员设计了新的映射函数和秩恢复模块，旨在在保持计算需求较低的同时，提升模型的性能。这一突破性...

近日，苹果公司发布了一款新的深度学习库AX，该库基于Jax构建。值得一提的是，AX支持基于编译器的并行性，可实现大规模训练，这是许多其他流行框架所不具备的功能。在过去的几年中，深度学习领域的研究和应用取得了...

估计手部与物体接触的时机对于增强现实/虚拟现实和机器人技术来说是一项关键挑战。在深度学习领域，数据就是女王。这个新的大规模数据集包含了数百万帧的标注数据，可用于执行各种任务，如手部重构、模拟物体运动等...

本文介绍了一种深度学习工具——CAT-ViL，该工具能够对手术视频进行详细的解答并进行可视化。这是一项实质性的创新，将极大地帮助医学生和初级外科医生的学习和实践。通过CAT-ViL工具，用户可以通过查询特定的手术步骤...

近日，InternLM在GitHub上公开了一款专为实际场景设计的基础聊天模型。该模型拥有7亿的参数，可广泛应用于各种实际场景，如客户服务、在线咨询等。InternLM的这款模型采用了先进的深度学习技术，能够理解和回应用户...

FlagAI（Fast Large-scale General AI models）是一个快速、易于使用且可扩展的大规模模型工具包。它提供了一整套功能强大的工具和库，用于开发和部署大规模人工智能模型。FlagAI的设计目标是使开发人员能够快速构建...

研究人员提出了竞争性基准测试系统"AlgoPerf"，旨在公平评估各种深度学习算法的训练效果，并为未来的改进奠定基础。这一研究解决了比较和改进深度学习训练算法的挑战，这些算法是加速数据处理、节省资源和创建准确模...