漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-06-21 talkingdev

Nvidia发布Mamba 2新模型

Nvidia最近在一篇论文中突出介绍的混合简易Mamba模型已经发布。这款模型采用了混合模型的设计理念,结合了多种算法和技术,以实现更高效的数据处理和分析。Nvidia一直致力于推动AI技术的发展,Mamba 2模型的发布,无...

Read More
2024-05-31 talkingdev

论文:Yuan 2.0-M32,具备注意力路由的MOE专家混合模型

Yuan 2.0-M32是一款具备40亿参数的专家混合模型,其中任意时刻仅有3.7亿参数处于激活状态。尽管其计算需求仅为Llama 3 70B的1/19,但其性能却接近后者。该模型在2万亿个token上进行了训练,展现出了令人惊讶的强大性...

Read More
2024-01-11 talkingdev

谷歌开源1.6T MoE模型

谷歌的开关Transformer是最早成功的专家混合模型之一。现在,该模型的代码已经在HuggingFace平台上发布,供人们使用。

Read More
2023-11-08 talkingdev

高斯混合解算器为扩散模型提供更清晰的图像

高斯混合解算器可以增强扩散模型,解决图像合成中的速度-质量平衡问题,为图像的细节和清晰度设定新标准。它基于高斯混合模型,通过聚类技术来确定数据的分布,进而提高图像质量。使用高斯混合模型可以更好地理解图...

Read More
2023-10-11 talkingdev

如何将文档引入产品生命周期:三种模型对比

本文主要介绍了三种将文档引入产品生命周期的模型,并探讨了针对不同类型的组织,哪种模型最适合。文档在产品生命周期管理中扮演着重要的角色,不仅可以帮助团队理解产品目标和设计,还可以为用户提供使用指南和教程...

Read More
2023-05-29 talkingdev

混合模型将Transformer和RNN的优势结合在一起

最近,研究人员提出了一种新的模型,称为接受加权键值(RWKV),它将Transformer的高效并行训练和RNN的高效操作结合起来。RWKV采用线性注意机制的独特方法,可以在不同阶段像Transformer或RNN一样使用,证明了与Tran...

Read More