漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-01-10 talkingdev

未来趋势:强化学习与扩散模型的结合

扩散模型是一种强大的工具,可以将强化学习性能提升至新的高度。最近,一位研究团队建立了一个GitHub仓库,详细介绍了扩散模型在强化学习中的应用,并展望了未来的跨学科研究机会。扩散模型是一种模拟物质传播的方法...

Read More
2023-12-12 talkingdev

StripedHyena模型:新AI模型让上下文长度变更长

近来,Transformer模型在AI领域占据统治地位。它们是强大的序列学习器,但也存在一些缺点。这项新工作基于状态空间模型,展示了新的架构可以带来巨大的好处,如增加上下文长度。

Read More
2023-12-05 talkingdev

论文:无注意力的扩散模型

现代大多数扩散模型都使用了注意力机制,但并非所有模型都如此。最近,对状态空间的兴趣浪潮已经传到了扩散模型中,这为理论加速和有趣的应用开辟了道路。扩散模型是一种机器学习模型,用于对自然界中的信号进行建模...

Read More
2023-07-03 talkingdev

百万上下文token助力DNA任务

最近,状态空间模型引起了广泛关注。它们作为一种潜在有用的模型替代方案而出现,通过避开Transformer的一些挑战性方面,同时保持性能。在这项工作中,Hyena模型被应用于DNA序列建模,并在23个任务中取得了改进。

Read More
  1. Prev Page