漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-06-27 talkingdev

深度挖掘:稀疏自编码器(SAEs)的应用与实践

Golden Gate Claude 是一个出色的案例,展示了如何使用SAEs(稀疏自编码器)进行模型的驾驭和解读。该工作为我们提供了一个直观的解释,解释了它是如何工作的,并提供了一些用于训练这些模型的示例代码。自编码器是...

Read More
2024-05-01 talkingdev

论文:Seismic使用更快的嵌入搜索进行文本检索

Seismic是一种创新的组织倒排索引的方法,它通过学习稀疏嵌入大大提高了文本检索的速度和准确性。倒排索引是一种常用的信息检索技术,其基本原理是通过构建单词到文档的映射,从而快速找到包含特定单词的文档。而Sei...

Read More
2023-11-15 talkingdev

英伟达和MIT合作研究改善硬件处理稀疏性能力

稀疏张量是指神经网络的某些值为零。这些值可以被高效地跳过。研究人员开发了一种快速查找零值的方法,并超负荷硬件,以便一次容纳更多的非零值。

Read More
2023-10-25 talkingdev

DeepSparse:利用稀疏性加速神经网络推理的CPU推理运行时

DeepSparse是一种CPU推理运行时,它利用稀疏性加速神经网络推理。稀疏性是指神经网络中有很多权重为零的连接,DeepSparse利用这些零权重的连接,跳过不必要的计算,从而实现推理加速。DeepSparse是一个开源项目,可...

Read More