《通信的数学理论》是一篇由克劳德·香农发表于1948年的论文，这篇论文奠定了现代通信的数学基础，被誉为通信领域的里程碑之一。论文中提到了很多后来变得非常重要的概念，例如信息熵、信源编码和信道编码等。这些概...

Transformer模型虽然强大，但是由于其不稳定性，训练起来常常会很困难。其中一个主要的问题是注意力矩阵的熵崩溃。本文介绍了一种通过简单的重新参数化来防止熵崩溃的方法。

向量量化变分自编码器（VectorQuantized-VAEs）通常被视为在学习特定离散表示（例如，令牌或代码）时的最新技术。然而，它们通常复杂且脆弱。一篇新的论文提出了一种简单的量化方案，消除了代码本崩溃和复杂的设备，...