研究人员已经能够通过使用深度学习编码器，将人类的运动模式转移至机器人。通常，这需要使用专门的硬件，并对其进行针对机器人的校准。结合视频基础的运动捕捉技术，未来可能会有更酷的项目出现。传统的技术需要使用...

机械可解释性是通过将神经网络分解为更可解释的子部分来理解神经网络的过程。不幸的是，神经元本身往往不可解释。有一些深层次的原因，如叠加，导致了这个挑战。Anthropic公司的这项工作使用稀疏自编码器从一层Trans...

向量量化变分自编码器（VectorQuantized-VAEs）通常被视为在学习特定离散表示（例如，令牌或代码）时的最新技术。然而，它们通常复杂且脆弱。一篇新的论文提出了一种简单的量化方案，消除了代码本崩溃和复杂的设备，...

在变压器网络中，前馈层占据了大部分的总权重。然而，如果你使用一个单一的大型前馈层，共享给编码器和解码器，你可以显著提高推理时间，同时性能的下降微乎其微。这是一种有效的优化手段，可以有效提升网络的运行效...

最近，研究人员在文本转图像（T2I）领域中推出了一种新的方法，称之为“无需提示的扩散”。这种系统只依靠视觉输入生成图像，无需任何文本提示。其利用了一种称为“语义上下文编码器（SeeCoder）”的独特结构来解释参考...

该研究介绍了一种技术，可以根据文本提示自动变形三角网格，利用可微分渲染和预训练图像编码器，如CLIP和DINO。通过使用雅可比矩阵进行网格变形表示，该方法实现了平滑变形，并避免了噪声梯度，从而实现了大的形状变...

- Stability AI发布了下一代图像模型代码 - 模型是一个多阶段模型，具有冻结的T5文本编码器和两个超分辨率模型 - 模型能够呈现极高质量的文本，可能首先只面向研究，但会在社区反馈后开放。 深度学习模型 DeepFloyd...

本文介绍了一篇新的论文，提出使用机器生成的指令跟踪数据来调整大型语言模型（LLMs）以执行多模态任务。该论文开发了LLaVA，这是一个大型多模态模型，它结合了视觉编码器和仅限于语言的GPT-4。经过调整后，LLaVA展...