TorchScale是一款PyTorch库，让研究者和开发者能够更高效、更有效地扩展Transformers。它是为了满足对于大规模数据处理的需求而生的工具，通过使用TorchScale，我们可以在保持高性能的同时，实现Transformers的扩展...

日本科学家研发了一种可以延缓阿尔茨海默病进展的疫苗。该疫苗似乎可以减少炎症，并改善患有阿尔茨海默病的小鼠大脑中的其他重要生物标志物。该疫苗的工作原理是训练免疫系统攻击产生大量特定蛋白质的衰老细胞。尽管...

这项研究提出了一个新的范式，用于创建大规模、多样化的数据集，以训练AI代理进行视觉导航。在这种新的方法中，我们采用了一种创新的数据生成策略，这种策略能够有效地处理大规模的数据，同时保证数据的多样性和质量...

最近获得2000万美元投资的together公司，已经对Llama 2进行了微调，通过在位置嵌入上进行线性扩展，使其在处理上下文时可以处理高达32k的token。他们在许多有趣的基准测试中进行了测试，但是他们警告说，现代语言模...

本文介绍了构建和运营一个像S3这样规模的存储系统时所涉及的三个独特视角。

由Nous研究所训练的13B参数的LongLlama-2-13B模型现在可以处理多达8k的令牌(context)。该成果是通过精细调整和线性位置插值缩放实现的。LongLlama-2-13B模型的进步标志着人工智能技术的一大步，使得处理大规模数据变...

近日，研究人员推出了一个名为SlowTV的大规模数据集，该数据集主要从YouTube收集而来，旨在提升自监督单目深度估计模型在不同环境下的深度理解能力。这些环境场景包括徒步旅行的小路、水下场景以及室内空间等。通过...

近日，苹果公司发布了一款新的深度学习库AX，该库基于Jax构建。值得一提的是，AX支持基于编译器的并行性，可实现大规模训练，这是许多其他流行框架所不具备的功能。在过去的几年中，深度学习领域的研究和应用取得了...