DeepMind近期在视觉语言模型（VLM）预训练领域取得了重大突破，将训练数据规模提升至前所未有的1000亿张图像。这一规模远超以往尝试，显著提升了模型在多样化全球任务中的表现。尽管在西方中心化任务上的性能已趋于...

Ts_zip是一项创新技术，它运用大型语言模型（LLM）来实现文本压缩。Ts_zip的核心理念在于通过预训练的大型语言模型对文本进行编码和解码，从而减少数据存储空间或传输带宽的需求。这种技术的优势在于其能够理解文本...

最新研究显示，大型语言模型（LLM）的推理能力得益于预训练阶段发展出的程序性知识。程序性知识指的是一系列规则和步骤，这些知识在预训练过程中被模型学习并内化，进而在后续任务中被用来指导推理。这一发现强调了...

SuperFlow是一种新的框架，通过使用连续的LiDAR-camera对进行时空预训练，增强了自动驾驶中的3D感知能力。在自动驾驶技术中，3D感知的重要性不言而喻，它可以帮助自动驾驶汽车更准确地理解周围环境，进行更安全、更...

Meta推出了利用全新的多令牌预测方法的预训练模型，该方法可以同时预测多个未来的词汇，承诺提升性能并大幅度缩短训练时间。这种新颖的多令牌预测方法改变了我们对于未来词汇的预测方式，将其从单一的词汇预测转变为...

在预训练中，如何积极选择下一批最好的样本是一个挑战性和开放性的问题。DeepMind的这项工作探索了如何只花费10%的浮点运算和硬挖掘负样本，仍然能匹配各种任务的最新技术。在这个过程中，他们采用了一种名为“联合样...

Coqui.ai TTS是一款用于文本转语音的深度学习工具包，它支持多种语言和声音风格，并可在较低的计算资源上实现高质量的语音合成。该工具包基于TensorFlow 2和PyTorch，是一款开源、易于使用的工具，可帮助研究人员和...

在自然语言处理（NLP）中，分块是指将句子分成更小的组块（块）的过程，每个块都有自己的语法和含义。在RAG（Retrieval-Augmented Generation）应用程序中，分块是生成响应的重要步骤。不同于传统的基于规则或基于统...