一篇理论论文试图解释MuP超参数转移的成功。其作者发现训练损失Hessian矩阵的最大特征值与网络的宽度和深度无关。

FuseChat推出了一种创新的方式，将多个大型语言模型的优势融合成一个更强大的模型，而不需要进行高成本的从头训练。

本文提供了一份可租用的GPU集群列表，这些集群可按小时租用，提供高性能计算能力，适用于需要大量计算的机器学习和深度学习任务。以下是可租用的GPU集群列表： 1. AWS EC2 P3（美国） 2. Google Cloud Platform（欧...

Google最近发布了一段7分钟的视频，介绍了他们的Brain2Music项目，该项目旨在通过读取人脑信号来生成音乐。该项目使用深度学习技术来识别人脑中与音乐有关的信号，并将其转换为音乐的元素，如节拍、旋律和和弦。该技...

目标检测是识别物体及其边界框的过程。通常只能为训练前选择的一组固定物体进行检测。本研究介绍了一种实时方法，可以进行开放词汇目标检测，这意味着它可以检测任何在运行时指定的物体组合的边界框。该方法使用了一...

近日，一款名为SliceGPT的新一代模型压缩工具问世。据悉，该工具可以适用于从Phi-2等小型模型到大型模型的多种规模，并可对模型的权重矩阵进行剪枝处理，最大程度保持模型质量的同时，实现模型参数的大幅度减少，以...

本文简要介绍了硬件特定的矩阵乘法优化和一般流程，以加速AI代码。现代深度学习算法中，矩阵乘法是常见的操作。优化矩阵乘法的实现可以显著提高模型的训练和推理速度，进而提高模型的准确性和效率。矩阵乘法优化的主...

LoRA是一种低秩适配器，可让您仅微调语言模型中的少量参数。它们可以显着改善和改变这些模型的性能。