近日,一款名为SliceGPT的新一代模型压缩工具问世。据悉,该工具可以适用于从Phi-2等小型模型到大型模型的多种规模,并可对模型的权重矩阵进行剪枝处理,最大程度保持模型质量的同时,实现模型参数的大幅度减少,以...
Read MoreUnsloth是一个轻量化库,可加速语言模型的微调。它现在可以轻松地与TRL在常见的模型架构上配合使用。Unsloth库通过一个简单的API使得模型训练和微调更快速。它可以帮助从训练数据中自动学习、优化和微调模型,使得模...
Read MoreJane Street公司是最高薪资的公司,其L1总薪资为350,000美元,是刚入行工程师的首选公司。Jane Street是一家专注于算法交易和量化分析的公司,经常吸引来自哈佛大学、麻省理工学院等世界顶尖学府的优秀毕业生。该公...
Read More本研究介绍了LLM-FP4,这是一种新的方法,通过在训练后将大型语言模型的权重和操作转换为4位浮点值来压缩它们。近年来,由于NLP任务的快速发展,语言模型的大小和计算需求不断增加,这给模型的部署和使用带来了很多...
Read More向量量化变分自编码器(VectorQuantized-VAEs)通常被视为在学习特定离散表示(例如,令牌或代码)时的最新技术。然而,它们通常复杂且脆弱。一篇新的论文提出了一种简单的量化方案,消除了代码本崩溃和复杂的设备,...
Read More大多数数据库使用树遍历解释器,少数使用堆栈或寄存器虚拟机,有些使用即时编译器,还有一些进行矢量化解释。随着技术的不断进步,越来越多的数据库开始采用即时编译技术,以提高执行效率。不过,不同的数据库在表达...
Read MoreMeta最近发布了一种新的人工智能基准,名为FACET。这种基准旨在评估AI模型在图像和视频中分类和检测物体,包括人物的“公平性”。公平性在AI领域是一个重要的话题,因为AI模型往往会复制并放大现实世界的偏见。通过FAC...
Read MoreHydra是一个基于列存储的Postgres数据库,可以在不更改代码的情况下瞬间查询数十亿行数据。它使用列存储、查询并行化、矢量化执行、列级缓存和经过调优的Postgres,以在几分钟内实现并行分析。Hydra适用于聚合、WHER...
Read More