一项名为‘简单自蒸馏’(Simple Self-Distillation, SSD)的新方法为大语言模型的代码生成能力提升开辟了一条高效且成本低廉的路径。该方法的核心在于,仅利用模型自身在特定采样配置(如温度参数和截断策略)下生成...
Read More富士通研究院近日开源了名为“OneCompression”(简称OneComp)的Python库,这是一个专门用于大语言模型后训练量化的工具。该库集成了当前最先进的量化算法,包括GPTQ和DBF,旨在帮助开发者和研究人员高效地将庞大的LL...
Read More近日,GitHub上出现了一个名为Project N.O.M.A.D.(Node for Offline Media, Archives, and Data)的开源项目,它是一款自包含、优先离线的知识服务器,旨在为用户提供无需互联网连接的工具、教育资源和人工智能能力...
Read More近日,一个名为OBLITERATUS的开源项目在开发者社区及技术新闻平台Hacker News上引发了广泛关注与讨论。该项目由开发者elder-plinius在GitHub上发布,其核心目标是“粉碎束缚你的枷锁”,具体指向为移除或绕过开源、开...
Read More近日,在GitHub上开源名为“ntransformer”的高效大语言模型推理引擎项目,其核心创新在于探索并实现了通过NVMe存储设备直接与GPU通信,绕过CPU和系统内存的传统数据路径,从而在消费级显卡RTX 3090上成功运行了参数量...
Read More近日,开发者基于Rust语言重构了OpenClaw助手模式,推出了名为LocalGPT的本地化AI助手项目。该项目在四天内完成开发,编译后仅生成约27MB的单一可执行文件,无需依赖Node.js、Docker或Python环境,体现了轻量级与高...
Read More一项突破性的研究提出了一种无需任何人工偏好标注即可训练视觉语言模型评判者的全新框架。该框架的核心在于通过自我合成数据实现迭代式自训练,从而摆脱了对昂贵且易过时的人工标注的依赖。其工作流程分为三个阶段:...
Read More根据AI模型聚合平台OpenRouter发布的最新年度研究报告,通过对过去一年内超过100万亿个令牌(tokens)的实证分析,揭示了当前AI模型使用格局的重大转变。报告指出,以Claude 3.5 Sonnet、GPT-4o和o1系列为代表的“推...
Read More