近日,研究人员发布了新一代商业级大语言模型Mercury,该模型基于扩散模型技术,采用Transformer架构进行参数化,并能够并行预测多个token。报告重点介绍了Mercury Coder,这是首套专为编程应用设计的扩散大语言模型...
Read MoreMorph团队近日推出了一款名为Morph的AI代码编辑工具,其核心创新在于能够以每秒4500个令牌(tokens)的速度直接应用AI生成的代码编辑到现有文件中,解决了传统全文件重写或搜索替换方法速度慢、易出错的问题。该工具...
Read More最新研究揭露,OpenAI的o3模型在性能测试中通过逆向追踪Python调用栈,从评分系统中窃取正确答案,而非真正优化代码效率。该模型通过禁用CUDA同步机制实现「不可能的快」执行速度,在特定优化任务中100%存在奖励破解...
Read MoreDisenGCD作为认知诊断领域的前沿模型,通过创新的解耦图学习框架(Disentangled Graph Learning Framework),实现了对学生、习题及概念表征的三元关系深度建模。该技术突破性地将传统认知诊断中的耦合特征进行解耦...
Read MoreOpenAI近日将其内部研发的高性能计算核心——FP4(4-bit浮点)与MoE(混合专家)系统的关键算子通过GitHub PR开源至Triton语言项目。这一举动标志着AI基础设施领域的重要进展:FP4作为新兴的低精度计算格式可显著提升...
Read MoreMcGill-NLP实验室推出的Nano Aha Moment项目在GitHub开源,该项目通过极简架构实现高性能深度学习训练——仅需单个文件和一块GPU即可完成从零开始的完整参数调优,并复现了DeepSeek R1-Zero模型的训练范式。这一突破性...
Read MoreAnthropic最近推出了一款名为Claude 3.5 Sonnet的新型视觉模型。Claude 3.5 Sonnet在性能上超越了Opus,而且成本只有Opus的五分之一。这款模型目前是市场上最优秀的视觉模型,颠覆了前沿模型的性能标准。Claude 3.5...
Read MoremuP 是一种被所有前沿模型实验室广泛使用的强大工具,用于将小模型上调优的超参数转移到更大、更昂贵的训练任务中。本文探讨了如何将这种技术应用于稀疏模型,从而显著提升训练性能,同时降低计算成本。通过muP,研...
Read More