Meta最新发布的Llama 4模型通过创新性的混合位置编码策略,实现了超过1000万tokens的上下文处理能力。该技术核心在于交替使用无位置嵌入(NoPE)和旋转位置嵌入(RoPE),在保持计算效率的同时显著扩展了上下文窗口...
Read More人工智能领域迎来重要技术突破,Perplexity公司近日在GitHub开源了其混合专家系统(MoE)的核心计算库Pplx Cuda Kernels。这套基于CUDA的高性能计算内核在实际测试中展现出显著优势,在大规模运算场景下性能超越知名AI...
Read MoreMetaLoRA通过引入元学习原理的动态参数生成机制,显著提升了基于LoRA(Low-Rank Adaptation)的微调策略的灵活性和任务感知能力。这一技术突破解决了传统LoRA方法在跨任务适应性上的局限性,通过动态生成低秩矩阵参...
Read More本文梳理了2024年以来最具影响力的AI模型,深入解析其技术特性与应用场景。OpenAI推出的GPT-4.5 Orion凭借其强大的世界知识建模能力成为通用AI领域的标杆;Google的Gemini 2.5 Pro则专注于代码生成与理解,为开发者...
Read More加州大学圣克鲁兹分校视觉、语言与行为实验室(VLAA)在GitHub开源了MedReason项目,这是一个专为提升大语言模型(LLM)医疗推理能力构建的大规模数据集。该数据集通过结构化临床案例、医学知识图谱和多模态数据,旨...
Read More腾讯ARC实验室最新发布的SEED-Bench-R1基准测试,为多模态大语言模型(MLLM)在复杂视频任务中的表现提供了系统评估框架。该研究重点关注强化学习(RL)和监督微调(SFT)等后训练方法,揭示了RL在视觉感知任务和数...
Read More最新发表在arXiv的论文提出了一种创新的模型融合技术,能够从大型语言模型(LLM)中精准移除敏感内容,同时保持模型的通用知识能力。这项突破性研究通过参数空间分析,识别并分离与敏感信息相关的神经网络连接,实现了...
Read MoreMidjourney近期发布了一项重要工作,旨在提升创意写作模型的多样性表现。该团队通过对一个较小的7B模型进行后训练,使其在创意写作任务中的表现超越了更大规模的开放和封闭模型。这一突破不仅展示了模型优化技术的潜...
Read More