针对基于大语言模型(LLM)的数据标注中存在的标签不确定性问题,最新研究提出了一种创新解决方案。该方法不仅能够捕获多个可能的标签,还引入名为CanDist的师生框架,将这些标签蒸馏为单一输出。这一技术突破通过双...
Read MoreMeta研究团队最新提出的零样本嫁接(zero-shot grafting)方法,通过从大型语言模型(LLM)的浅层中提取小型代理模型来训练视觉编码器,实现了视觉语言模型(VLM)训练成本降低约45%的突破。该技术不仅显著降低了计...
Read More微软近日发布了Phi-4-reasoning系列变体,这一创新标志着小型语言模型(SLMs)在效率与复杂推理能力上的重大进展。Phi-4-reasoning通过算法优化和架构改进,在保持参数规模精简的同时,实现了接近大型语言模型(LLMs...
Read More近日,自然语言处理领域迎来一项重要技术突破——MiniPLM框架正式发布。该框架创新性地提出了一种高效的小型语言模型(SLM)预训练方法,通过从大型语言模型(LLM)中提取知识进行蒸馏训练,显著提升了小模型的性能表...
Read More近期发表于arXiv的研究ThinkLite-VL通过创新性地应用蒙特卡洛树搜索(MCTS)技术量化样本难度,在视觉语言模型(VLM)领域取得突破性进展。该方法仅需11,000个训练样本即可显著提升模型推理能力,且无需依赖知识蒸馏...
Read More近日,一项新的LLM(大型语言模型)优化技术在人工智能领域引起了广泛关注。这项技术通过在模型架构和训练算法上的创新,实现了对LLM内存消耗的显著降低,从而大幅度减少了模型部署和运行的成本。具体来说,这项技术...
Read More最新研究项目YOLOX-ViT在水下机器人领域中引入了一种创新的目标检测方法,该方法通过整合视觉变换器(Visual Transformers)和知识蒸馏(Knowledge Distillation)技术,显著提高了目标检测的准确性和效率。该技术的...
Read MorePromptMM是一种使用多模态知识蒸馏的在线购物推荐系统,可以改善像亚马逊和TikTok这样的平台上的推荐系统。它通过从各种内容类型(视觉、文本或声音)中蒸馏出重要特征,来解决用户偏好的不准确性,并简化系统,以防...
Read More