针对基于大语言模型（LLM）的数据标注中存在的标签不确定性问题，最新研究提出了一种创新解决方案。该方法不仅能够捕获多个可能的标签，还引入名为CanDist的师生框架，将这些标签蒸馏为单一输出。这一技术突破通过双...

Meta研究团队最新提出的零样本嫁接（zero-shot grafting）方法，通过从大型语言模型（LLM）的浅层中提取小型代理模型来训练视觉编码器，实现了视觉语言模型（VLM）训练成本降低约45%的突破。该技术不仅显著降低了计...

微软近日发布了Phi-4-reasoning系列变体，这一创新标志着小型语言模型（SLMs）在效率与复杂推理能力上的重大进展。Phi-4-reasoning通过算法优化和架构改进，在保持参数规模精简的同时，实现了接近大型语言模型（LLMs...

近日，自然语言处理领域迎来一项重要技术突破——MiniPLM框架正式发布。该框架创新性地提出了一种高效的小型语言模型（SLM）预训练方法，通过从大型语言模型（LLM）中提取知识进行蒸馏训练，显著提升了小模型的性能表...

近期发表于arXiv的研究ThinkLite-VL通过创新性地应用蒙特卡洛树搜索（MCTS）技术量化样本难度，在视觉语言模型（VLM）领域取得突破性进展。该方法仅需11,000个训练样本即可显著提升模型推理能力，且无需依赖知识蒸馏...

近日，一项新的LLM（大型语言模型）优化技术在人工智能领域引起了广泛关注。这项技术通过在模型架构和训练算法上的创新，实现了对LLM内存消耗的显著降低，从而大幅度减少了模型部署和运行的成本。具体来说，这项技术...

最新研究项目YOLOX-ViT在水下机器人领域中引入了一种创新的目标检测方法，该方法通过整合视觉变换器（Visual Transformers）和知识蒸馏（Knowledge Distillation）技术，显著提高了目标检测的准确性和效率。该技术的...

PromptMM是一种使用多模态知识蒸馏的在线购物推荐系统，可以改善像亚马逊和TikTok这样的平台上的推荐系统。它通过从各种内容类型（视觉、文本或声音）中蒸馏出重要特征，来解决用户偏好的不准确性，并简化系统，以防...