漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-04-25 talkingdev

HP AI Studio助力本地化部署:将DeepSeek-R1大模型蒸馏至个人设备

惠普AI Studio推出创新技术方案,通过模型蒸馏技术将前沿大语言模型DeepSeek-R1的推理能力压缩至可在本地设备运行的轻量级版本。该技术突破实现了大模型从云端到本地的迁移,用户可通过Ollama框架进行本地推理部署,...

Read More
2025-04-25 talkingdev

MiniPLM框架发布:利用大模型知识提升小语言模型预训练效率

近日,自然语言处理领域迎来一项重要技术突破——MiniPLM框架正式发布。该框架创新性地提出了一种高效的小型语言模型(SLM)预训练方法,通过从大型语言模型(LLM)中提取知识进行蒸馏训练,显著提升了小模型的性能表...

Read More
2025-01-24 talkingdev

开源推荐:评估蒸馏LLM的双重量化指标

近日,GitHub上发布了一个专注于评估蒸馏LLM(Large Language Models)性能的开源项目。该项目提供了两种互补的量化指标,旨在帮助研究人员和开发者更精确地衡量LLM蒸馏的效果。蒸馏技术是一种通过将大型模型的知识...

Read More