Yuan 2.0-M32是一款具备40亿参数的专家混合模型,其中任意时刻仅有3.7亿参数处于激活状态。尽管其计算需求仅为Llama 3 70B的1/19,但其性能却接近后者。该模型在2万亿个token上进行了训练,展现出了令人惊讶的强大性...
Read MoreLoRA(Learning of Rate Adjustor)是一种被广泛应用于模型微调的方法,用于注入风格或知识。近期的一篇研究论文深入探讨了在使用LoRA时,学习能力和遗忘之间的权衡关系。研究发现,LoRA相比于全面微调,虽然学习的...
Read MoreGoogle在今天的发布中公布并展示了一些开源模型。其中一个已经发布的模型是基于SigLIP的视觉语言模型。这个模型非常容易调整和扩展到多种任务。这个Colab笔记本展示了如何用简洁、易读的代码来实现这一点。SigLIP是...
Read More在目标检测领域,单域泛化(S-DG)一直是一个挑战。为了解决这一问题,最新的OA-DG方法应运而生。该方法采用了OA-Mix数据增强技术以及OA-Loss训练策略,旨在提高模型在单域环境下的泛化能力。OA-Mix通过混合不同类别...
Read More科研团队近期推出了一项名为DiJiang的创新技术,旨在将现有的Transformer模型转化为更精简、更快速的版本,同时避免了重新训练模型所需的巨大成本。DiJiang技术通过优化模型结构,大幅减少了计算资源的消耗,使得Tra...
Read MoreAutoQuant 笔记本是一个新的工具,它可以将 HuggingFace 上的模型导出为五种不同的量化格式,包括 GGUF、GPTQ、EXL2、AWQ 和 HQQ。这些量化格式旨在优化模型的性能和效率,以便在不同的硬件和平台上部署。通过使用 A...
Read More近期,一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时,成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本,还为大规模机器学习模型的可访问...
Read MoreQuiet-Star是一个推理框架,旨在增强语言模型生成正确输出的能力。该框架的代码已经公开,同时发布了一个每个令牌8步的模型。Quiet-Star通过优化模型的推理过程,提高了生成文本的准确性和相关性,对于自然语言处理...
Read More