漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-09-11 talkingdev

利用Google Cloud TPUs调优LLaMa3.1的创新方案

在技术社区中,近日有开发者分享了利用Google Cloud TPUs对LLaMa3.1进行调优的经验和方法。这一过程不仅展示了TPUs在处理大型模型时的卓越性能,还强调了调优过程中的一些关键技术细节。调优LLaMa3.1的过程中,开发...

Read More
2024-05-17 talkingdev

纯NumPy实现的Llama3模型——Llama3.np

近日,在GitHub上出现了一个新的项目,名为Llama3.np,这是一个纯NumPy实现的Llama 3模型。NumPy是一种使用Python进行科学计算的基础软件包,而Llama 3模型则是一种流行的机器学习模型。Llama3.np 项目旨在提供一种...

Read More
2024-04-28 talkingdev

使用Unsloth微调Llama3:显著减少内存使用且长上下文增6倍

Llama3是一种革命性的新技术,它通过使用Unsloth进行微调,可以在保持相同的计算效率的同时,显著降低VRAM的使用量。最近的研究表明,使用Unsloth微调Llama3可以使上下文长度增长六倍,这比HF的flash attention技术...

Read More
2024-04-28 talkingdev

Llama3与SigLIP打造的多模态模型Bunny发布

多模态模型Bunny系列是一套强大的开放模型,尤其在MMMU基准测试中,其性能表现优秀。这是该团队基于Llama3 8B发布的首款开放模型。这个系列的模型采用了SigLIP与Llama3的技术,充分展示了其强大的性能和应用广泛性。...

Read More