近日，开源项目BoCoEL在GitHub上发布。BoCoEL是一个用于准确评估LLMs的工具，采用贝叶斯优化方法，能够从大量的LLMs中找到最佳的架构和超参数组合。BoCoEL可以帮助研究者更快地训练出高效的LLMs，提高模型的准确性和...

本文介绍了LoRA+，一种优于现有Low-Rank Adaptation (LoRA)方法的微调大模型的方法。LoRA+通过为过程中的关键部分使用不同的学习速率来实现更好的性能和更快的微调，而无需增加计算需求。

近日，OpenLLMetry-JS 在 GitHub 上发布，它是基于 OpenTelemetry 构建的一组扩展，可以完全观测您的 LLM 应用程序。OpenLLMetry-JS 为您提供了完整的可观测性，不仅可以实时监测您的应用程序，还可以帮助您诊断和优...

近日，一种新的Temporal Dilated Video Transformer (TDViT)技术被发布，旨在提高稠密视频任务的分析能力，如逐帧视频对象检测。该技术采用多头自注意力机制，可进行多层次、多尺度的特征提取，同时利用空间和时间的...

AdamW通常用于解耦学习率和权重衰减。然而，Pytorch中的常见实现并没有明确地做到这一点。本文讨论了如何调整这些参数。 AdamW是一种优化算法，它在Adam的基础上加入了权重衰减。AdamW的优点之一是可以解决权重衰减...

KV缓存的量化是Transformer架构的一个技术细节，它使其在推理时使用更少的内存。量化是在最小损失质量的情况下缩小浮点精度。

GitHub近日开源了一项名为RoCo的新策略，该策略旨在提高LLM在有限资源环境下的效率。RoCo是一种强大的缓存遗漏策略，可以帮助用户更好地使用LLM。该政策的发布将有助于优化机器学习应用的性能，提高效率。RoCo的开源...

研究人员引入了一种新的图像分割技术，只使用基本图像标签即可识别图像特定部分，例如狗。他们通过引入一种新的方法来解决网络识别同一对象的多个实例的挑战，并优化了该过程，降低了错误率。