苹果公司在人工智能系统中应用“Up captioning”技术来提高训练时的标签质量。该公司将此技术应用于预训练中，通过将C4重述为问题/答案对、指令等，加快了模型的收敛速度10倍，使模型的样本效率显著提高。但这也会增加...

最近，有一款名为AlignDet的两阶段预训练框架在GitHub上开源，旨在弥补物体检测算法中的预训练和微调程序之间的差距。AlignDet的设计目标是提高算法的性能、泛化能力以及收敛速度。通过对预训练和微调过程的深度优化...

优化方法的收敛速度是一个数学极限，它决定了在该优化方法指引下，模型找出最佳解决方案的快慢。最新研究发现，周期性学习率可以通过偶尔采取巨大步长得到改进。这项研究极具说服力，它揭示了通过增加优化步骤长度，...

近日，谷歌通过基因搜索算法和海量TPU的使用，开发出了一种新的模型——Brainformer，其收敛速度比传统的Transformer模型快5倍，推理速度快2倍。这种模型使用了MoE模块和一些其他巧妙的技巧，充分发挥了TPU的强大性能...