人工智能领域迎来重要技术突破，Perplexity公司近日在GitHub开源了其混合专家系统(MoE)的核心计算库Pplx Cuda Kernels。这套基于CUDA的高性能计算内核在实际测试中展现出显著优势，在大规模运算场景下性能超越知名AI...

近日，Jakiro团队通过引入Mixture of Experts（MoE）技术，成功优化了Speculative Decoding的性能。该方法通过生成多样化的预测结果，减少了候选预测之间的相关性，从而显著提升了推理速度。Speculative Decoding作...

Mosaic团队已与PyTorch合作，撰写关于如何扩展他们的MoEs模型至数千个GPU的文章。MoEs，全称Mixture of Experts，是一种深度学习的模型结构，其核心思想是将复杂的问题分解为若干个相对简单的子问题，然后由专家系统...

Yuan 2.0-M32是一款具备40亿参数的专家混合模型，其中任意时刻仅有3.7亿参数处于激活状态。尽管其计算需求仅为Llama 3 70B的1/19，但其性能却接近后者。该模型在2万亿个token上进行了训练，展现出了令人惊讶的强大性...

JetMoe是一个基于混合专家模型的新AI系统，通过使用公共数据集和合理的计算资源进行训练，其性能与Meta的Llama 2 7B模型相媲美，但成本仅为10万美元。这一突破性的技术成果不仅展示了在不牺牲性能的前提下降低AI模型...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

AI21实验室近日发布了一款新型语言模型——Jamba，它采用了独特的模型结构，旨在实现比Transformers更高的效率，同时保持相当的性能水平。Jamba模型的最大亮点在于其创新性地融合了MoE（Mixture of Experts）层，这使...

科技巨头Databrix与Mosaic合作，成功训练了一个具有132B参数的混合专家（MoE）模型。该模型在3000个H100 GPU上进行了训练，目前其权重文件已经公开发布。此外，该模型也已在Databricks API上提供服务，供企业和开发...