OpenAI近日将其内部研发的高性能计算核心——FP4（4-bit浮点）与MoE（混合专家）系统的关键算子通过GitHub PR开源至Triton语言项目。这一举动标志着AI基础设施领域的重要进展：FP4作为新兴的低精度计算格式可显著提升...

由Tianyi实验室发布的C3PO项目在GitHub开源了一种创新的测试时优化技术，该技术通过基于相似参考样本重新混合专家权重，显著提升了混合专家（Mixture-of-Experts，MoE）大语言模型的准确性。这一突破性方法不仅优化...

Unsloth团队针对DeepSeek最新R1模型成功开发出创新量化方案，其核心突破在于将混合专家（MoE）层压缩至惊人的1.58bit，同时通过动态量化技术保持其他模块在4-6bit精度。研究发现，模型Tokenizer的特殊结构为量化带来...

人工智能领域迎来重要技术突破，Perplexity公司近日在GitHub开源了其混合专家系统(MoE)的核心计算库Pplx Cuda Kernels。这套基于CUDA的高性能计算内核在实际测试中展现出显著优势，在大规模运算场景下性能超越知名AI...