DeepSeek研究团队以DeepSeek-V3为案例，分享了大型语言模型（LLM）训练中的硬件-模型协同设计创新成果。该研究通过多头部潜在注意力机制（Multi-head Latent Attention）、专家混合系统（Mixture of Experts）、FP8...

在人工智能领域，通用大模型（LLMs）虽然功能强大，但对于特定任务而言，其庞大的计算资源消耗和较高的成本并不总是最优选择。为此，Fastino公司推出了专精任务的语言模型（TLMs），旨在为特定任务提供更高效、更精...

人工智能领域迎来重大技术突破，开源项目ParScale通过创新性地在大型语言模型（LLM）的训练和推理阶段同时应用并行计算技术，成功建立了第三种LLM扩展范式。这一技术突破解决了传统序列计算模式在超大规模模型应用中...

Nous Research近期推出的Psyche网络是一个基于Solana区块链的分布式训练系统，该系统允许拥有兼容硬件的用户自愿贡献其GPU资源用于AI模型训练。该项目的首个计划"Consilience"旨在利用20万亿个token训练一个拥有400...

Freepik近日发布了名为F Lite的AI图像生成模型，该模型是与Fal.ai合作开发，并利用64块Nvidia H100 GPU进行训练。F Lite的独特之处在于其训练数据全部来自经过授权的、适合工作场景的图像，确保了生成内容的合法性和...

GitHub开源项目TScale提出了一种创新性的分布式训练解决方案，允许开发者在消费级GPU集群上高效运行大规模模型训练。该项目通过优化通信协议和资源调度算法，显著降低了分布式训练的硬件门槛，使中小型研究团队也能...

独立开发者历时两年多打造的Anukari 3D物理合成器近日正式发布，这款创新性音频工具成为首批采用GPU进行实时音频处理的虚拟乐器之一。项目创始人在开发者日志中透露，其物理模拟系统的GUI开发难度远超预期，甚至超过...

来自arXiv的最新研究论文提出了一种名为DFloat11的动态长度浮点无损压缩框架，通过创新性地利用LLM权重中BFloat16格式的低熵特性，实现了30%的模型体积缩减，同时保持输出结果与原始模型的比特级一致性。该技术采用...