HuggingFace团队最近展示了如何为语言模型的预训练阶段生成、筛选、合成和扩展大量的合成数据。这一过程不仅涉及数据的生成，还包括对数据进行精心的筛选和过滤，以确保其在模型训练中的有效性和准确性。通过这种方...

近日，一个庞大的工业文档OCR数据集正式发布，该数据集包含了2600万页的高质量PDF文档，总计约180亿个标记。这些文档涵盖了工业领域的广泛内容，包括机械设计、电气工程、自动化控制等多个方面。该数据集的发布，将...

普林斯顿大学的软件工程小组近日开源了一款名为“SWE-agent”的工具，该工具可以帮助开发者在GitHub上提高问题修复率。该小组在GitHub上发布了800个问题以供参考，工具通过学习这些问题并分析代码库中的代码，能够快速...

尽管RPA（机器人流程自动化）在早期取得了一些成功，但其在企业范围内的部署并没有达到预期效果。德勤的一项调查显示，仅有3%的公司能够成功扩大其RPA项目规模。然而，人工智能的最新进展有望改变这一现状。大型语言...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

近日，英伟达的GPU在MLPerf推理测试中取得了优异的成绩，尤其是H200型号。MLPerf推理测试是业界公认的深度学习性能评估基准，对AI系统的推理能力进行全方位评测。在此次测试中，英伟达的GPU展现了其在处理复杂机器学...

在RAG（检索-生成）管道中，对嵌入向量进行搜索是至关重要的一环。通过将fp32数字替换为单个0或1，并使用KNN聚类器和重排序器，可以在缩小内存需求30倍的同时，保持性能不受影响。这一技术突破为处理大规模数据集提...

科技巨头Databrix与Mosaic合作，成功训练了一个具有132B参数的混合专家（MoE）模型。该模型在3000个H100 GPU上进行了训练，目前其权重文件已经公开发布。此外，该模型也已在Databricks API上提供服务，供企业和开发...