据悉,字节跳动开发了一种名为 MegaScale 的系统,可用于训练大规模并行的大型语言模型。该系统成功地在 12,288 个 GPU 上训练了一个 175B 的语言模型,达到了 55.2% 的模型 FLOPs 利用率,相当惊人。此外,字节跳动...
Read More最近在《自然》杂志上介绍了一种名为FunSearch的方法,它使用大型语言模型在数学和计算机科学中进行新的发现。该方法将创造性的LLM与评估器配对,以产生可验证的解决方案,并在难以解决的cap set 和bin-packing问题...
Read MoreGradSafe是一种新的方法,用于检测大型语言模型中的不安全提示,无需进行大量的训练。它通过分析特定参数的梯度,比当前方法更有效地识别不安全的提示。
Read More知名研究员Nicholas Carlini发布了他用于评估大型语言模型性能的基准。有趣的是,它让GPT-4的表现在大多数其他基准之上。据了解,这个基准是基于多个指标和任务,包括自然语言推理和问答等。
Read More谷歌推出了一系列新的AI语言模型Gemma,这些模型是基于类似Gemini的技术构建的免费开源模型。Gemma模型可在桌面或笔记本电脑上本地运行,有两个模型,一个有20亿个参数,另一个有70亿个参数。每个模型都有经过预训练...
Read MoreGPTScript是一种新的脚本语言,可以自动化与OpenAI大型语言模型的交互。该项目的最终目标是创建一个完全基于自然语言的编程体验。GPTScript使用了最新的自然语言处理技术,使得编程变得更加直观和容易上手。GPTScrip...
Read More研究人员创建了OpenMathInstruct-1,这是一个用于训练开源大型语言模型数学的新数据集,可与闭源模型的性能相匹配。这一突破包含180万个问题解决对,为更加可访问和有竞争力的数学教学AI工具打开了大门。
Read More