谷歌研究人员提出了一种名为Self-Play Preference Optimization (SPO) 的自我对弈优化算法。该算法相比传统的强化学习对齐方式更加简单。研究人员运用博弈论，找到了对噪声干扰鲁棒性强、性能表现优异的单人自我对弈...

有很多方式可以对齐语言模型，例如SFT、LoRa、RLHF、DPO、Prompting和Threatening。本研究提出使用负嵌入加到偏置项中，以将模型生成推向期望的结果。

近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发...

OpenAI超级对齐团队最新成果表明，您可以使用更弱的监督模型来引导或对齐更强大的模型，类似于弱人类对齐超级智能模型。他们使用GPT-2恢复了GPT-4的大部分对齐性能。他们指出，这种方法具有可行的路径，可以实现显著...

OpenAI正在发放一系列的资助金，以资助那些希望在超级对齐领域工作的学生和研究人员。申请截止日期为2月18日。

FIND推出了一个多用途AI模型接口，使得AI模型能够更好地理解图像和数据集，而无需更改核心模型。该接口使用了一种新的嵌入对齐方法，能够将不同任务的嵌入空间对齐起来，从而提高模型的泛化能力。这一技术的研发背后...

通常，大多数数据对齐框架需要排名偏好数据（A优先于B）。而这种数据通常很昂贵且罕见。而这种新的框架只需要每个数据点的独立是或否评级即可实现数据对齐，更加便宜、更加高效。

一种名为OneLLM的新型AI模型正在掀起波澜，它使用一种独特的方法将所有这些模态与语言对齐，理解包括图像、音频甚至脑活动在内的八种不同类型的数据。OneLLM的这种多模态理解方法可能会推动AI在语义理解方面的进一步...