最近，数据保护官（DPO）鼓励开发人员在开发过程中更加注重数据的描述性，以提高数据保护的效果。为了实现这一目标，开发人员可以利用 TRL 进行模型调优并生成更加描述性的模型。这样可以让数据更加清晰明了，保护效...

基于图扩散策略优化的药物设计增强了使用独特的强化学习技术的图生成模型，该方法承诺在创建复杂和多样化的图结构方面具有更好的性能，并可能在该领域树立新的标准。

Distilabel是为AI工程师设计的框架，使用人类反馈的强化学习方法（例如奖励模型和DPO）对大型语言模型进行对齐。 它主要专注于LLM微调和适应性。 Distilabel可协助数据收集，清洗和训练。

一种非常强大的新Mistral曲调，利用巧妙的弱监督和合成数据生成与DPO兼容的数据集。 描述的过程可以重复多次并应用于各种企业用例。

对比偏好优化（CPO）是一种新的优化技术，现在应用于机器翻译。与DPO相比，CPO在数据效率方面更高。重要的是，该目标函数防止模型提出合理但不准确的翻译，从而使模型在WMT上取得了有竞争力的表现。

HuggingFace于近日发布了Haiku DPO数据集，旨在帮助AI模型写出正确的日本俳句。该数据集由多位专业诗人参与标注，包含数千条俳句及其正确的音律和形式，涵盖了从传统到现代的各个风格。据悉，该数据集可以用于训练和...

一种新的方法可以过滤高质量的配对偏好以进行对齐。它可以显著提高基准模型的性能。

有很多方式可以对齐语言模型，例如SFT、LoRa、RLHF、DPO、Prompting和Threatening。本研究提出使用负嵌入加到偏置项中，以将模型生成推向期望的结果。