一个包含大约100万个AI偏好的数据集，从teknium/OpenHermes-2.5中提取而来。

它结合了来自源数据集和另外两个模型Mixtral-8x7B-Instruct-v0.1和Nous-Hermes-2-Yi-34B的回答，并使用PairRM作为偏好模型对生成结果进行评分和排名。

该数据集可用于训练偏好模型或通过直接偏好优化等技术对齐语言模型。

OpenHermesPreferences | #数据集