contrastors是一个对比学习工具包，使研究人员和工程师能够有效地训练和评估对比模型。

特征：
建立在Flash Attention之上，可实现快速高效的训练
支持在多个 GPU 上进行训练
GradCache支持在受限内存环境中进行大批量训练
Huggingface 支持轻松加载常见模型（Pythia/GPTNeoX、BERT 等）
掩码语言建模 (MLM) 预训练
 
 
Back to Top