1. 传统微调对LLM不现实，因模型参数量庞大，算力成本极高。参数高效微调（PEFT）因此诞生，核心是对权重矩阵做低秩近似，显著降低训练开销。
2. LoRA：在大模型权重矩阵旁添加两个低秩矩阵A和B，只训练这两个小矩阵，节省存储和计算，适合超大模型。
3. LoRA-FA：冻结矩阵A，仅更新B，进一步降低显存需求，保障训练稳定。
4. VeRA：将A、B设为随机且共享，改为学习层特有的缩放向量，实现更轻量的层间适配。
5. Delta-LoRA：在LoRA基础上，动态将A×B的增量“叠加”到原权重W，提升微调灵活性。
6. LoRA+：发现矩阵B比A更需高学习率，调整学习率策略，改善收敛效率。
这些方法不仅降低算力门槛，更是微调方法论的变革——不再盲目调整全部参数，而是精准塑造“关键方向”。未来趋势是结合模型结构智能选点，支持多任务与持续学习，打造可组合、可扩展的“微调语言”。
PEFT不是简单的工程优化，而是智能塑造大模型知识的设计语言，开启了人人可控大模型定制的新时代。
