Supervised Distill Fine-Tuning
一、Supervised Fine-tuning
有监督微调(SFT)已然成为当前模型训练中的标准范式，主要有如下优点：简单易实现，训练效率高: SFT采用"Teacher Forcing"方式，直接优化示范输出的似然性，是一种行为克隆方法，实现简单且训练效率较高。
现阶段模型训练中，SFT 之后通常会加上一些 RL 相关方法来继续 Tune 模型，进而不影响模型当前能力的情况下继续提升模型的效果。
此前的 Safety Alignment 派生方法主要是在 微调 模型在部分边缘 case 上的行为，特别是在涉及到模型安全、政治敏感、国家安全
可是其依然存在很多缺 点：
-
仅能教授"最佳响应"，缺乏对比学习：SFT 仅教导 LLMs 关于最佳响应的内容，无法提供与次优响应的细粒度比较 [[6]]
-
可能导致模型"幻觉"（Hallucination）：当示范数据超出模型知识范围时，模型容易产生不实信息；对教师模型的蒸馏也会增加学生模型出现幻觉的可能性 [[7]]
-
对示范数据质量要求高，标注成本高 | SFT 需要大量高质量标记数据，企业文档场景下需要领域专家制作 Q&A 或摘要示例，导致成本高昂 [[8]]
-
受标注者风格和质量差异影响 | 不同标注者对实例数据标注的差异会影响 SFT 的学习性能，影响训练效果 [[9]]
-
计算成本和存储需求高 | SFT 需要大量计算资源，全量微调时涉及所有参数更新，内存消耗大 [[10]]
-
过拟合和泛化风险 | SFT 难以泛化到未见过的数据分布，存在过拟合风险 [[11]]
-
限制模型从错误中学习的能力 | SFT 仅最大化提供正确代码/响应的可能性，模型不会从错误或次优示例中获得梯度反馈 [[12]]
三、SFT 与 RLHF 的对比（补充背景）
| 维度 | SFT | RLHF |
|---|---|---|
| 训练成本 | 相对较低 | 更高、更耗时 [[13]] |
| 训练稳定性 | 相对较稳定 | 不稳定，对初始参数和 超参数敏感 [[14]] |
| 幻觉控制 | 无法有效减少幻觉 | 能有效减轻模型出现有害响应和幻觉的可能性 [[15]] |
| 数据需求 | 需要标签数据 | 需要人类偏好标注，过程复杂 [[16]] |
四、新兴研究方向
针对 SFT 的局限性，研究者提出了多种改进方案：
- 统一微调（UFT）：整合 SFT 和对齐到一个训练阶段，防止灾难性遗忘 [[17]]
- 参数高效微调（PEFT）：如 LoRA，仅调整模型参数子集以降低计算成本 [[18]]
- 结构化稀疏微调（S²FT）：提高微调的效率和可扩展性 [[19]]
总结
SFT 是 LLM 训练中的基础且核心的环节，其主要优势在于简单高效、易于实现、能快速赋予模型特定任务能力，适合作为后续 RLHF 或对齐训练的初始模型。然而，SFT 也存在数据成本高、易产生幻觉、缺乏对比学习机制、泛化能力有限等缺点。在实际应用中，通常需要将 SFT 与 RLHF、PEFT 等技术结合使用，以平衡性能、成本和可靠性。