基础概念

SFT(Supervised Fine-Tuning)是一种机器学习技术,特别是在自然语言处理(NLP)领域中,用于优化预训练的语言模型(LLM)以适应特定的任务或数据集。在SFT过程中,首先使用大量无标签数据对模型进行预训练,使其学习语言的基本结构和模式。然后,使用有标签的数据集对模型进行微调,这些数据集通常包含输入和期望的输出,如提示(prompt)和答案(answer)对。

基本原理

SFT的使用非常简单 - 训练过程和目标与预训练非常相似。此外,相对于预训练,该方法在执行对齐方面非常有效,并且计算成本较低(即,如果不是更低,则比预训练便宜100倍)。如上图所示,仅使用SFT(即,没有任何RLHF)在模型的指令跟随能力、正确性、连贯性和整体性能方面都有明显的好处。换句话说,SFT是一种提高语言模型质量的高效技术。然而,我们应该记住它并不完美!以下是我们应该考虑的一些缺点。

打开网易新闻 查看精彩图片

通过SFT,模型能够学习到特定任务的特定模式和特点,从而在执行特定任务时表现得更加精确。这个过程涉及到调整模型的权重,使其更好地匹配特定任务的数据分布。SFT与预训练过程类似,都是基于下一个标记预测的目标进行训练,但SFT使用的是高质量的LLM输出的监督数据集,而不是原始文本数据。

SFT的优点在于它能够有效地利用预训练模型的通用知识,同时通过微调来适应特定的应用场景,这使得它在计算上相对廉价,且执行对齐方面非常有效。然而,SFT也有其局限性,它可能不适用于所有类型的任务,且需要有标签的数据集来进行微调。此外,SFT不会使模型失去其通用问题解决能力,因为它是为了模仿正确的风格或行为而进行微调,而不是专门为解决特定任务而设计。

关于SFT更加深入的原理分析,我们近屿智能OJAC推出的《AIGC大模型工程师和产品经理训练营》中不仅有博士级专家教授的针对该知识点的讲座,还有其他独家且领先的AIGC知识。我们的课程是一场结合了线上与线下的双轨合流式学习体验,别人教您使用AIGC产品,例如ChatGPT和MidJourney,我们教您增量预训练,精调大模型,甚至提供A800算力的硬件支持,和你创造属于你自己的AI产品!

打开网易新闻 查看精彩图片

上面的AIGC大模型工程师和产品经理学习路径图是近屿智能的核心产品,此图覆盖了从A1级别到A7级别的全方位技能提升,包括AIGC大模型的核心技术、算力需求分析等关键知识点。无论是AI领域的新手还是已具备一定基础的专家,都能依据这一路线图找到适合自己的发展道路。

如果您还有任何疑问或者想要深入了解更多课程内容,请随时联系我们。我们期待着与您共同开启下一阶段的AI探索之旅。