OpenAI发布的新一代o1模型，不仅带火了RL（强化学习），也带火了一个关键词CoT（思维链）。话说回来，到底什么是CoT，它有怎样的特点和优势？为什么能成为大语言模型领域当下瞩目的焦点？
如果你也好奇，接下来不如跟着司普科技1号解说员小司一起来看看。
什么是CoT？
CoT即Chain of Thought的缩写，翻译过来就是大家熟悉的“思维链”。
目前CoT在业内有多种说法，但总的来说，CoT通常被视为一种代表性的提示技术或提示策略，主要表现为引导大模型生成最终答案前进行逐步思考和推理，从而提高解决复杂问题任务的能力。
因此，CoT其实也可以视为是硅基大脑模仿人类进行分步推理，从而提升自身能力这样一个思维过程。
据了解，思维链的概念最早由谷歌大脑的一位高级研究员 Jason Wei（2023年Jason Wei已跳槽OpenAI）于2022年1月提出，并发表在论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》上。
虽然从时间维度看，CoT在2022年就已经冒头，但因为这项技术应用不深，加上在Input和Output过程中增加多步推理会增加相应的计算时间和算力成本，CoT当时并没有受到太大关注。
直到2023年以来，大语言模型在算术、常识、符号推理等任务上越发面临瓶颈，同时人们对大模型解决复杂任务的需求呼声越来越高，以CoT（思维链）为代表的大语言模型提示推理技术逐渐受到重视，并开始嵌入到主流的大模型的训练或推理中，成为显著提高大模型在算术、常识、符号推理等任务上的性能的关键技术。
举例：o1将CoT过程嵌入到模型训练中，整合强化学习，展现了更强的推理性能。
目前，思维链在业内拥有多个变体或形态，比如零样本思维链（Zero-Shot-CoT）、自动思维链（Auto-CoT）、多模态思维链推理（Multimodal-CoT）等。
虽然CoT并不是大模型性能提升的唯一解，它的深入应用让AI大幅拓展了能力界限，也提升着大模型在解决复杂任务或业务场景中的表现，加速着行业的商业化进程。
CoT有怎样的特点和优势？
因为CoT主要在模仿人类进行逻辑推理，并通过任务分解和分步推理来推动解决各类问题和任务，所以它在复杂任务上的推理性能更强，逻辑推理能力延伸到各类场景，也能保持较好的泛化能力。
此外，用户可以通过查看中间推理步骤来理解模型的决策过程（即CoT不仅给出答案，还附带解题思路），所以CoT的可解释性也更强，透明度更高，一定程度上能增加人们对大模型的理解和信任。
与此同时，CoT推理过程的可见性，也有助于当发现问题时及时通过调试推理路径来减少错误的发生，对于减少模型幻觉，显著提高LLM在推理等任务上的准确率也有一定助益。
另外，因为思维链推理支持文本、图像等多模态数据，且可以和少样本提示结合使用，以获得更好的结果输出，小样本及多模态能力强也被视为CoT的一大优势。
不过伴随大量中间步骤的推理，CoT在增强大模型推理能力的同时，计算成本更高，耗时也更久，且评估和验证方面也存在一定挑战。
虽然种种迹象表明：CoT 的应用能在很多任务中显著提高模型性能，但并非适用于所有任务。
比如有研究表明：在隐性统计学习、面部识别、含例外模式的数据分类等场景中，CoT 就可能无法带来性能的提升，反而会导致各种SOTA 模型性能的下降。
关于这点，科学家仍在小心验证，但也提醒着众人CoT 并非全能，有自己擅长和不擅长的领域。
CoT 与ToT的区别与联系
除了CoT（思维链），我们同时还能频频看到另一个词“TOT”。
TOT全称为Tree of Thoughts，翻译过来就是“思维树”，也属于一种新型的语言模型推理框架，主要在于推动LLM 模拟人类的决策过程，以解决复杂的任务问题。
虽然两者在外形和工作原理上很相似，但ToT和CoT属于两种不同的思维方式和技术。在很多情况下，ToT（思维树）常被视为 CoT（思维链）的一种扩展形态。
其中，CoT负责提供逐步推理的基础逻辑框架，而ToT 则为解决复杂问题提供更多的可能性和创新的解决方案。
两者相辅相成，让大模型通过中间推理增强自身性能成为可能。
以上就是今天的分享，希望有用~
备注：本文原创，首发司普科技，有参考IBM、澎湃新闻、unite.ai等，仅做分享。
热门跟贴