低成本AI模型的突破

研究人员在短短26分钟内，以不到50美元的成本，成功训练出一个名为s1的AI推理模型，该模型的表现可与OpenAI的模型相媲美。这项研究由斯坦福大学和华盛顿大学的研究人员共同完成，并于2月6日发表相关论文。

技术细节

研究人员采用了一种称为“蒸馏”的方法，通过从谷歌的Gemini 2.0 Flash Thinking Experimental模型中提取答案来优化s1模型。s1基于阿里巴巴云的开源模型Qwen2.5，最初使用了59,000个问题的数据集进行训练，但最终发现仅用1,000个问题即可达到相似效果。整个训练过程仅使用了16块Nvidia H100 GPU。

创新技术的应用

s1模型还引入了“测试时扩展”技术，允许模型在生成答案前有更多时间进行推理。研究人员通过在模型响应中添加“Wait”指令，促使模型重新检查其答案，从而提高准确性。实验结果显示，s1在某些数学竞赛题目上的表现比OpenAI的o1-preview高出27%。

行业影响

这一成果表明，开发高效且低成本的AI模型已成为可能，这可能对依赖巨额资金和大量硬件资源的大型科技公司构成挑战。未来，更多的小型团队或个人开发者或许能够以更低的成本开发出具有竞争力的AI模型。

（来源：The Verge，2025年2月6日）

参考链接:
https://www.theverge.com/news/607341/researchers-cheaper-openai-rival-training