![](http://dingyue.ws.126.net/2024/0815/320405c5j00si8ls900led000v900kjp.jpg)
机器之心经授权发布
作者:李沐
- 给小伙伴汇报一下 LLM 创业第一年的进展、纠结和反思。
在 Amazon 呆到第五年的时候就想着创业了,但被疫情耽搁了。到第 7 年半的时候,觉得太痒了,就提了离职。现在想来,如果有什么事这一辈子总要试下的,就蹭早。因为真开始后会发现有太多新东西要学,总感叹为啥没能早点开始。
名字:BosonAI 的来源
创业前做了一系列用 Gluon 命名的项目。在量子物理里,Gluon 是把夸克绑在一起的一种玻色子,象征这个项目一开始是 Amazon 和 Microsoft 的联合项目。当时项目经理拍拍脑袋名字就出来了,但取名对程序员来说很困难,我们每天都在纠结各种文件名和变量名。最后新公司干脆就用玻色子(Boson)来命名了。希望大家能 get 到 “Boson 和费米子组成了世界” 这个梗时会会心一笑。但没料到很多人会看成 Boston。
“我来波士顿了,找个时间碰碰?” “哈?可我在湾区呀”
融资:签字前一天领投方跑路
22 年年底的时候想到两个用大语言模型(LLM)做生产力工具的想法。碰巧遇到张一鸣,就向他请教。讨论之后他反问:为什么不做 LLM 本身呢?我的下意识退缩:我们之前在 Amazon 的团队做了好几年这个,得上万张卡,和 blabla 这么一大堆困难。一鸣呵呵表示:这些都是短期困难,眼光得看长远点。
我的优点是听劝,真就去做 LLM 了。凑齐了数据、预训练、后训练、和架构各方向负责人的创始团队,就去融资了。运气不错,很快拿到了种子投资。但钱还不够买卡,得去拿第二轮。这一轮领头是一家非常大的机构,做了几个月文档、商讨条款。但在签字前一天,领头说不投了,直接导致了跟投的几家退出。很感激剩下的投资方,还是做完了这一轮,拿到了做 LLM 的入场券。
今天反思的话,当时蹭着资本市场热情还在,其实可以继续融资,说不定也跟其他友商一样,现在十亿现金在手。当时担心融资太多,会不好退出,或者被架到天上去了。现在想来,创业就是想逆天改命,想什么退路呢?
机器:第一批吃螃蟹的人
有了钱后就去买 GPU。问各个供应商,统一回复是 H100 交货得一年以后了。灵机一动,直接给老黄写邮件。老黄秒回说他来看下。一个小时后超微的 CEO 就打电话过来了。多付了些钱,插了个队,20 天后拿到了机器。很荣幸早早的吃到了螃蟹。
螃蟹吃到怀疑人生,遇到了各种匪夷所思的 bug。例如 GPU 供电不足导致不稳定,后来靠超微工程师修改 bios 代码打上补丁;例如光纤的切开角度不对,导致通讯不稳定;例如 Nvidia 的推荐网络布局不是最优,我们重新做一个方案,后来 Nvidia 自己也采用了这个方案。至今我都不理解,我们就买了不到一千张卡,算小买家吧。但我们遇到的这些问题,难道大买家没遇到吗,为啥需要我们的 debug?
同时我们还租了同样多的 H100,一样是各种 bug,GPU 每天都出问题,甚至怀疑是不是这个云上就我们一个吃螃蟹的。后来看到 Llama 3 的技术报告说他们改用 H100 后,训练一次模型被打断几百次,对字里行间的痛苦,很是共情。
如果对比自建和租卡的话,租三年成本和自建成本差不多。租卡的好处是省心。自建的好处有两个。一是三年后如果 Nvidia 技术还遥遥领先,那么它能控制价格使得 GPU 仍然保值。另一个是自建的数据存储成本低。存储需要跟 GPU 比较近,不管是大云还是小 GPU 云,存储价格都高。但一次模型训练可以用几 TB 空间存 checkpoint,训练数据存储是 10PB 起跳。如果用 AWS S3 的话,10PB 一年两百万。这钱用来自建的话,可以上 100PB。
商业:感恩客户,第一年收支平衡
非常幸运的,我们第一年收入和支出是打平的。我们支出主要在人力和算力上,感谢 Openai 的财力和 Nvidia 的遥遥领先,这两项支出都挺大的。我们的收入来源是给大客户做定制的模型。很早就上 LLM 的公司大都是因为 CEO 非常有决策力,他们没被高昂的算力和人力成本吓到,果断的去推动内部团队配合尝试新技术。非常感恩客户给了我们喘气的时间,不然这个几个月我又是奔波在各个投资人那里。
接下来应该会有更多公司才尝试使用 LLM,不论是自己产品的升级,还是降本增效。原因是一方面技术成本在降低,另一方面行业领先者(例如我们客户)会陆续放出基于 LLM 的产品出来,把行业卷了起来。
我们也在关注 LLM 在 toC 上的落地。上一波顶流例如 c.ai 和 perplexity 还在找商业模式,但也有小十来家 LLM 原生应用收入还不错。我们给一家做角色扮演的创业公司提供了模型,他们主打深度的玩家,打平了收入和支出,也是厉害的。模型能力还在进化,更多模态(语音、音乐、图片、视频)在融合,相信接下来还会有更有想象力的应用出现。
整体来说行业和资本还是急躁的。今年好几家成立一年多但融资上十亿的公司选择退出。从技术到产品就是一个很长的过程,花 2、3 年实属正常。算上用户的需求的涌现,可能得花更长时间。我们专注当下在迷雾中探路,对未来保持乐观。
技术:LLM 认知的四个阶段
对 LLM 的认知经历了四个阶段。第一阶段是 Bert 到 GPT3,感受是新架构,大数据,这个可以搞。我们在 Amazon 的时候也是第一时间进去做了大规模的训练和在产品上的落地。
第二阶段是刚创业的时候 GPT4 了放出来,大受震撼。大半原因来自技术不公开了。根据小道消息估算一次模型训练一个亿,标数据成本几千万。很多投资人问我复现 GPT4 成本得多少,我说 3-4 亿要把。后来他们中一家真一把投了大几亿出去。
第三阶段是创业的第一个半年。我们做不动 GPT4,那就想着从具体的问题出发吧。于是开始找客户,有游戏的、教育的、销售的、金融的、保险的。针对具体的需求去训练模型。一开始市面上没有好的开源模型,我们就从头训练,后来很多很好的模型出来了,降低了我们成本。然后针对业务场景设计评估方法,标数据,去看模型哪些地方不行,针对性提升。
23 年年底时,惊喜发现我们的 Photon(Boson 的一种)系列模型在客户应用上的效果都打赢 GPT4 了。定制模型的好处是推理成本是调用 API 的 1/10。虽然今天 API 已经便宜很多,但我们自己技术也同样在进步,仍然是 1/10 成本。另外,QPS,延时等都更好控制。这个阶段的认知是对于具体应用,我们是可以打赢市面最好模型的。
第四阶段是创业的第二个半年。虽然客户拿到了合同里要的模型,但还不是他们理想中的东西,因为 GPT4 还远不够。年初时发现针对单一应用训练,模型很难再次飞跃。回过头想,如果 AGI 是达到普通人类水平,客户要的是专业人士的水平。游戏要专业策划和专业演员、教育要金牌老师、销售要金牌销售、金融保险要高级分析师。这都是 AGI 加上行业专业能力。虽然当时我们内心对 AGI 充满敬畏,但感觉是避不开的。
年初我们设计了 Higgs(上帝粒子,Boson 的一种)系列模型。主打通用能力紧跟最好的模型,但在某个能力上突出。我们挑选的能力是角色扮演:扮演虚拟角色、扮演老师、扮演销售、扮演分析师等等。24 年年中的时候迭代到第二代,在测试通用能力的 Arena-Hard 和 AlpacaEval 2.0 上,V2 跟最好的模型打得有来有回,在测试知识的 MMLU-Pro 上也没差很远。
![](http://dingyue.ws.126.net/2024/0815/b96d22f6j00si8lp8000wd000u0009lm.jpg)
Higgs-V2 是基于 Llama3 base,然后做了完整的 post-training。我们无法像 Meta 那样花大钱标注数据,所以 V2 比 Llama3 Instruct 好,原因应该还是主要来自算法的创新。
然后我们做了个评估角色扮演的评测集,包含按照人设扮演,和按照场景扮演。怪不好意思是自己的模型在自己的榜单上拿了第一。但模型训练中是没有碰评测用的数据。因为这个评测集一开始就是想自用,希望能真实反映模型能力,所以要避免模型 overfit 数据集。但做评测的同学想写技术报告,所以放出来了。有意思的是,按角色扮演的测试样本来自 c.ai,但他们家的模型能力是垫底的。
![](http://dingyue.ws.126.net/2024/0815/dc10fe3fj00si8lp8003yd000su00yqm.jpg)
第四阶段的认知是,好的垂直模型通用能力也不能弱,例如 reasoning,instruction following 这些能力垂直上也是需要的。长远来看,通用和垂直模型都得朝着 AGI 去。只是垂直模型可以稍微偏科一点,专业课高分,通用课还行,所以研发成本稍微低一点,研发方式也会不一样点。
那第五阶段认识呢?现在仍在进行中,希望能很快分享。
愿景:人类陪伴
说来惭愧,我们蒙头做技术,给客户做定制,然后再慢慢想我们自己追求什么愿景。我们去看客户想要什么、我们自己想要什么、未来可能需要什么。我自己的话,多年前我憧憬有个机器人保姆能帮我带娃、陪他们,因为干这个我觉得很难,而且也不太理解娃当前的认知和想法。我希望工作上有个非常厉害的虚拟助手能跟我一起发明新的东西。等我老了也想有很有意思的机器人陪着。我对于未来的预测是,生产工具越来越发达,一个人完成之前一个团队才能完成的事情,导致人类更加个体独立,大家都忙着追求自己的事情,从而更加孤独。
这些综合在一起,我们把愿景定成了 “人类陪伴的智能体”。一个情商很高的,智商在线的智能体。算换成现实中的人的话,应该会是一个专业团队。例如你想让它陪你玩,那它是专业策划 + 演员。陪你运动,那么鼓励师 + 专业运动教练。陪你学习,那么能把你不懂的讲懂。模型的好处是,它能做长期的陪伴,真的了解你。而且可以 “真心为你”。
不过目前技术离愿景还挺遥远。当下技术就能陪着聊聊。很多场景下聊得也不是那么好,内容匮乏,智商情商有时都不在线。都是当下要解决的问题。如果有小伙伴做这一块的海外应用,欢迎联系我们。
团队:有挑战的事情得靠团队
创业之后才真正觉得团队的重要性。在大厂的时候,觉得自己是个螺丝钉,团队成员是螺丝,甚至团队也是个螺丝钉。但创业团队就是一辆车。车小点,但能跑,能载重,转弯灵活,各个角落都能去。公司成立不久的时候,米哈游老蔡来看了眼,看见所有人在一间房子里,他感慨说小团队真好。
不方便的地方当然也是有的,时刻要看有没有油,不好走的路得小心别把车震散架了。每个成员都很重要,没有冗余,一个人不给力,就可能是一个轮胎没气。人也宝贵,走一个人就可能少一个轮胎。
以前我选项目会选自己能主导开发的。但这也意味着问题不是很有挑战性。创业选了个很大的问题去做,只能全靠团队了。别看本文里用了大量的 “我”,其实工作都是团队做的。没了团队,我可能得转行去卖课了。
个人追求:名还是利?
到目前为止我都靠跟着内心的声音做决定,工作后再去读博、去做视频、去创业。创业需要强烈动机的支撑,才能克服层出不穷的困难。这需要对自己的动机做更深入的分析。
动机要么来自欲望,要么来自恐惧。十年前我可能更热衷名利,但到了现在的年纪,觉得金钱的边际效用已经不高,名声带来的情绪价值也已经很小。我深层的动机来自对生命可能没有意义的恐惧。先不说宇宙的浩瀚,就是在人类的历史长河,一个人也只是一粒沙。意外的到来,迅速的消失。地球上生活过一千亿人,绝大部分人不会在历史上留下痕迹。我家家谱上那上千人名,我几乎都不认识。
那么一个人的存在的意义是什么呢?小时候曾因为想不清这个问题而抑郁。所以潜意识里,我想去创造价值,获得存在的意义。我选择 “上进”,去提升自己的创造价值的能力;选择录长视频和写教材,创造教育价值;选择去写读博、工作、创业的总结,描述里面的纠结和困难,创造事例的价值;选择去创业,团结很多人的力量去创造更大价值。
后记
去年跟宿华在斯坦福散步,他拍着我肩膀说:“跟我说句实话,你为什么想创业呀?” 当时候不以为然:“就是想换个事情做做”。然后宿华笑了笑。
现在我懂了,因为他经历了创业酸甜苦辣。如果今天再来回答这个问题,我会说:“我就是脑子抽了”。但也庆幸当时没想到会那么不容易,所以一头扎进来了。否则,大家看到的可能是「工作十年反思」。我觉得今天我写的故事更有意思些。
致敬所有创业人。
(最后广告下我司的招聘信息(湾区和温哥华)https://jobs.lever.co/bosonai 有做出海应用的小伙伴也请联系我们 api@boson.ai)
热门跟贴