近期，我们正在开展模型训练工作。与仅停留在AI工具调用或私有化部署的团队不同，我们不仅完成模型的本地化部署，还进一步涉及SFT（监督微调）和Fine-tuning（模型微调）等训练环节，这也是团队现阶段重点推进的工作。
因为涉及到基于MR空间的世界模型训练，所以我们几乎的研发过程中就是看论文、看文献，然后再做产品设计、再开发。
相较于普通调用API的AI应用产品经理团队来说，我认为现在最重要的是要去考虑到用户需要什么，而不是被API所限制。
同时知道AI大模型背后的API调用意味着什么，以及边界是什么，同时API的能力是什么，最基础的是清楚是单模态还是多模态，同时还有清楚模型的参数量。
当然，按照 Scaling Law，模型参数规模越大，其性能通常越强。但对于我们的实际应用而言，并不是单纯追求更大的模型，而是需要结合私有化部署、算力成本和具体业务场景，通过 SFT 与 Fine-tuning 提升模型在垂直领域中的实际效果。
但是耗费的算力资源与电费成本更高，而通过RAG 就可以搭配小参数模型，从而降低成本，但是小模型的限制就是因为需要检索与搭建向量知识库，导致速度较慢。
高参数虽然有更快更准确的性能，低擦书的稍微慢的性能同时需要自己搭建知识库，所以在现在企业里面如何选择不同的AI模型API就成了产品经理第一道难关。
因为再往下做深了就是自己模型微调与训练了，而团队技术人员限制与硬件限制，很多企业都止步于此。
首先我认为是自己微调与训练的模型没有比上通用模型，其次是人员成本高，投入产出几乎是亏损，这就导致现在市面上的AI公司两类，一类是AI应用，一个是模型公司，在两者之间的很少。
其实能够做上两者之间的，才能够往下走，哪怕是垂直模型，这个公司才有竞争壁垒，而这就要求你的业务数据是别人拿不到的或者很难拿到的，比如脑机接口数据、MR设备的世界扫描数据、以及某个业务的核心数据。
如果是在互联网上别人也能找到与建模的数据，那就没有什么意义了。
第二个是AI应用与模型的评测
现在模型公司发布模型都会做一些bechmark评测标准，这些其实本身是来自学术论文的，这些评价体系包括称呼都是来自科研界的。
因为模型厂商之间互相对比，导致这类词与概念走进了大众或者科技圈的研发视野。要知道做一个程序员或产品经理是不会关注这方面的评测、数据集、以及他的能力对比。
就是觉得好用与否
而现在模型的评测找到的榜单也很重要，比如我们做医疗RAG，现在benchmark绑定单模态的问答比不上多模态的开放式回答，后者更能够评价模型的通用性与临床可用性。
这部分的评价体系，如果没有做过计算机模型的科研方面，甚至是没有看过相关系列的文献，很多产品经理其实是不懂的，只能通过工程经验去踩坑总结经验，比如通过测试与用户反馈来收集，间接来反馈模型的好坏。
有相关研究的AI产品经理就会通过一些becnmark来评价模型，因为相较于用户评价与满意度，这些benmark有在垂直场景、对话、以及开放式等各个领域上，模型只要点满自己最适配的技能点即可。
3.对关文献的训练方法
在文献里有相当多数据集以及AI框架（偏向应用侧）以及模型的数据采集方式，不仅是自己标注数据，还有公共数据集以及生成式数据集，甚至是基于某些知识图谱或逻辑规则生成数据集。
而没有读过相关文献的产品经理，就只能看博客或者很少去知道如何查阅文献来完成模型能力的补全。
4.攻研读博的AI产品经理，知道AI产品的壁垒厚不厚
比如现在我看到现在很多人都做类似codex一样的编程工具，或者做AI应用。但是底层只要是别人LLM的，就像MANUS一样，各种套壳。
在国内做这类产品，付费率较差，同时监管难度高，难以有自己的护城河。即使你下面可以套壳不同的LLM。但是在中国的市场内，这些LLM模型厂商都终跟上你的生意，在监管备案、还是资质上，这些头部模型厂商都有资格或已经获批，创业公司做LLM就会面临以上问题，用户做上来了之后相关的下架通知就会来了。
而这类套壳的AI产品，出海则是最佳的出路，出海可以帮助做更少的障碍。国内做MVP，海外做推广才能有机会，否则就没有机会了。
反而做世界模型的、或者脑机接口的，因为数据底座就不一样，即使采用相同的transformer训练方式，也难以被模型厂商跟上，因为别人没有这方面的数据，同时脑机接口的数据不止是要数据还要人类的生理反应。
要神经科学、医学以及计算机共同作用才能够得到高准确率的脑机接口的解码大模型。
因此研究生或博士的产品经理，只要看多AI相关文献多，做过模型训练实验的就知道如何构建产品的壁垒，而不是走一个别人基座只上，别人一推就倒。
今天的分享就在这里
找我交流与合作 空间计算与脑机接口系统开发
题图来自 Unsplash ，基于 CC0 协议， 如有侵权，请联系pmtalk123删除
“分享产品经理改变世界的点滴”
产品顾问｜ 产品咨询｜培训合作
请添加微信PMxiaowanzi
最近我的原创
每日案例拆解库，AI等产品打卡群
我创建的产品设计打卡社群，加入后365天，每天体验一款APP。提升产品设计能力，同时有1300份体验报告帮助你找到竞品
在这里你可以随时查询到你想找的各类竞品行业APP，无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。
从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度，体验一款应用。
平均1天1块钱，扫码购买即可加入
连续体验48款应用，通过后原路退回
报名后添加星球助理
PMTalk123
热门跟贴