如今的智能体PC到底发展到什么程度了?对于这个问题,英特尔可能是最有资格回答的。
最近,雷科技(ID:leitech)就受邀参加了英特尔在北京举办的智能体PC应用分享会。在这场分享会上,英特尔并没有上来就介绍芯片的算力、性能,而是聊了另一件事——成本。
图源:雷科技
用过AI的朋友都知道,我们得到的每一次回答,背后都是成千上万Token的消耗,根据问题和任务的复杂度,使用成本也会出现明显不同,真要往狠地用,几千万美刀的预算都是说没就没。
在高昂的使用成本面前,智能体PC的普及必然会受阻,这显然不是AI公司和PC公司想看到的,那么又该如何解决这个问题呢?答案是:端云协同。
端云协同,把AI成本打下来
分享会中,英特尔给出了一列数据,展示了在纯云端或纯端侧的情况下,用户或企业部署和使用AI的成本都非常高昂,只不过两者所处的高位时间点不同。
纯本地部署的情况下,初期就需要花费数万甚至数十万去购置算力卡等硬件,而纯云端则是随着使用时间、任务复杂度而增加,并且增长几乎没有上限。作为对比,采用第三代酷睿Ultra处理器打造的端云协同智能体,则是同时具备两个模式的优势:低硬件成本和低云端成本。
英特尔将这条成本曲线称之为“微笑曲线”,这么叫倒也没错,毕竟钱花得少,活也干少了,用户自然是开心了。
图源:雷科技
对于多数办公人士来说,端云协同模式的成本确实是最低的。在英特尔展示的文档处理场景中,Token消耗下降高达69%,并且反应延迟降低了43%,而给出的结果几乎完全一致。
英特尔是怎么做到的?这就要说到英特尔提出的LLM、ASR、OCR、TTS、CV/VLM、Image Gen和Omni七类本地AI关键能力,翻译成中文就是:想、听、写、说、看、绘和全能。
图源:雷科技
简单来说,就是让PC自己完成听、说、看、写、想和画这些基础工作。比如语音转文字,没有必要每次都把几个小时的录音上传到服务器,而是先在本地把录音进行预处理,然后再根据任务需求将处理后的录音转译文稿发送到云端做进一步处理,如果是不复杂的任务,甚至可以直接在端侧完成全部处理。
再比如说一个简单的OCR识别发票,放到云端的话消耗的算力很可观,但是在端侧用本地模型识别的话,很多时候只是速度稍慢一些,实在遇到识别困难的再提交到云端进行处理。
通过将任务拆解然后分布式运算,英特尔PC能够将智能体应用的运行成本压缩到原来的二分之一甚至更低,具体则是取决于任务的复杂程度。
图源:雷科技
那么问题来了,谁来决定一个任务的哪些部分在本地跑?哪些部分在云端跑呢?英特尔给出的方案叫SuperClaw模型路由。它会先拆解任务,再判断不同环节应该调用本地还是云端能力,并且需要上传的信息先在本地脱敏,如果结果不达标还会重新执行,再根据反馈持续调整路由策略。
小雷觉得,这可能才是混合AI真正重要的部分,过去我们讨论端云协同,经常只是简单理解成“大模型联网,小模型离线”,但对于智能体来说,它面对的是一条完整工作流。
比如说整理一次采访资料,可能同时涉及OCR、语音识别、本地文件搜索、大模型推理和表格操作,怎么让AI正确理解和调配各个功能和模型,以及怎么决定每一步在哪里跑,比单纯塞一个更大的模型进PC要更重要。
除了SuperClaw模型路由,还有MoE专家卸载技术。
虽然MoE专家卸载技术在分享会上所占的篇幅并不大,但是小雷觉得这才是英特尔核心技术之一。这是一个针对MoE模型专门设计的内存调度机制,其核心是利用MoE模型虽然参数规模很大,但每次推理并不会把所有“专家”全部调用一遍的特点。
图源:雷科技
英特尔联合江波龙、群联电子等AI SSD厂商,将部分数据和专家模块调度到存储侧,从而降低模型对系统内存的占用,就相当于从大容量的硬盘中临时调用部分存储,用来数据。
按照现场公布的数据,35B模型运行时可以节省约10GB内存占用。这意味着什么?这么说吧,过去想在本地跑一个35B级别模型,即使是采用统一内存也至少要64GB内存起步。
但按照英特尔展示的方案,32GB主流配置也有机会承载35B模型,同时还能给Windows和其他应用留下运行空间,不至于AI跑起来电脑就干不了别的。
其实不难发现,英特尔一直在尝试用各种方式去降低智能体PC的入门门槛和使用成本,甚至在处理器产品线上也做了很大力度的优化。比如第三代酷睿Ultra既有358H这样的高性价比次旗舰型号,也有325这样主打性价比市场的型号,两者虽然在性能上区别较大,但是在AI能力上差距则是缩小到30%以内。
图源:雷科技
倒也不难理解,毕竟一项技术只有旗舰机能用,最多叫展示,只有真正进入5000元、6000元价位段,才能谈普及。
英特尔想给智能体应用们“造轮子”
此次分享会除了展示英特尔的AI技术进展外,也集中展示了英特尔的AI伙伴们的成果。而且,这一切都要追溯到今年4月时,英特尔首次提出“智能体PC”的逻辑架构。
在短短三个月后,英特尔再次把Flowy、QClaw、remio、TRAE、DuMate、YOYO Claw、Marvis等一批生态伙伴拉到现场,一口气展示了20多项智能体PC应用。从现场来看,英特尔对于“智能体PC”的理解,已经明显不只是“在电脑上跑一个大模型”。
图源:雷科技
按照英特尔中国区技术部总经理高宇的说法,个人计算正在从“工具增强”进入“智能伙伴”阶段。智能体PC需要具备思考、调度、执行、交互和记忆五个模块,AI不只是等着用户问一句、答一句,而是主动拆解任务,再调用不同能力完成整个流程。
听起来有点抽象?直接看现场演示就容易理解多了。比如remio的知识工作场景,用户可以一次性导入多份访谈文档和录音,AI在本地完成语音转写,然后跨文档寻找信息、聚合结论,最后再把结果导出。
图源:雷科技
对于经常跑展会、做线下走访的小雷来说,这个场景确实很熟悉。就拿发布会来说,一场群访结束,起步一小时的录音需要先转录,然后再看文字稿,再对照资料找信息,最后手动整理进提纲。
现在,只需要把录音和各种资料文档一起丢给remio,它就会自动整理并核实,同时结合资料来检查录音转录的文稿,确保与官方资料保持一致,这就相当于把后期处理的时间成本直接压缩,让用户有更多的精力去思考内容。
类似的演示还有不少,可以说直接覆盖了许多人的日常工作和生活场景,这也让小雷意识到英特尔是真的想讲好“AI PC”的故事。他们一直在挖掘真实的使用场景,然后去倒推AI PC的功能升级,以此去回答目前用户的最大问题:它到底能帮我干什么?
不过,看完现场20多个Demo后,小雷还是有一个很明显的感受:智能体PC现在真正难的,可能已经不是再做一个AI功能了,而是怎么让这些功能稳定地跑在不同品牌、不同配置的电脑上。
图源:雷科技
说实话,AI行业从来不缺Demo,小雷参加过许多场关于AI PC的发布会,但是也一直好奇一个问题:离开了这个配置和环境,我能够得到的体验还是一样的吗?纯云端的智能体应用可以直接回答这个问题,但是端云协同的却不行,因为它有相当部分推理是在本地跑的。
所以这次英特尔花了不少篇幅讲Skills,前段时间用过OpenClaw等Agent软件的朋友对此肯定不陌生。简单来说,就是英特尔希望打造一个Skills生态,把各个智能体应用都拉进去,让大家可以共享一套Skills,让智能体应用至少具备相同的基础能力。
图源:雷科技
目前,英特尔已经在Marvis、TRAE、YOYO Claw等桌面智能体软件中上线端侧AI Skills及专区,同时与魔搭社区共建AI PC专区,希望把ASR、TTS、OCR、本地文生图等能力,做成开发者和软件厂商可以直接调用的模块。
只能说不愧是PC行业的祖师爷,这套操作也算是“祖宗之法”了。毕竟PC行业过去几十年能形成庞大的软件生态,很重要的原因就是开发者不用从显卡驱动、处理器指令集开始造轮子,而是有大量现成的工具可以使用。
AI智能体同样如此,如果每家公司都去自己做一套OCR、语音识别、模型路由,最后的结果只会是大量重复开发。所以,英特尔把基础能力变成Skill,让不同Agent直接调用,智能体PC才可能真正从Demo走向软件生态。
图源:雷科技
有人可能要问了:“那不同的智能体应用还有什么区别?”区别当然是有的,基础能力相同不代表进阶能力相同,模型调度、任务推理等步骤才是应用之间的竞技场,也是真正体现智能体和模型能力的地方。
说实话,从今年4月首次提出智能体PC架构,到现在20多项场景落地,英特尔只用了三个月,速度确实不慢,英特尔自己也用“百日冲刺”来形容。而且他们也终于证明了一件事:AI真的可以替你干活。
热门跟贴