follow us
AING硬迹
端侧AI最大的价值是让AI真正具备持续学习和长期记忆的能力
万象智维已完成数千万元的天使+轮融资,韶音领投,瀚晖投资,知行资本,宝尔爱迪跟投,源合、浪潮担任财务顾问。
万象智维(Omnimind)创立于2025年5月,创始人兼CEO王拓为目前为清华大学计算机系在读博士生,公司发起人任炬是清华大学计算机系副教授、教育部长江学者特聘教授。依托清华大学泛在智能实验室(THU OmniLab)孵化成立,团队来自清华、北大、上海交大以及腾讯、阿里、字节等高校和企业。
万象智维确认方向是做端侧AI的软件基础设施,以及端侧智算硬件。现有推理引擎真正针对端侧SoC的引擎还存在市场上的空白,因此万象智维推出了一个能覆盖各个端侧SoC品类的infra基座OmniInfer,OmniInfer的核心目标是能让大模型在端侧SoC芯片上以最小的资源开销实现最快的推理速度。
搭载OmniInfer后,在客户的同一台设备上,原本只能部署10B以下模型,其上限可以提高到30B模型。模型Prefill(预填充)速度最高提升接近15倍,Decode(解码)性能最高提升2.49倍,同时内存节省近一半。在端侧设备上跑Qwen3.5 9B这类大模型,其推理内存占用可以被压缩到3GB以下。
在OmniInfer之上,万象智维构建了第二层技术基座OmniClaw,这是一套专门为端侧小模型设计的Harness。OmniClaw则从工具和接口调用、推理时的引导及重试机制等方面为小模型重新设计,并内置了一套端云协同的智能路由体系,端侧能独立完成的任务就在本地执行,复杂任务自动引入云侧模型参与,在保证任务上限与纯云侧方案对齐的同时,Token成本还能实现较大幅度的下降。
基于此,他们推出了OmniStudio一站式端侧模型部署平台,与底层硬件深度合作,落地场景包括手机、电脑、智能家居、AI玩具、机器人等。
在C端市场上,万象智维推出一个消费级的端侧智算设备Taste,外观类似AI录音卡,无需占用手机算力,也能在端侧部署模型,还能成为用户积累上下文、独立跑任务的移动端设备。
万象智维希望Taste最终能成为用户的个人上下文存储的Memory设备,自研的端侧微调算法OmniTune,实现白天跟随用户正常使用,夜间利用空闲算力完成自学习,将白天的交互内容内化到模型参数里。万象智维在每一台设备上部署一个用户独立的LoRA,随着用户积累的数据不断调整LoRA参数,达到持续学习的效果。随着时间累积,每个用户都会拥有一个权重与众不同的专属模型。
端侧成本这件事,不会成为大家永久的痛点。”王拓为说,一个积累了长时间、个性化上下文的产品,天然会产生自己的壁垒——成为用户的一个能持续学习、真正个性化的助手。
AING硬迹正在打造AI硬件社区,对加入社群感兴趣的读者,欢迎扫码下方二维码加入【AING硬迹产业交流群】
AING硬迹
AING,取自“AI+ING”的缩写,中文谐音“硬迹”,寓意着“人工智能正当其时”,致力于追寻硬科技发展的足迹,不断探索人工智能与智能硬件的深度融合。
未来,AING硬迹将不断发布AI大模型技术、AI产业生态、AI硬件产品等行业资讯、发展趋势与市场动态,我们相信大多数硬件都值得用AI重做一遍,AING硬迹期望与AI大模型厂商、与AI硬件厂商共同成长,迎接AI时代的来临。
人工智能正当时
一起追寻AI+硬件的足迹
热门跟贴