一份未公开的财务报表、一段核心业务代码、一场涉及战略决策的内部会议,能不能放心交给AI处理?
为了准确理解业务任务,AI往往需要深入调阅企业内部的客户资料、研发文档与历史决策记录。业务对AI的依赖越深,企业越需要弄清楚:数据流向了哪里?谁有权访问?哪些信息被长期留存,又以何种方式被使用?
企业希望借助AI理解自身业务,更希望将核心数据与业务认知牢牢掌握在自己手中。
这正是明略科技持续深耕端侧模型及相关生态布局的出发点:通过端侧模型、本地推理优化与私有化部署体系,为企业探索AI落地提供更加可信、可控且灵活的技术路径,筑牢数据安全与隐私防线,为企业掌握自身数据与知识资产的自主权提供坚实支撑。
端侧部署,改变数据流向的物理落点
端侧模型,是能够在个人电脑、工作站或企业自有设备上运行的模型。端侧部署,则是将推理算力下沉到数据产生与业务发生的源头。看起来只是模型“跑在哪里”的区别,实际改变的是数据的流动边界。
以GUI智能体为例。若要像人类一样操控操作系统,智能体需要持续捕获屏幕画面,解析图标、文本与窗口,进而规划操作路径。屏幕上可能出现合同金额、客户姓名、内部审批信息,也可能直接显示尚未公开的产品和经营资料。在纯云端架构下,每一步交互都需要将原始图像经公网回传至外部服务器处理。
端侧本地推理则重构了这一路径。屏幕抓取、任务解析与操控指令均在本地闭环运行,从物理层面阻断了敏感信息的外流风险。
从模型到协作网络,明略的端侧AI体系布局
要让模型在本地稳定可用,不能仅靠单纯的参数裁剪。它要求模型具备扎实的垂类任务理解能力,设备具备高效承载推理的工程框架,同时还需要配套智能体协作系统无缝接入现有的企业业务流。围绕这些环节,明略科技逐步形成了端侧模型、推理优化与组织协作相互配合的技术布局。
兼顾多元场景的端侧模型矩阵
今年,明略科技相继开源了GUI智能体模型 Mano-CUA 与端侧语音识别转写模型 OctoASR。
Mano-CUA以纯视觉理解为核心技术范式 ,不依赖外部接口与协议,能够直接理解并操控桌面软件、3D 应用及复杂的专业工具,从根本上打破了传统基于浏览器的生态边界 。在此前的测试结果中,Mano-CUA 1.0 以 72B 参数量的完整模型版本,在全球多模态领域的 13 个权威基准测试榜单中,实现了针对小尺寸模型的屠榜式 SOTA 领先;4B量化模型则用于适配端侧设备,在配备Apple M4 Pro芯片的设备上,峰值内存占用仅为4.3GB。
语音是另一类包含大量敏感信息的数据入口。OctoASR是一款0.8B参数的端侧语音识别转写模型,依托对行业语料的针对性优化,OctoASR 能够精准识别英文术语、缩写、产品名等专有名词及中英混合表达,有效解决通用模型常见的术语误转、中英混说断句混乱等痛点,并可确保音频与转写数据不出本机,隐私数据处理更有保障。
目前,公司已构建起覆盖多模态理解、代码生成、工具调用、上下文学习与通用认知推理等能力的多元端侧模型,并可根据客户的具体场景需求组合不同能力域,灵活定制模型尺寸。
深度适配macOS生态的端侧推理加速框架
端侧模型具备任务执行能力之后,还要解决设备算力和内存的限制。模型如果运行缓慢、资源占用过高,本地部署就很难进入日常使用。
基于此,明略科技开源发布了端侧推理加速SDK——Cider,针对macOS和Apple Silicon平台进行优化,补充Apple MLX原生框架在激活量化及特定张量计算方面的能力。Cider通过提升推理效率、降低内存占用,降低了端侧模型的部署门槛,为模型在个人电脑和其他端侧设备上运行提供工程支撑。
开源可信的Agent协作网络
企业对AI的应用极少孤立存在于单台设备上。端侧处理保证了输入与推理的安全性,但在实际业务中,多个智能体与员工之间仍需要进行协同分工、上下文传递与交付验证。数据在本地完成推理之后,需要在组织内部有边界地流转和沉淀。
明略科技开源的Agent协作网络 Octo 以构建“Agent之间的互联网”为目标,为智能体提供身份标识、任务编排、上下文共享和工作记录能力,让多个Agent能够在人类引导下协同完成任务,推动AI Agent由个人效率助手升级为可协同、可编排、可沉淀的组织级数字劳动力。
在此基础上,Octo 依托明略科技长期积累的企业级知识图谱能力,可以将分散在任务、对话与业务记录中的信息进一步关联和组织,形成可追溯、可复用的结构化知识网络,使上下文不只服务于单次协作,也能够持续支持后续任务与决策。
Octo支持私有化部署,结合清晰的数据归属设计,其让数据主权、知识主体与协作主体真正回归用户与组织,同时使个人暗默知识在尊重数据边界的前提下得到保护、放大与传承。
从守住数据边界,到构建企业自己的Private AI
端侧技术与协同架构的日趋成熟,为企业构建 Private AI 提供了切实可行的支撑,也给了企业更多主动权。对于财务数据、客户信息、核心代码等敏感内容,企业可以通过端侧模型就地处理;对于不涉及敏感信息、需要更大算力的任务,也可以灵活调用云端能力。数据在哪里处理、可以流向哪里、哪些内容能够被留存,都应由企业根据自身的业务需求和安全规范自主决定。
Private AI 的价值也不止于保护已有数据,还在于沉淀 AI 使用过程中不断产生的新知识。企业每一次对 AI 的调用、修正与验收,都在形成新的业务认知。员工的判断标准、工作习惯、决策依据,以及经过反复验证的工作流程,会在人机协作中逐渐沉淀为企业独有的知识资产。只有当这些信息能够在企业内部被私有化保存、有序流转和持续复用,AI 带来的能力才会真正沉淀在组织之中。
模型会不断更新,技术路径也会持续变化,但企业在真实业务中积累的数据、知识与经验,始终应该掌握在自己手中。数据隐私安全守住的是企业应用 AI 的底线,数据主权进一步决定了企业能否持续积累并发展自己的 AI 能力。
通过端侧模型、本地推理优化与组织协同网络的持续布局,明略科技致力于为企业构建可控、可信的 Agentic AI 能力,让企业在拥抱AI生产力跃迁的同时守住数据边界,在技术持续演进中掌握主动权,打造AI时代的组织智能。
关于明略科技
明略科技(2718.HK),成立于2006年,中国领先的具备自研模型能力的Agentic Service企业。2025年作为"全球Agentic AI第一股"登陆港交所。曾两度斩获吴文俊人工智能科学技术奖,多次入选Gartner、IDC相关报告,拥有2400余项技术专利及500余项软件著作权。近年来,多个AI模型在全球权威榜单取得领先成绩。依托20年技术积累,明略科技已服务135家财富世界500强、约2100家品牌客户及超24万家企业用户,覆盖零售、消费品、汽车、3C等行业。
热门跟贴