填一张表单要多久?云端多模态大模型的答案是几秒,FluidUse 的答案是 0.9 毫秒。这个开源项目没有走"截图—上传—识别—返回"的老路,而是直接调动 macOS 原生的 Accessibility API(辅助功能接口),抓取运行中应用或浏览器页面的表单上下文。
换句话说,它压根不看屏幕。图像级多模态那套长 Token 拼接被整个跳过了,元素树才是它的输入。
为什么能快一万倍
速度差的根源不在模型大小,在链路长度。云端方案要把画面传上去、等模型推理、再把结果传回来,每一环都是延迟。FluidUse 把决策放在本地,用一枚专为 Apple 神经网络引擎(ANE)或 GPU 适配的微型端侧模型——比如 706K 参数的表单填入模型 CUA-S1-FORMS——直接在 Neural Engine 上跑出概率填入抉择。
单次决策延迟约 1 毫秒,实测 0.9ms。所有运算不离机、不上传。
它只核对,不擅自提交
FluidUse 的定位很克制:把数据对齐回已知的本地数字画像,而不是让模型自由发挥写长文本。自由文本正是幻觉的高发区,它选择绕开。
更关键的是安全边界。项目默认拦截 Submit 提交指令,把最终决定权留给复核者。自动填表、业务审批这类企业流程里,这一步拦截决定了它能不能被放心用。
隐私、极速、安全,三个词在这套架构里不是并列的卖点,而是同一个设计选择的结果:数据不出机器,模型足够小,动作范围被锁死。
对于每天要在 Mac 上重复填几十张表的从业者来说,这可能是端侧 AI 最务实的一种落地方式——不追求通用智能,只把一件事做到毫秒级。
热门跟贴