本地写代码的智能体,大多跑在一层很脆的结构上:先起一个外部HTTP守护进程,比如Ollama、vLLM或llama-server,再通过localhost:11434用REST或SSE跟它说话。Ibrahim El Feqi(@ielfeqi)把这层结构的问题拆得很直接——当多智能体循环连续执行20到50轮工具调用时,每一轮的系统提示、AST差异、token流都要走一遍完整的JSON编解码和TCP套接字上下文切换。

代价不止是序列化。每一轮都会让外部服务器缓冲区里的前缀失效,或者被迫重新计算,延迟从毫秒级膨胀到每轮数十秒。更麻烦的是长上下文里注意力衰减后,模型会吐出带省略号的截断替换,把几百行代码悄悄抹掉。

Omni Engine的解法是把llama.cpp通过C-FFI直接嵌进进程里,整个运行时用纯Rust写。它不拉起子进程,也不查询守护进程,token生成的指针直接写进Rust的内存区。作者给出的数字是:在消费级硬件上,子智能体之间切换上下文降到6毫秒以内,覆盖Apple Silicon M系列、x86_64 AVX2和NVIDIA RTX。

支撑这个数字的是O(1)的KV缓存区切片:预先分配连续的整块内存,切换时不需要重新搬运。执行全程在设备上离线完成,没有云端token消耗,也没有遥测。

第二个卖点是零擦除不变量,写作W = ∅。在磁盘被改动之前,运行时先做一次校验:如果模型试图生成破坏性差异、残缺片段或格式错误的AST,事务直接失败关闭。宿主文件在隔离沙箱内测试通过之前保持完全不动。

沙箱用的是Bubblewrap。每次工具调用——编译、跑测试套件、执行脚本——都被关进Linux内核命名空间里:unshare-net彻底切断外网,系统根库只读挂载,可写工作目录是临时的tmpfs,改动在验证完成前被隔离。

并发表现上,作者在单张Tesla T4 GPU上做了一次50线程并发重构压力测试,用来衡量高负载下的智能体稳健性。仓库、文档和一行安装命令都已放出,安装方式是从GitHub拉取install.sh直接执行。

这套东西瞄准的不是又一个本地推理服务,而是把推理、差异校验和沙箱执行压进同一个进程边界。对天天跟多轮工具调用打交道的开发者来说,6毫秒这个量级值得盯一眼。