大多数AI编程助手用起来很快就变重。把打开的标签页、大文件树、几十个工具schema塞进每一轮对话,一个简单的编码请求很容易膨胀到3万到10万以上token,延迟跟着涨,API额度也跟着烧。

打开网易新闻 查看精彩图片

Sidekick Code AI的作者想验证的是相反的路子:如果把上下文检索收得又紧又可控,编辑器里的编程助手还能有多好用?

最近一次真实代码生成回合的追踪记录里,总token消耗是3.13K,完成时间约2秒。其中输入2.75K token,占88%,包括系统提示、用户请求和定向拉取的本地上下文;输出383 token,占12%,是聚焦的代码生成和下一步指引。

对自带密钥(BYOK)的工作流来说,把日常回合压在3K token左右差别很大:在中端模型上,一次请求花费不到两美分;在轻量模型上,花费只是十分之一美分的一小部分。

做到这一点靠三个决定。

  • 本地索引,不整文件倾倒:默认不把整个文件或每个打开的编辑器标签塞进提示,而是在本地建索引,只拉当前请求真正相关的片段。
  • 精简提示与schema开销:每一个没用上的工具定义、每一段啰嗦的系统指令,都会在每次调用时被token化。基础提示保持紧凑,用户还没开始打字,上下文就不会先胖起来。
  • 定向、增量式修改:不让模型一口气重写大模块,而是把提示组织成一步步生成聚焦的改动,输出token压在300到500左右,延迟维持在2秒上下。

想在真实仓库里试的话,可以在VS Code的快速打开(Ctrl+P / Cmd+P)里安装:ext install alidendenne.sidekick-code-ai,或者在终端执行 code --install-extension alidendenne.sidekick-code-ai。

作者表示,正在根据真实开发者工作流持续打磨本地索引和上下文预算,遇到摩擦或边缘情况,欢迎在评论区给技术反馈。