给一个自主AI代理设定严格预算,让它写一份复杂的研究报告。它怎么知道该用哪个大模型?
打开网易新闻 查看精彩图片
这是开发者最近在琢磨"代理网络"时撞上的问题——AI代理要替我们自主做事,可它做决策的依据从哪来。把任务路由给Claude、OpenAI,还是DeepSeek、Qwen这类开源模型?眼下哪家供应商的token价格最便宜?美东区域哪个端点延迟最低?
没有实时遥测数据,代理基本等于盲飞,或者只能沿用人类开发者几周前写死的默认值。
三个实时信号
为了解决这个问题,他动手做了Data4Agents,一个专门面向AI代理机器消费的API。目前聚焦三类核心实时信号:
- 实时大模型价格:持续更新不同模型、不同供应商的token定价,包括缓存命中与缓存未命中的成本差异。
- 供应商实时延迟:实时ping遥测,比如首token时间(TTFT)和吞吐量,让代理看到特定全球区域内当下哪家供应商真的最快。
- 智能模型推荐:一个动态路由端点(/v1/router/recommend),根据代理的具体任务约束——通用推理、编程、图像生成等——告诉它该选哪个模型。
他还发布了一份机器可读的运行手册,方便代理直接读取接入方式。
价值在哪
设想一群AI代理为一家创业公司干活。接入实时价格和延迟遥测后,这些代理能在任意一秒把提示词动态路由到性价比最高、性能最好的模型上,既可能省下数千美元的算力开销,也能避开区域性的性能下降。
用他的比喻说,这相当于给AI算力做了一块实时股票行情屏。
下一个路障:代理怎么付钱
数据管道搭起来挺有意思,但他很快撞上一堵大墙:变现。
自主AI代理没有口袋,没有信用卡,也没法填Stripe的结账表单。如果一个代理在野外发现了这个API,它怎么当场为一次API调用支付0.001美元?
他提到,后续会分享自己如何偶然接触到Web3的x402协议,以及正在学习为AI代理实现加密小额支付的过程。
至于未来自主AI代理最需要哪类实时数据,他把这个问题抛给了读者。
热门跟贴