一支由软件架构师组成的小团队,把近4000条全新提示词喂给自家的AI架构图工具,得到约7700张评分图表,覆盖全部18种图表类型。结果:95%到100%的图表没有实质错误,每一张都能在屏幕上画出来。但团队自己说,走到这一步的过程"很让人谦卑"。
他们做的是CloudSketch AI,一款把自然语言描述转成架构图的工具。动手之前,团队只有一个担心:不是慢,不是丑,而是"自信地画错"。演示里每个AI画图工具都好看,你输入惯用的五条提示词,出来五张漂亮的图。麻烦从第37条提示词开始——德国的一套薪资系统、马哈拉施特拉邦的一个农场、带热修复和三个发布分支的Git工作流。他们想看的正是这里。
测试怎么设的
每种图表类型写40条从未见过的提示词,然后封存。一组只跑一次,之后只要改了任何代码,这组就不再算数,必须重写一组。这条规则让他们搭进去很多个晚上,也是他们相信这些数字的唯一理由。
提示词的地区配比是刻意的:每组10条设在印度,20条在世界其他地区,10条不带国家。其他地区权重翻倍,因为那是他们最弱的地方。AI评审把每张图判为通过、偏弱或失败,"无实质错误"指通过或偏弱,同时始终并列报告只算通过的严格分。每张图还要在真实浏览器里用网站同款Mermaid版本渲染,画不出来就算失败,文字再聪明也没用。一种类型要两组新提示词在同一份代码上都拿到95%以上才算过关,一次侥幸不算数。
三种读者,三档细节
同一套系统,走进不同会议室需要不同的图。每张图可以写给三类人看:
- 技术版:给工程师,真实组件名、协议、端口一应俱全
- 管理者版:大白话,发生什么、谁来做、哪里会出错
- 投资者版:价值与流向,钱和客户往哪走
细节还分三档:极详细档展示全部,标准档保留主路径,高管档只给CEO看大图——他大概还是会要求字号再大点。AI只写完整那张图,两个更小的档位由普通代码裁剪出来,所以彼此永远一致,切换不花成本。
测试覆盖范围也说清楚了:每条提示词跑两次,一次技术版、一次管理者版,每组共80张图。评审打的是完整图,也就是极详细档。投资者版和标准、高管两档在这些组里没有单独评分,是下一步的事。
哪里崩了
早期分数看着健康,直到有人手工打开几张图,发现有些根本没渲染出来。评审读的是代码,对此一无所知。那个下午很糟糕。从那以后,每次运行结束都要在浏览器里把每张图画一遍,空白即失败,没有例外。
Mermaid有AI不知道的硬规则。一天之内他们撞上三个:桑基图拒绝任何非纯ASCII字符,名字里一个卢比符号,图就什么都不显示;多系列柱状图会把柱子叠在一起且不显示图例;Git图拒绝不可能的步骤,比如把分支合并进自己。模型无从知晓这些,现在都在代码里提前修掉。
提示词里的例子会被照抄。甘特图说明里曾写"例如住房项目的RERA审批",很快RERA就出现在跟住房毫无关系的计划里。UPI出现在客户旅程图、双向箭头出现在网络图,也是同样的道理。现在他们只写规则,不写例子。
过了94%之后,代码比更多文字管用。网络图、泳道图、桑基图、图表和Git图最后那几分,从来不是靠更好的提示词拿到的,每多一条指令只是把错误挪到别处。真正有效的是小而无聊的代码:没有跳过防火墙的连线,每一步都在泳道内,流量数字真的加得起来。
评审自己也会错。它误读过用例图的箭头方向,也数错过甘特图日期。所以凡是代码能测量的事实——日期、总数、时长——他们自己测,再把数字交给评审。
印度以外的提示词几乎是每组最弱的部分。单位、法规、本地名称,这些小东西把模型绊倒,新组里因此放了两倍。
还有些错误跟画图无关,是知识问题。项目计划的甘特图轻松通过,作物季节和节日的计划却一直失败:模型根本不知道收成到底什么时候发生,也不知道什么必须等它结束。这没法靠更好的布局解决,所以甘特图只对项目计划作承诺,其余标为beta。
本周还有个小插曲:一张薪资图把SQL Server连接标成了"TDS/TCS"。TDS是数据库协议,TCS是印度的一种税。模型看到"薪资"和"税",好心地混在了一起。现在这也成了一条代码规则。
他们不声称什么
这是自家测试,由AI评分,没有独立第三方核查,请就当它是一份内部的、AI评分的测试来看。"无实质错误"不等于完美:严格分从77.5%到97.5%,偏弱的图能用,但放到客户面前之前仍值得看一眼。有些类型只是勉强过线——流程图、状态图、泳道图、优先级图、桑基图和Git图都是以很小的差距越过95%。投资者版和更小的细节档还没有单独评分。
你的提示词也不是他们的提示词。测试集只是样本。团队的建议是:拿一套你烂熟于心的系统去描述,在技术、管理者、投资者三个视图和高管、标准、极详细三档之间切换,对照你知道的事实检查。模板库里的每张图都展示了生成它的原始提示词。
热门跟贴