辩论赛里，两位评委给同一段发言打出不同分数，学生拿到一个数字，却不知道分数从哪来；新评委也没有一套标准可以对照自查。开发者正在做的 Saql，是一款阿拉伯语辩论分析引擎，它把一场辩论拆成论点与反驳，逐项按书面量表打分，并为每个分数保留理由。
它拒绝把16项指标合并成一个总分。这个决定不是偷懒，代码里至今没有一条从指标到维度的聚合规则，所以它不自己发明一条。一个总分恰好会盖住学生和评委最需要看见的东西：论点究竟是表达清楚但支撑薄弱，还是支撑扎实却偏离了靶心。
方法底座
Saql 的打分建立在几套成熟框架上：
- 图尔敏模型（主张、依据、保证、支撑、限定、反驳），用来评估论点的构造方式；
- 沃尔顿论证图式，配合批判性问题与举证责任，用来评估推理质量；
- 语用辩证法，用来评估一次回应处理反驳的水平；
- 多准则决策分析（MCDA），用来组织准则与指标；
- 行为锚定等级量表（BARS），0到4每一档都有书面描述，写明这个分数长什么样；
- 重测信度：在“精确模式”下一次评估跑三遍，重复不上的分数会被标记出来；
- 人在回路裁定：Saql 从不给出最终裁决，由人来定。
决定一：写锚点，不写标签
在2026年10月12日之前，Saql 里的量表等级只有标签——“缺失”“薄弱”“部分”“合格”“强”，描述栏是空的，各指标的锚点被记为未解决，只有一个指标 RQ1 有书面锚点。在提交 935fb96 中，开发者载入了所有指标经批准的锚点（方法论 v2），模型指令被移入一份独立的方法论文档，提示词从 v1 升到 v3。
锚点长什么样？以指标 RR2“回应相关性”为例，它衡量一次回应是否对准了实际被提出的那条反驳。锚点用阿拉伯语写成。
等级之间的差距，正是让分歧变得可解释的东西。一位评委打1分、另一位打3分，问题就变得精确：这次回应有没有触及那条反驳？而不再是“谁更厉害”。当人和模型使用同一套书面锚点，就可以追问：是评委把描述用松了，还是描述本身需要调。
部分锚点还带了防风格取巧的护栏规则。指标 AC5 衡量主张的覆盖范围：仅靠措辞谨慎不会抬高分数，而一个没有限定、但被充分支撑的主张可以拿到4分。
决定二：不给总分
Saql 沿五个维度打分。一个论点的看法是：主张经由推理链条落在证据上（AC、RQ）；一条反驳可以指向主张、证据或推理链条，而回应只有在发言者有机会作答时才被计分（RR）；主张与辩题的相关性单独衡量（CR）；举证责任（BF）按队伍追踪为五项义务，状态是定性的——已满足、部分满足、未满足、未指明，从不写成数字，也不从论点分数推导出来。分析单元随维度而变：AC、RQ、CR 看论点，RR 看反驳与回应这一组交换，BF 看队伍。
合起来是16项数值指标，每项都配书面锚点。最重要的决定就是：Saql 不把它们合成一个数字。
代码做了什么
- 每个分数按指标存储，同时记录来源：提供方、模型、提示词版本、token 数与延迟；
- 每个分数都链接到它的证据引用；
- 分数的每一次改动都写入审计轨迹；
- 最终判定永远由人类裁定者做出。
已经存在的数字
试点只覆盖一个指标 RQ1，用的是第一版提示词，跑了两个不同的模型。它是一次流水线测试，不是质量测量。
尚未证明的部分
- 还没有校准。尚未在规模上把 Saql 的分数与人类评委小组做对比。做的时候会报告完全一致率、一分以内一致率，以及二次加权 kappa，并附样本量。
- 锚点还没有经过辩论教练的验证，它们只是每个分数该意味着什么的一份认真初稿。
- 没有聚合规则，在有证据支持之前，这一项被有意留空。
- 还没有采用者。一些辩论组织表达了早期兴趣，但没有任何组织采用它或跑过试点。
它被设计成怎么用
Saql 面向机构持有，而不是一个公开应用。设计前提是：由一家辩论组织、一个联赛或一个学术项目拥有实例、掌控数据，并决定评委和教练怎么用它。这也是打分要透明的原因——书面锚点、每个分数有记录、永远由人拍板——也是不推公开演示的原因。一个给人们推理打分的工具，应该待在一个对使用方式负责任的机构手里。
开发者来自加沙，正在做 Fasil。
热门跟贴