AI安全审计工具正在经历一场信任危机。Anthropic内部将Claude Mythos模型评为"危险地出色"——它在发现软件漏洞方面展现出惊人的涌现能力，甚至因能力过强而被限制公开访问。这家公司声称，该模型在主流操作系统和浏览器中发现了数千个高危漏洞，仅向特定组织开放以协助修复关键缺陷。
但真正的考验来自一行行真实的代码。curl项目创始人Daniel Stenberg获得了一次难得的验证机会：让Mythos分析他维护了二十余年的17.6万行C代码。这个被全球数十亿设备调用的网络工具库，是开源社区最成熟、审查最严格的代码库之一。模型返回了五个"已确认的安全漏洞"，听起来颇具说服力。
人工复核的结果却相当尴尬。五个发现中，四个是误报，唯一成立的仅是一个低严重性问题。这一落差揭示了AI安全工具的核心困境：它们能大规模扫描代码、标记潜在风险，但"信噪比"才是决定实用价值的关键变量。模型宣布的"已确认"漏洞，实际上是人工调查的起点，而非终点。
对正在将AI集成进安全流程的工程师而言，这一案例的启示在于重新定位工具的角色。这些模型本质是强大的模式匹配器，缺乏资深安全研究员所拥有的真实上下文和世界模型。它们会标记出形似已知漏洞模式的代码，即便惯用法或周边逻辑已使其无害化。Mythos这类模型的输出不是一份待修复的CVE清单，而是一份需要人类专家逐条验证的优先调查清单。
内部工具和工作流必须围绕这一认知重构。当AI标记潜在问题时，流程应将其视为待验证的断言，而非待修复的事实。一个典型的自动化报告可能包含漏洞ID、文件路径、行号、严重等级、CWE分类和置信度评分——但所有这些元数据都无法替代人工的最终判断。工程师需要建立"验证优先"的流水线：AI筛选缩小范围，人类专家完成定性。
这不是在否定AI安全工具的价值，而是在校准预期。Mythos在curl上的表现说明，当前技术尚无法实现全自动化的安全审计，但已能显著提升人工审计的效率。关键在于承认局限：模型的输出是信号，而非裁决。将这一认知嵌入工作流程，才是负责任地使用AI安全工具的前提。
热门跟贴