安德烈·卡帕西(Andrej Karpathy,前特斯拉人工智能总监)去年提了个"自动驾驶数据闭环",现在有人把它搬进了网络安全——威胁检测系统能不能像自动驾驶一样,越开越聪明?
一图看懂:卡帕西循环长什么样
打开网易新闻 查看精彩图片
原文画了个清晰的飞轮:数据→训练→部署→收集新数据→再训练。四个环节咬合转动,系统能力随数据量滚雪球。
打开网易新闻 查看精彩图片
网络安全厂商把它翻译成:流量日志→模型学习→上线检测→发现新攻击样本→回炉重训。听起来顺理成章,但有个坎——攻击数据比交通场景稀缺得多," corner case"(极端案例)不是等来的,是黑客赏脸的。
自学习系统的两个硬骨头
第一,误报怎么办?自动驾驶撞了能复盘录像,安全系统把正常业务拦了,业务部门直接骂街。原文提到需要"人在回路"(human-in-the-loop,人类介入审核),但审核员看一天告警,眼睛比系统先崩溃。
第二,对抗样本。黑客知道你在学,专门造你认不出的变种。卡帕西循环假设数据分布稳定,网络安全的数据分布是对手在实时改写。
为什么还有人非要试?
打开网易新闻 查看精彩图片
原文作者的逻辑很直白:现有规则库像药柜,新病毒来了现配药;自学习系统像免疫系统,见过一次就记住。成本结构完全不同——前者堆安全工程师,后者堆算力和标注。
「这不是替代分析师,是把他们的注意力从重复劳动里解放出来。」原文引用了某安全团队负责人的说法。
但解放之后呢?分析师去干什么?原文没给答案,只留了个开放的工程挑战:怎么设计反馈机制,让一线人员愿意把判断结果喂回系统,而不是骂完就关页面。
卡帕西循环在自动驾驶里跑了千万英里验证。网络安全的数据飞轮,现在转了多少圈?有团队愿意晒晒账本吗?
热门跟贴