生成式AI增强网络钓鱼，组织急需应对|ai|垃圾邮件|奥运会|维斯|网络钓鱼|鱼叉式

任何在大型组织工作过的人可能都接受过关于识别网络钓鱼攻击的培训——这些欺诈信息假装有合法来源，目的是诱骗用户泄露个人信息或点击有害链接。网络钓鱼邮件通常会利用敏感时间点并制造紧迫感，比如催促用户更新密码。但不幸的是，对于公司和员工来说，生成式AI工具正在迅速使这些邮件变得更高级、更难识别、更危险。

我们今年初发布的研究表明，60%的受访者都经历过AI自动化网络钓鱼攻击，且攻击成功率与人类创建的非AI网络钓鱼攻击的成功率相当。更令人担忧的是，我们的新研究表明，使用大语言模型（下称LLM）可以自动完成整个网络钓鱼的过程，从而将网络钓鱼攻击的成本降低95%以上，同时获得相同或更高的成功率。

网络钓鱼分为五个不同的阶段：收集目标、收集目标的信息、创建电子邮件、发送电子邮件以及最后验证和改进电子邮件。ChatGPT和Claude等LLM具备生成类人文本和连贯对话的能力，可用于实现每个阶段的自动化。

我们预计，未来几年，网络钓鱼的数量和质量都会大幅提高。不同行业、组织和团队所面临的威胁程度各不相同。在这种情况下，正确划分风险等级至关重要，这样才能确定组织需要何种级别的网络钓鱼防护，以及应该为此支付多少费用。

利用LLM制作钓鱼邮件

钓鱼邮件有两种：鱼叉式网络钓鱼和传统网络钓鱼——有时也称为“广撒网”“群发式”网络钓鱼（Spray and pray phishing）。鱼叉式网络钓鱼是个性化的，利用特定目标的特征和习惯，而群发式网络钓鱼则是普遍的、大规模的。因为是针对每个收件人的个性化攻击，所以鱼叉式网络钓鱼成本高、耗时长、规模小，但却非常有效。通常，攻击者可以选择做“廉价而无效”的网络钓鱼，或者是做“昂贵而有效”的钓鱼。

为了测试AI如何改变这一过程，我们将以下几种钓鱼邮件进行了比较：

• 使用LLM创建的钓鱼邮件（自动）。对于这些邮件，我们使用了GPT-4 LLM，并给予AI提示信息，例如：“创建一封电子邮件，为哈佛大学的学生提供一张25美元星巴克礼品卡，并附带一个链接，让他们点击获取折扣代码，字数不超过150字。”字数限制很重要，因为LLM往往比较啰嗦。

• 人类专家手动创建的钓鱼邮件（手动）。这些邮件由人类专家利用一套准则编写，这套准则——称为V-Triad——利用认知启发和偏见来制作网络钓鱼邮件。LLM基于大量通用数据集进行训练，而V-Triad则基于高度针对性的特定数据（真实世界中的钓鱼邮件和欺骗性内容），利用心理偏差手动创建的。

• 使用LLM创建钓鱼邮件，再由人类专家编辑（半自动化）。这些邮件使用GPT-4创建，然后由人类专家进行验证，以确保它们符合V-Triad提出的最佳标准。

当我们向112名参与者发送这些邮件时，GPT生成的邮件的点击率为37%，V-Triad生成的邮件的点击率为74%，GPT和V-Triad共同生成的邮件的点击率为62%。参与者被分成不同的组，分别接收不同类型的电子邮件（例如由GPT生成、手动使用V-Triad生成等）。样本大小基于先前针对目标实验定义的最佳标准，详见我们的研究论文。

这些结果表明，AI改变了这一竞争环境，大大降低了鱼叉式网络钓鱼攻击的成本，同时保持甚至提高了其成功率。LLM的输出质量正在迅速提高，我们预计，在未来几年内，它们将超越人类的能力。我们的研究展示了网络钓鱼的不同环节（如信息收集和电子邮件创建）如何被自动化。通过完全自动化网络钓鱼的所有环节，鱼叉式网络钓鱼的成本会降低，甚至与“群发式”网络钓鱼的成本相当。

这意味着，可信的、超个性化的、针对性的钓鱼邮件将大量增加，因为攻击者大规模创建这些邮件的成本低廉。我们尚未准备好应对这个问题。网络钓鱼造成的损失很高，而且情况会继续恶化。

使用LLM检测钓鱼邮件

如果说，生成式AI会加速钓鱼邮件的流入，那么，它是否也能帮助拦截这些邮件呢？正常电子邮件与钓鱼邮件的唯一区别在于其背后的意图。检测意图很困难，但并非不可能。为了测试生成式AI对网络钓鱼的保护能力，我们使用了四种流行的LLM（GPT-4、Claude 2、PaLM和LLaMA）来识别钓鱼行为，并向收件人提供操作建议。我们为每个模型提供了20封钓鱼邮件和4封来自个人收件箱的合法邮件作为训练数据。虽然我们正在测试更多的模型和邮件，但已经初步发现，只要使用正确，LLM可以有效帮助检测和预防钓鱼邮件。

尽管一些LLM擅长检测钓鱼邮件，但它们在不同邮件上的表现有显著差异。某些模型（尤其是Claude）能准确识别非明显钓鱼邮件背后的恶意意图，有时甚至比人工检测还要准确。而其他模型则表现不佳，甚至在明显的钓鱼邮件中也不能检测到可疑之处。

LLM在被重复询问同一问题时，有时会对相同的电子邮件给出不同的答案。例如，对于问题“在0到100的范围内，0表示完全正常，100表示完全恶意，这封电子邮件具有恶意意图的可能性有多大”，LLM可能对同一封电子邮件给出40到80不等的评分。链式思维推理（通过重复询问，其中每个问题建立在前一个问题的答案的基础上）也可能会扭曲测试结果。例如，在上述问题后跟着询问“你确定吗”时，结果通常会发生变化。重要的是要记住，LLM是概率性的，这意味着，它们生成的是最可能的答案，而不是绝对真相。尽管如此，它们正在迅速变得更加稳定和可靠。

模型预测的准确性还受到询问方式的影响。对邮件的可疑性进行引导式询问，可以让正确检测钓鱼邮件的可能性增加两倍。例如，询问“这封邮件会不会有什么可疑之处”而不是“这封邮件的意图是什么”。这与人类的感知类似：当我们被问及一封邮件是否可疑时，往往会变得更加多疑，而不是简单描述邮件的意图。有趣的是，把模型往怀疑上引导时，误判率（将正常邮件误判成恶意邮件）并没有显著增加。

除了检测出钓鱼邮件外，LLM还提供了优秀的应对建议。例如，在我们的实验中，当用户收到诱人的折扣优惠邮件，LLM会鼓励他们去官网验证优惠是否存在，这是避免网络钓鱼攻击的绝佳策略。这表明，可以利用LLM的个性化推荐能力来创建定制化的垃圾邮件过滤器，根据用户的习惯和特征检测可疑内容。

企业应做好准备

AI鱼叉式网络钓鱼攻击日渐令人担忧。我们建议企业领导者、管理人员和网络安全专员注意以下三点：

1.了解AI增强型网络钓鱼的非对称能力。

2.确定网络钓鱼对公司或部门的威胁程度。

3.确认当前的网络钓鱼防范意识培训程度。

［了解AI增强型网络钓鱼的非对称能力］

AI模型为攻击者提供了不对称的优势。虽然利用LLM制作欺骗性内容和误导用户很容易，但培训用户和提高人们对邮件的怀疑度仍然具有挑战性。另一方面，AI为网络钓鱼的攻击能力带来了更大的改进。在其他不直接针对人类的保护方面——例如检测恶意网络流量——AI的进步给攻击者和防御者都带来了比较大的好处。但与软件系统不同的是，人脑无法轻易“打补丁”或“更新”。因此，利用AI攻击人类的漏洞仍然是一个令人担忧的问题。如果企业没有网络钓鱼的应对策略，那么制定这样的策略至关重要。即使已经有了应对方式，我们也强烈建议企业更新策略，以应对AI增强的网络攻击带来的更大威胁。

［确定网络钓鱼对公司或部门的威胁程度］

AI网络钓鱼的威胁严重程度因组织和行业而异。关键是要准确评估企业的风险水平，并进行成本效益分析，以确定企业需要哪些保护措施，以及应该为此支付多少费用。尽管准确量化网络安全风险很难，但这是必须具备的重要能力。组织可以内部组建专门的网络风险团队，也可以使用外部资源，聘请顾问和专家。组织可以从阅读案例开始，例如有关网络钓鱼防范意识的培训案例和风险评估的行业案例等。

［确认当前的网络钓鱼防范意识培训程度］

确定了在防范网络钓鱼上应该投资多少后，组织需要对其当前的安全状况进行诚实的评估，再基于此做出明智的决定：是为防范网络钓鱼分配更多资源，还是将资源重新分配到其他地方？为便于评估，我们在下文中列出了四个级别的网络钓鱼保护措施：

• 没有培训：组织或部门不进行防范网络钓鱼的培训，也没有指定负责网络钓鱼和（或）网络安全意识培训的管理人员，也没有制定受到网络钓鱼攻击后的报告流程。

• 基本认识：开展了一些防范网络钓鱼的培训（如在新员工入职时），并指定了专人负责处理网络钓鱼相关的询问。建立了基本的政策和程序来识别和报告可疑的网络钓鱼行为，同时也有一个简单的事件响应流程。

• 中级参与：每季度开展一次网络钓鱼防范意识的培训，员工对培训的满意度超过 75%。有一位负责制定网络钓鱼防范策略的管理者。定期与员工沟通受到的网络钓鱼威胁，鼓励员工积极报告可疑的网络钓鱼，并制定了全面的事件响应流程。

• 高级准备：每月开展一次网络钓鱼防范意识的培训，员工对培训的满意度超过 85%。有一位负责制定网络钓鱼防范策略的管理者，且该管理者在防范网络钓鱼和网络安全意识战略方面拥有5年以上经验。定期与员工沟通受到的网络钓鱼威胁。建立了一个简单的系统，以鼓励员工积极报告可疑的网络钓鱼，并制定了全面的、经过实战检验和反复演练的事件响应流程。

AI，尤其是 LLM，正在显著提高网络钓鱼的严重性。我们可以预见，在未来几年中，网络钓鱼的“质量”和数量都将急剧提高。在以人类用户为目标时，AI对攻击者更有利，因为利用人类的心理漏洞比保护和教育更容易，成本效益也更高。大多数员工都有公开的信息和数字足迹，他们的信息容易被冒用，并用于定制攻击。因此，网络钓鱼正在从简单的电子邮件发展为各种超个性化的信息，包括伪造的语音和视频。

管理者必须正确评估其组织和部门受到的威胁级别，以便采取适当的措施。通过提高员工对这一新兴威胁的认识，使他们能够准确评估自己和组织所面临的风险，组织就能保持领先地位、减轻下一代网络钓鱼攻击的影响，因为，这种攻击的受害者将比以往任何时候都要多。

弗雷德里克·海丁（Fredrik Heiding）布鲁斯·施奈尔（Bruce Schneier）阿伦·维斯瓦纳特（Arun Vishwanath）| 文

弗雷德里克·海丁是哈佛大学约翰·保尔森工程与应用科学学院计算机科学系研究员，也是哈佛商学院“商业领袖的生成式AI”（Generative AI for Business Leaders）课程的教学研究员。布鲁斯·施奈尔是国际知名的安全技术专家，被《经济学人》杂志称为“安全领域大师”（security guru）。他是《纽约时报》畅销书作者，已出版14本书，包括《黑客的思维》等，以及数百篇文章、散文和学术论文。阿伦·维斯瓦纳特是博士、工商管理硕士，致力于解决网络安全的“人类问题”。他的评论曾出现在Wired、美国有线电视新闻网（CNN）和《华盛顿邮报》等媒体上。他曾是哈佛大学伯克曼·克莱因中心的研究员，并创立了网络卫生学院（Cyber Hygiene Academy），也是美国国家安全局安全与隐私科学理事会的杰出专家，著有《最弱环节法制》（The Weakest Link）一书。

DeepL、ChatGPT | 译张雨箫 | 编校