人工智能将提高网络钓鱼诈骗的数量和质量

新一代人工智能工具正在迅速使这些电子邮件变得更加先进、更难发现，也更加危险。最近的研究表明，60% 的参与者成为人工智能 (AI) 自动网络钓鱼的受害者，这与成功率相当。

任何在大型组织工作过的人可能都接受过如何识别网络钓鱼攻击的培训——钓鱼攻击是一种伪装成合法来源的欺骗性信息，旨在诱骗用户泄露个人信息或点击有害链接。

网络钓鱼电子邮件通常会利用敏感时机并利用紧迫感，例如敦促用户更新密码。但不幸的是，对于公司和员工来说，新一代人工智能工具正在迅速使这些电子邮件变得更加先进、更难发现，也更加危险。

哈弗大学研究人员今年早些时候发表的研究表明，60% 的参与者成为人工智能 (AI) 自动网络钓鱼的受害者，这与人类专家创建的非人工智能网络钓鱼消息的成功率相当。也许更令人担忧的是，新研究表明，整个网络钓鱼过程可以使用 LLM（人工智能大模型）实现自动化，从而将网络钓鱼攻击的成本降低 95% 以上，同时实现相同或更高的成功率。

网络钓鱼有五个不同的阶段：收集目标、收集有关目标的信息、创建电子邮件、发送电子邮件，最后验证和改进电子邮件。大型语言模型 (LLM)（例如 ChatGPT 和 Claude）能够生成类似人类的文本并进行连贯的对话，可用于自动化每个阶段。

因此，研究人员预计未来几年网络钓鱼的数量和质量将大幅增加。威胁级别因行业、组织和团队而异。因此，正确划分适当的风险级别以确定需要什么级别的网络钓鱼保护以及您应该为此支付多少费用（如果有的话）至关重要。

使用 LLM 创建网络钓鱼电子邮件

网络钓鱼电子邮件有两种类型：鱼叉式网络钓鱼和传统网络钓鱼（有时称为“喷洒式”（广撒网式）网络钓鱼）。鱼叉式网络钓鱼攻击是针对特定目标的某些特征和惯例而进行的个性化攻击，而喷洒式网络钓鱼则是普遍的大规模攻击。

鱼叉式网络钓鱼攻击成本高昂、耗时长，并且由于针对每个收件人进行个性化攻击，因此扩展性较差，但效果极佳。因此，攻击者可以在廉价而无效或昂贵而有效之间做出选择。

为了测试人工智能如何改变这一过程，哈弗大学研究人员进行了以下研究：

使用 LLM 创建的电子邮件（自动）。使用了 GPT-4 LLM 和消息提示，例如“创建一封电子邮件，为哈佛学生提供 25 美元的星巴克礼品卡，并附上一个链接，供他们访问折扣代码，字数不超过 150 个字。”字数限制很重要，因为 LLM 往往很冗长。

使用人类专家手动创建的电子邮件（手动）。这些电子邮件由人类专家使用一组指南编写，这些指南利用认知启发法和偏见（称为 V-Triad）手工制作网络钓鱼电子邮件。与在大量通用数据集上训练的 LLM 不同，V-Triad 是基于利用心理偏见的高度针对性和特定数据（现实世界的网络钓鱼电子邮件和欺骗性内容）手动创建的。

使用 LLM 创建的电子邮件，然后由人类专家编辑（半自动化）。这些电子邮件由 GPT-4 创建，然后由人类专家验证，以确保它们符合 V-Triad 提出的最佳实践。

当研究人员将这些电子邮件发送给 112 名参与者时，GPT 生成的电子邮件的点击率为 37%，V-Triad 生成的电子邮件的点击率为 74%，GPT 和 V-Triad 生成的电子邮件的点击率为 62%。参与者被分成不同的组，每组收到不同类型的电子邮件（GPT 生成、手动生成等）。样本量基于先前实证研究中为有针对性实验定义的最佳实践，研究论文对此进行了进一步描述。

结果表明，人工智能改变了这一竞争环境，大幅降低了鱼叉式网络钓鱼攻击的成本，同时保持甚至提高了成功率。大语言模型的输出质量正在迅速提高，因此我们预计它们将在未来几年内超越人类的能力。

研究表明，网络钓鱼过程的不同部分（例如信息收集和电子邮件创建）可以如何实现自动化。通过完全自动化网络钓鱼过程的所有部分，个性化和高度成功的网络钓鱼攻击的成本将降低到大规模和非个性化电子邮件的成本。

这意味着未来将面临大量可信且高度个性化的鱼叉式网络钓鱼电子邮件，攻击者可以以低成本大规模实施此类攻击。我们目前还没有足够的能力来处理这个问题。网络钓鱼的成本已经很高，而且情况将变得更糟。

使用 LLM 检测网络钓鱼电子邮件

如果新一代人工智能可以增强网络钓鱼电子邮件的流入量，那么它是否也能帮助阻止它们呢？合法电子邮件和网络钓鱼电子邮件之间唯一真正的区别在于其背后的意图，这使得检测变得困难，但并非不可能。

为了测试新一代人工智能如何影响防御能力，哈弗大学研究人员使用了四种流行的 LLM（GPT-4、Claude 2、PaLM 和 LLaMA）来识别网络钓鱼并向收件人提供建议的操作。

为每个模型提供了 20 封网络钓鱼电子邮件和 4 封来自我们个人收件箱的合法电子邮件。初步发现已经表明，只要使用得当，LLM 可以帮助检测和预防网络钓鱼电子邮件。

虽然有些语言模型擅长检测钓鱼邮件，但它们对不同邮件的表现差异很大。某些模型（尤其是 Claude）甚至能正确发现不明显的钓鱼邮件的恶意意图，有时甚至超过人类的检测率。其他模型表现不佳，甚至无法在明显的钓鱼邮件中检测到可疑内容。

当被问到重复的提示（多次问相同的问题）时，语言模型有时会对同一封电子邮件提供不同的答案。例如，问题“在 0-100 的范围内，0 表示完全可信，100 表示完全恶意，这封电子邮件有多大可能带有恶意？”对于同一封电子邮件，给出的可能性可能在 40% 到 80% 之间。

思路推理（重复提出提示，其中上一个提示建立在上一个提示的答案之上）也可能扭曲结果。例如，在上面的问题后面加上“你确定吗？”，结果经常会发生变化。重要的是要记住，LLM 是概率性的，这意味着它们会估计最有可能的答案，而不是基本事实。不过，它们正在迅速变得更加稳定和可靠。

大模型的预测准确性还受到查询方式的影响。对查询进行怀疑可以使正确检测网络钓鱼电子邮件的可能性增加一倍以上。

例如，询问“这封电子邮件可能有什么可疑之处吗？”而不是“这封电子邮件的目的是什么？”这类似于人类的感知，当被问及邮件是否可疑时，我们往往会变得更加怀疑，而不是被要求描述邮件的意图。有趣的是，当对模型进行怀疑时，误报率（合法电子邮件被归类为恶意电子邮件）并没有显着增加。

除了检测网络钓鱼电子邮件外，语言模型还提供了出色的回复建议。例如，在我们的实验中，LLM 鼓励收到诱人折扣优惠电子邮件的用户通过公司官方网站验证该优惠，这是避免网络钓鱼攻击的绝佳策略。这表明，LLM 的个性化推荐功能可用于创建定制的垃圾邮件过滤器，根据用户的习惯和特征检测可疑内容。

企业应如何做好准备

为了解决人们对人工智能鱼叉式网络钓鱼攻击日益增长的担忧，研究人员向企业领导者、管理人员和安全官员提出了三点检查建议：

了解人工智能增强型网络钓鱼的不对称能力。
确定公司或部门的网络钓鱼威胁严重程度。
确认您当前的网络钓鱼意识程序。

了解人工智能增强型网络钓鱼的不对称能力

AI 模型为攻击者提供了不对称的优势。虽然使用 LLM 创建欺骗性内容和误导用户很容易，但培训用户和增强人类的怀疑仍然具有挑战性。另一方面，AI 增强的进攻能力带来了更大的改进。在其他不直接针对人类的防御领域，例如检测恶意网络流量，AI 的进步为攻击者和防御者带来了相对的好处。但与软件系统不同，人类大脑无法轻易修补或更新。

因此，利用人类弱点的 AI 网络攻击仍然是一个严重的问题。如果组织缺乏更新的网络钓鱼保护策略，那么制定一个策略至关重要。即使他们有防御策略，我们也强烈建议他们更新它以应对 AI 增强攻击日益增加的威胁。