黑客可能利用生成式AI写出以假乱真的钓鱼邮件

2023年9月7日13:30 CST 更新

多年来，防范钓鱼邮件的一条首要防线是此类邮件中蹩脚的英语。

为防范试图诱骗收件人点击恶意链接或泄露凭证的邮件，企业培训计划呼吁员工警惕拼写错误、奇怪的语法和母语非英语者常见的其他错误。

现在，生成式人工智能(AI)可以消除所有这些危险信号，其中包括OpenAI旗下广受欢迎的ChatGPT。

即使在业余黑客手中，AI也已成为一种强大的威胁，因为它能够分析大量有关目标的公开数据，并在几秒钟内生成极具个性化的电子邮件。

纽约州政府的运营主管Kathryn Garcia说：“突然之间，那些文字将看起来就像是来自你的孙女或另一个孩子。他们会知道你最好的朋友是谁，它会以这种方式出现。”她领导制定了纽约州政府的首个网络安全战略。

问题

类似ChatGPT和谷歌旗下Bard的所谓大语言模型并不像人类那样对语言进行理解，但能够剖析句子结构、口语和俚语是如何表达意思的，预测如何构建书面语，有时甚至准确得令人不可思议。

电子邮件安全公司Abnormal Security表示，该公司已经发现来自生成式AI平台的钓鱼邮件被用于攻击其客户。Abnormal首席执行官Evan Reiser表示，这些精心制作的信息看上去跟真的差不多，很难一眼识破。

他表示：“看着这些电子邮件，不会在大脑中触发任何警报提示你这可能是一次网络钓鱼攻击。”

LLM工具可以在网上通过社交媒体、新闻网站、互联网论坛和其他来源搜索一个人的信息，从而定制出吸引人的电子邮件，就像民族国家的黑客经常花几个月时间做的那样。如果攻击者已经可以获取专有信息，他们就可以在邮件中添加更令人信服的细节，甚至模仿写作风格。

“现在，犯罪分子只需获取这些电子邮件，将其自动喂给LLM，然后告诉它要撰写一封电子邮件，需引用我最近的五次（在线）对话。如此一来，过去需要八小时才能完成的工作，现在八秒钟就能搞定。”

ChatGPT和Bard有内置保护功能，可防止创建钓鱼邮件等恶意内容。但许多开源LLM没有任何防护措施，黑客们正在向暗网论坛上的有意愿买家授权可以编写恶意软件的模型。

未来

未来AI技术长期以来一直被用于处理图像，以制作令人信服的深度伪造内容。模仿人声的模拟语音技术也在快速发展。涉及电子邮件、语音和视频的混合攻击正日渐走入现实。

但有网络安全和国家安全专家认为，无法预测的攻击才是真正的威胁。

美国国土安全部网络安全与基础设施安全局(Cybersecurity and Infrastructure Security Agency)网络安全执行助理主任Eric Goldstein说：“AI将提高现有技术的可扩展性、速度和效率，但与此同时，AI也可能有能力思考我们眼下甚至无法想象的攻击。”

Goldstein说，AI程序已经证明，它们可以在象棋和围棋等游戏中拿出人类不太可能想到的策略，从而胜过人类。将同样的模式运用到网络犯罪中，也许会产生目前的系统无法防范的网络攻击，或者看起来极为逼真而无法察觉的社交工程攻击。

不过，一些网络安全公司已经开始将生成式AI纳入自己的产品，试图在AI被广泛滥用之前提前采取行动。例如，电子邮件安全提供商Ironscales使用专有的大语言模型生成钓鱼电子邮件，用于安全意识培训。

Ironscales首席执行官Eyal Benishti称，需要防御性AI系统来抵御AI驱动的攻击。另一个即将到来的考验：AI产生大规模令人信服攻击的能力。

“想象一下：商业电子邮件泄露和针对性网络钓鱼的数量与我们以往收到的垃圾邮件的数量一样多，因为这就是将要发生的情况，”他表示。

制造商康明斯公司(Cummins, CMI)首席信息安全官Diego Souza说，在生成式AI的世界里，企业安全方面必须改变。

Souza说，公司将需要加强对员工的培训，提高员工对网络钓鱼的认识。他说，必须小心地对网络进行隔离，以防黑客入侵时造成巨大破坏。

企业风险咨询公司Hakluyt的顾问Chris Inglis说，生成式AI到来速度之快让网络专业人士感到震惊。但Inglis说，相关风险并不是无限的。他曾担任美国国家网络总监，直到今年2月份。

他说，LLM要持续学习就必须摄取大量数据，一些大型LLM平台已经开始用完可从公开渠道获取的数据集。他说，这意味着可用于训练机器的可广泛获取的数据有一个自然而然的上限，也就意味着当前的发展速度或许会放缓。

他说：“让人感兴趣的并不是Chat GPT的现状，而是它普及的速度。”