theNet by Cloudflare

抵御 AI 驱动型威胁

在新的 AI 网络安全时代,构建网络韧性

网络犯罪分子正利用 AI 工具来提高其攻击的速度、效率、规模和效果。这些新的 AI 驱动型攻击将对企业产生切实的影响。

深度伪造诈骗可能涉及欺诈性的语音邮件或视频通话,已造成了数百万美元的损失。在一个案例中,欺诈者深度伪造某家跨国公司的首席财务官,诱使一名财务人员向其支付了 2500 万美元。与此同时,AI 生成的网络钓鱼攻击诱骗更多人泄露凭据,而 AI 增强型恶意软件则规避现有的防御措施。

AI 还助长了虚假信息传播活动、数据投毒和模型操纵,这些行为都可能危及 AI 驱动型系统。Gartner 最近将 AI 辅助型虚假信息列为首要网络风险。

随着网络犯罪分子将更多利润重新投资于新技术,我们将看到基于 AI 的攻击变得越来越复杂。许多犯罪分子已经在利用低成本攻击的收益资助技术研发,制定更高成本、更高收益的攻击计划。在许多情况下,攻击者的预算比其瞄准的目标企业的预算更加集中。

为了探讨 AI 如何改变网络安全格局,我与 Cloudflare 美洲地区现场首席信息官 Khalid Kark 以及埃森哲全球数据和 AI 安全实践负责人 Daniel Kendzior 进行了交谈。我们一致认为,大多数传统安全工具无法有效抵御 AI 增强型攻击。企业必须转变安全方法,以增强韧性。它们需要采取更积极的预防性方法,积极利用 AI 来抵御与之相关的风险,而不是依赖被动防御。


面对 AI 增强型威胁带来的挑战

随着攻击者继续利用 AI 工具,企业需要做好准备,应对更复杂的各种常见社会工程学攻击,以及更大规模的机器人攻击。与此同时,我们可能会看到各种新的攻击策略,包括新型身份欺诈。提高整个企业对这些变化的认识,是增强安全性的关键。

增强型社会工程学攻击

有些事情不会改变。对于攻击者来说,社会工程学仍然是最简单、最实惠的策略,而且还非常成功。根据 Verizon 的一份报告,68% 的数据泄露事件是因为人为错误造成,其中许多错误与社会工程学息息相关,例如网络钓鱼攻击。

但我们在现实中看到,攻击的复杂性和一致性也在不断增加。例如,攻击者积极利用生成式人工智能 (GenAI) 撰写更具说服力的网络钓鱼电子邮件,其中不包含任何可能暗示此邮件为欺诈性邮件的拼写或语法错误。

与此同时,攻击者越来越多地利用 AI 创建深度伪造邮件。员工可能会收到一个听起来像是经理发来的语音邮件,但实际上它却是由 AI 模型创建。该语音邮件可能会诱使员工共享凭据、审批交易事务,或泄露敏感数据。利用 AI,攻击者可以在几秒钟内创建这些深度伪造邮件。

遗憾的是,极其难以抵抗那些让我们容易遭受此类攻击的认知偏见。在处理和解读信息时,人人都可能会犯错。例如,我们倾向于偏袒那些证实自己现有信念的信息,而忽略那些不符合我们现有理念的信息。这种确认偏见导致我们更容易受到深度伪造信息的蒙骗:如果我们收到一个听起来像是经理发来的语音邮件,往往不假思索就会相信它是真的。

合成式身份欺诈攻击

除了编写更精准的网络钓鱼邮件和深度伪造信息来欺骗员工之外,攻击者还会使用 AI 来伪造新的身份。合成式身份欺诈 (SIF) 是指通过混合真实数据与虚假数据,创建超逼真的身份来绕过传统验证系统。AI 生成的个人详细信息和自动化凭据填充,导致越来越难以检测这些伪造的身份。

欺诈性身份对金融服务、医疗保健和政府机构等重要的攻击目标行业构成重大风险。因为 SIF 往往没有直接的受害者,所以它常常被忽视。因此,诈骗者可以建立信用历史记录并成功实施诈骗。

大规模的机器人攻击

机器人是另一种可能会造成真正危害的人类替代品。正如《2025 年 Cloudflare 信号报告》所述,根据 Cloudflare 2024 年的观察,所有应用流量中有 28% 来自机器人,与前四年相比,这个比例基本保持稳定。虽然机器人可能用于合法目的,例如搜索引擎索引或可用性监测,但绝大多数机器人(比例达到 93%,根据 Cloudflare 流量分析)未经验证,并且可能是恶意机器人。

AI 驱动型机器人让攻击者能够以前所未有的效率,发动大规模自动化攻击。我们发现,与以往的攻击相比,AI 驱动型机器人在网站上生成的点击量多 200 倍。机器人不仅被用于发起大规模分布式拒绝服务 (DDoS) 攻击,它们还被用于抓取敏感数据和知识产权、执行凭据填充攻击,并以计算机速度实施欺诈。AI 模型通过绕过传统的验证码 (CAPTCHA) 并利用自适应行为逃避检测,进一步增强了上述功能。

因此,挑战在于如何区分善意机器人与恶意机器人,并阻止恶意机器人。


抵御 AI 威胁

要提前防范 AI 驱动型威胁,需要采取积极主动的、AI 增强型安全方法。在我与 Khalid Kark 以及 Daniel Kendzior 的对话交流中,我们讨论了七种可以增强安全态势的方法,以抵御这些新兴威胁。

  1. 提高可观测性。
    Kendzior 说:“许多供应商将 AI 功能融入所有产品,就像一种高端的点缀一样。”甚至可能将 AI 融入到您可能已经在使用的软件中。但是,并非所有这些 AI 功能都有用,有些甚至可能会带来新的漏洞。为了最大限度地降低与 AI 相关的风险,我们所有人都需要调整 软件采购方式 ,进而更好地了解 AI 的应用场景。与此同时,提高企业内 AI 使用的可观察性将变得更加重要。考虑到企业通常拥有的 API 数量比其纳入目录的 API 数量多大约 33% 。那些未纳入目录的 API 都是潜在的攻击载体。同样,我们通常不知道整个企业中 AI 的使用地点和方式;然而,每一个 AI 工具实例都可能让我们暴露在风险之中。

    通过实施一个能够统一日志、分析、警报和取证的平台,我们可以将 AI 功能应用于这些数据,识别风险并查明其根本原因。

  2. 实时检测并消除威胁。
    随着攻击者利用 AI 提高威胁的速度和数量,我们需要一种跟上步伐的方法。幸运的是,AI 可以帮助我们增强网络安全。例如,AI 可以分析海量数据集,并识别出可能指示威胁的异常情况。然后,AI 工具可以自动化响应威胁,实时解决问题。

    分析员工用户行为——包括访问模式、权限升级和数据泄露尝试——可以帮助建立基线并检测可能指示内部威胁的异常情况。通过这些 AI 辅助功能,我们可以在内部风险升级之前予以识别。

  3. 防范 AI 增强型网络钓鱼和深度伪造。
    由于攻击者利用 AI 改进网络钓鱼和制造深度伪造,企业需要制定更完善的控制措施和策略,包括有助于克服自身偏见和错误的控制措施和策略。假设某员工收到了一则看似经理发来的短信,指示其将资金汇入特定账户。如果首先制定一项阻止特定岗位的员工执行电汇操作的政策,就能避免损失。该政策还必须包含流程控制,确保在执行任何操作之前进行多重检查。

  4. 改善身份管理。
    身份管理一直是个难题,但 AI 使其变得更加复杂。“我们有一些客户使用远程注册来管理新客户和员工。而在如今这个深度伪造的世界里,你需要保持一定的警惕,思考自己是否在与真人打交道。” Kendzior 说。

    Zero Trust 安全在改善身份管理方面发挥着关键作用。采用适当的 Zero Trust 解决方案,企业可以阻止未经授权的个人和 AI 机器人访问企业资源,并简化已获授权的人员的访问。

  5. 识别并阻止恶意机器人。机器人管理功能可以区分善意机器人与恶意机器人。然后,阻止恶意机器人抓取数据、窃取内容,或降低网站性能。

  6. 解决人为因素。在应对网络安全威胁的过程中,技术始终必不可少。但是,阻止 AI 增强型威胁也需要行为训练。企业需要培训员工,让其了解可能会出现的网络钓鱼攻击、深度伪造和其他 AI 增强型攻击,以便他/她们提高警惕,适当处理接收的邮件。

    企业还必须努力,不仅要培养具有高度警惕意识的员工,而且还要培养更优秀的数字公民,因为即使在工作日结束后,员工依然可能会遭受这些 AI 增强型攻击。例如,他/她们可能会收到短信,告知其需要紧急支付车辆通行费。如果他/她们错误地点击了链接,或者更糟糕的情况下,向攻击者付了款,那么此举无意中资助了未来可能影响其雇主的攻击。

  7. 与合作伙伴协作。AI 将助推网络犯罪发展成一项规模更庞大的业务,企业不再只是对抗单个黑客。除了采用最新的 AI 增强型网络安全功能之外,企业还需要扩大联盟阵容,以便更好地保护自身免遭有组织的攻击。与合作伙伴的协作越密切,就越会增强防御能力。


应用智能、可扩展的防护措施

AI 驱动型威胁的数量、规模和复杂性将继续增加。随着每一次成功的网络钓鱼尝试或数据泄露,网络犯罪分子会将所获利润重新投资于更先进的技术。许多企业需要显著改进其防御措施来应对新时代的 AI 驱动型攻击,而且需要立即行动。

Cloudflare’s connectivity cloud provides a growing array of tools and services that can help you safeguard your organization from AI-driven threats. The Cloudflare AI Gateway provides visibility into the cost, usage, latency, and overall performance of AI applications. And AI Security for Apps enables you to protect apps powered by large language models (LLMs) against abuse. These tools work with Cloudflare’s deep portfolio of cloud-native security services to help you scale your defenses for larger, more sophisticated AI-based threats.

This article is part of a series on the latest trends and topics impacting today’s technology decision-makers.


深入探讨这个话题

阅读《2025 年 Cloudflare 信号报告:规模化韧性》,进一步了解 AI 驱动型威胁以及其他需要向提高韧性转变的趋势。

作者

Mike Hamilton - @mike-hamilton-us
Cloudflare 首席信息官



关键要点

阅读本文后,您将能够了解:

  • 网络犯罪分子如何利用 AI 来增强其攻击

  • 当今最常用的 3 种攻击策略

  • 7 种增强安全的方法,以应对 AI 威胁


相关资源

接收有关最流行互联网见解的每月总结。