對抗 AI 驅動的威脅
在全新的 AI 網路安全時代建立韌性
網路犯罪分子正採用 AI 工具來提升其攻擊的速度、效率、規模與效果。而這些新興的 AI 驅動攻擊，正對組織產生非常實際的影響。
深度偽造詐騙（可能包含偽造的語音留言或視訊通話）已導致數百萬美元的損失。在其中一起案例中，一家跨國企業財務長的深度偽造影像騙過一名財務人員，使其向詐騙者支付了 2500 萬美元。與此同時，AI 產生的網路釣魚攻擊正誘騙更多人洩露認證，而 AI 增強的惡意程式碼則能規避現有的防禦措施。
AI 也助長了虛假資訊活動、資料投毒與模型操控，可能危及以 AI 驅動的系統。Gartner 最近將 AI 輔助的虛假資訊列為首要網路風險之一。
隨著網路犯罪分子將更多利潤重新投入新技術，我們將看到越來越精密的 AI 驅動攻擊。許多犯罪分子已經利用低成本攻擊所獲得的收益，資助更高成本、更高回報的計畫的研發。在許多情況下，攻擊者的預算比其目標組織的預算更集中。
為了探討 AI 如何改變網路安全格局，我與 Cloudflare 美洲地區現場 CIO Khalid Kark 以及 Accenture 全球資料與 AI 安全實務負責人 Daniel Kendzior 進行了交流。我們一致認為，大多數傳統安全工具對抗 AI 增強型攻擊的效果有限。為了增強韌性，組織必須轉變其安全策略。他們不應再依賴被動防禦，而是需要採取更主動、更具預防性的方式——一種善用 AI 來對抗 AI 的方法。
應對 AI 增強威脅的挑戰
隨著攻擊者持續採用 AI 工具，我們都必須為更精緻版本的常見社交工程手法，以及更大規模的機器人攻擊做好準備。同時，我們可能會看到各種新戰術，包括新型態的身分詐欺。在全組織內提高對這些變化的認識，將是建立更強大安全防線的關鍵。
增強型社交工程
有些事情始終不變。對攻擊者而言，社交工程仍然是最簡單、成本最低而且非常有效的手法。根據 Verizon 的一份報告，68% 的資安事件是由人為錯誤所導致——而其中許多錯誤都與社交工程有關，例如網路釣魚攻擊。
但我們看到的是，攻擊手法正變得更加精密與一致。舉例來說，攻擊者利用生成式 AI (GenAI) 製作更具說服力的網路釣魚電子郵件，而且完全沒有那些可能暗示為詐欺郵件的拼字或文法錯誤。
與此同時，攻擊者越來越多地使用 AI 製作深度偽造內容。員工可能會收到一段聽起來像是經理留下的語音留言，但其實是由 AI 模型所製作的。該員工可能因此被騙去分享認證、核准交易，或洩露敏感資料。而有了 AI，攻擊者可以在幾秒鐘內製作出這些深度偽造訊息。
遺憾的是，要對抗使我們容易受到這類攻擊的認知偏誤極其困難。我們在處理與解讀資訊時都會犯錯。例如，我們往往傾向於相信那些符合我們既有信念的資訊，而忽略不符合的資訊。這種「確認偏誤」使我們更容易上當受騙：如果我們收到一段聽起來像是經理的語音留言，我們往往會認為那是真的。
合成身分詐欺
除了製作更具說服力的網路釣魚電子郵件與深度偽造內容來欺騙員工之外，攻擊者還利用 AI 製造新的身分。合成身分詐欺 (SIF) 是指將真實與虛假的資料混合，建立出高度逼真的身分，以規避傳統的驗證系統。由 AI 產生的個人詳細資料與自動化的認證填充技術，使得這些身分越來越難以偵測。
虛假身分對金融服務、醫療保健和政府等高度被針對的產業構成重大風險。由於 SIF 通常沒有直接受害者，因此往往不易被察覺。結果是，詐騙者可以建立信用歷史並成功執行詐騙行為。
大規模的機器人攻擊
機器人是另一種可帶來實質危害的人類替代品。正如《2025 年 Cloudflare 趨勢觀察報告》顯示，2024 年 Cloudflare 觀察到的所有應用程式流量中，有 28% 來自機器人，這個比例與過去四年相比大致保持穩定。雖然機器人可能有正當用途，例如搜尋引擎索引或可用性監控，但絕大多數機器人（根據 Cloudflare 流量分析，高達 93%）是未經驗證且可能具有惡意的。
由 AI 驅動的機器人讓攻擊者能夠以前所未有的效率發動大規模的自動化攻擊。我們看到 AI 機器人對網站產生的存取量，比過去的攻擊高出 200 倍。機器人不僅被用來發動大規模的分散式阻斷服務 (DDoS) 攻擊，還被用來剽竊敏感資料與智慧財產權、進行認證填充，以及以機器速度執行詐騙。AI 模型透過繞過傳統 CAPTCHA 並以適應性行為規避偵測，進一步強化了這些能力。
因此，挑戰在於區分好壞，並封鎖惡意機器人。
抵禦 AI 威脅
要在 AI 驅動的威脅中保持領先，需要採取主動且 AI 增強的安全策略。在我與 Khalid Kark 和 Daniel Kendzior 的對話中，我們提到了七種方法，可協助大家強化安全態勢，以抵禦這些新興威脅。
提高可觀察性。
「許多廠商正在將 AI 融入所有產品中，就像它是高端裝飾品一樣，」Kendzior 表示。AI 甚至被融入您可能已經在使用的軟體中。並非所有這些 AI 功能都有用，有些甚至可能會帶來新的漏洞。為了最大限度地降低與 AI 相關的風險，我們都需要調整軟體購買方式，以更好地瞭解 AI 的應用場景。
同時，增強組織內部 AI 使用情況的可觀測性將變得更加重要。想想看，組織通常擁有的 API 數量比他們已記錄的多出約 33%，而那些未記錄的 API 可能成為攻擊的潛在媒介。同樣，我們通常不知道整個組織中 AI 的使用情境和方式——然而，每一次 AI 工具的使用都可能讓我們暴露在風險中。
透過部署一個能夠整合記錄、分析、警示和取證的平台，我們可以將 AI 功能應用於這些資料，以識別風險並找出其根本原因。即時偵測並消除威脅。
隨著攻擊者運用 AI 來提升威脅的發動速度與數量，我們也必須有能力與之抗衡。所幸，AI 也能協助我們強化網路安全。舉例來說，AI 可以分析龐大的資料集，並辨識出可能預示威脅的異常行為。接著，AI 工具能進一步自動化威脅應對措施，即時處理問題。
此外，分析員工的使用者行為（包括存取模式、權限提升行為，以及資料外流嘗試）有助於建立正常行為的基準線，並偵測可能暗示內部人員威脅的異常狀況。透過這些由 AI 支援的能力，我們能夠在內部人員風險升高之前就先行發現並加以防範。防範 AI 增強型網路釣魚和深度偽造。
隨著攻擊者利用 AI 來改進網路釣魚和製作深度偽造內容，我們需要製定更複雜的控制措施和政策，包括幫助我們對抗自身偏誤和錯誤的控制措施和政策。假設一名員工收到一條看似來自經理的簡訊，指示 該員工將錢匯入特定帳戶。如果我們先制定一項政策，阻止特定崗位的員工執行電匯操作，就能避免損失。該政策還必須包含流程控制，確保在執行任何操作之前進行多重檢查。改善身分管理。
管理身分向來就是一件困難的事，而 AI 讓這件事變得更加困難。「我們曾有客戶為其新客戶與員工提供遠端註冊服務。但現在，在這個深度偽造盛行的世界中，你必須對你是否真的在與真人打交道抱持懷疑態度，」Kendzior 表示。
Zero Trust 安全性在強化身分管理方面扮演關鍵角色。透過正確的 Zero Trust 解決方案，組織可以防止未經授權的人員與 AI 機器人存取企業資源，同時也能為獲授權的人員簡化存取流程。識別並封鎖惡意機器人。機器人管理功能可以區分善意機器人和惡意機器人。然後，它們可以防止惡意機器人抓取資料、竊取內容或拖慢網站效能。
關注人為因素。在對抗網路安全威脅時，技術層面永遠存在。但要阻止 AI 增強型威脅，則還需要行為訓練。我們需要教育員工認識即將發生的網路釣魚攻擊、深度偽造與其他 AI 增強型攻擊，讓他們對所收到的訊息抱持更多懷疑態度。
組織不僅必須努力培養具有高度意識的員工，還必須培養更優秀的數位公民，因為這些 AI 增強型的詐騙手法甚至在下班時間也會接觸到人們。例如，他們可能收到簡訊，通知他們必須立即支付某筆車輛通行費。如果他們誤點了那些連結（或更糟的情況下，他們付錢給了攻擊者），他們就會在不知不覺中資助未來可能影響其僱主的攻擊行動。與合作夥伴協作。AI 正在讓網路犯罪成為一門更大的生意——我們不再只是與個別駭客對抗。除了採用最新的 AI 強化網路安全能力之外，我們還需要擴大合作聯盟，這樣才有更好的機會保護自己免受有組織攻擊者的威脅。我們與合作夥伴合作得越多，我們的防禦就會越強。
採用智慧化、可擴展的防護
AI 驅動威脅的數量、規模與精密程度將持續上升。每一次成功的網路釣魚攻擊或資料外洩，網路犯罪分子都會將獲利再次投入更先進的技術。許多組織需要針對這個 AI 驅動攻擊的新時代，大幅改進其防禦措施——而且他們必須現在就開始行動。
Cloudflare’s connectivity cloud provides a growing array of tools and services that can help you safeguard your organization from AI-driven threats. The Cloudflare AI Gateway provides visibility into the cost, usage, latency, and overall performance of AI applications. And AI Security for Apps enables you to protect apps powered by large language models (LLMs) against abuse. These tools work with Cloudflare’s deep portfolio of cloud-native security services to help you scale your defenses for larger, more sophisticated AI-based threats.
This article is part of a series on the latest trends and topics impacting today’s technology decision-makers.
深入探討這個主題。
請閱讀《2025 年 Cloudflare 趨勢觀察報告：大規模韌性》，進一步瞭解 AI 驅動的威脅以及要求轉向提高韌性的其他趨勢。
作者
Mike Hamilton — @mike-hamilton-us
Cloudflare 資訊長
重點
閱讀本文後，您將能夠瞭解：
網路犯罪分子如何利用 AI 來加強他們的攻擊
當今最常用的 3 種策略
針對 AI 威脅強化網路安全的 7 種方法