Cloudflare 於週一指控 AI 搜尋引擎 Perplexity 在未經網站所有者同意的情況下，繞過其特定的阻擋機制進行靜默爬取。Cloudflare 執行長 Matthew Prince 在 X 平臺上發表研究，指責某些 AI 公司行為如同北韓駭客，並呼籲將其封鎖。Cloudflare 的測試案例涉及建立一個新網站並設定 robots.txt 檔案以明確阻擋 Perplexity 的已知爬蟲，但 Perplexity 仍成功回答了關於該網站內容的問題。研究發現，Perplexity 使用了旨在偽裝成 macOS 上 Google Chrome 的通用瀏覽器。
儘管 Cloudflare 的指控引發爭議，許多人在 X 和 Hacker News 等平臺上為 Perplexity 辯護。支持者認為，當人類使用者要求訪問特定網站時，AI 代理代表使用者獲取內容應與人類使用 Firefox 瀏覽器無異，不應被歸類為不同的法律範疇。Perplexity 發言人曾否認爬蟲屬於公司，並稱 Cloudflare 的報導為銷售宣傳。隨後，Perplexity 發表部落格文章，聲稱相關行為來自其偶爾使用的第三方服務，並指出 Cloudflare 的系統無法區分合法的 AI 助手與實際威脅。
Cloudflare 同時指出，OpenAI 遵循最佳實踐，尊重 robots.txt 並使用 Web Bot Auth 標準簽署 HTTP 請求，而該標準由 Internet Engineering Task Force 開發，旨在為 AI 代理的網頁請求提供加密識別方法。隨著機器人活動重塑網際網路，根據 Imperva 上月發布的 Bad Bot 報告，機器人活動已超過人類活動，佔比超過 50%，其中大部分來自大型語言模型（LLM）。惡意機器人佔所有網際網路流量的 37%，包括持續爬取和未經授權的登入嘗試。Gartner 預測，到 2026 年搜尋引擎流量將下降 25%。隨著人類可能採用代理來安排旅行、預訂晚餐和購物，網站所有者是否應阻擋這些代理成為關鍵問題。許多網站所有者擔心阻擋會損害其業務利益，但也認為大多數網站將選擇阻擋，因為這比人們想像的更困難。