雲服務提供商 Cloudflare 於週二宣佈推出名為「按爬取付費」（Pay per Crawl）的新市場，旨在重新定義網站擁有者與 AI 公司之間的關係，賦予出版商對內容的更大控制權。過去一年，Cloudflare 已推出工具應對 AI 爬蟲的激增，包括一鍵阻擋所有 AI 機器人及檢視爬蟲活動的儀錶板。Cloudflare 執行長 Matthew Prince 表示，這些產品為出版商向 AI 公司分發內容並獲得報酬奠定了基礎。
此次推出的實驗性功能允許網站擁有者選擇讓 AI 爬蟲以單次微額付費的方式爬取其網站，或選擇免費爬取或完全阻擋。Cloudflare 聲稱其工具能讓網站擁有者確認爬蟲是否將其內容用於 AI 訓練資料、出現在 AI 搜尋回應或其他用途。在規模上，這可能為出版商提供 AI 時代的商業模式，並解決新聞出版商面臨的生存問題，特別是隨著 Google 搜尋流量減少及 AI 聊天機器人興起。
Cloudflare 宣佈新設立的網站預設將阻擋所有 AI 爬蟲，要求使用者明確授權。Condé Nast、TIME、美聯社、The Atlantic、ADWEEK 及 Fortune 等大型出版商已簽署協議，支援基於許可的爬取方式。Cloudflare 指出，傳統依靠 Google 爬蟲換取搜尋轉介流量的模式在 AI 時代可能不再可靠。資料顯示，Google 爬蟲每轉介一次會爬取 14 次，而 OpenAI 的爬蟲每轉介一次會爬取 1,700 次，Anthropic 則高達 73,000 次。
Cloudflare 表示，「按爬取付費」的潛力可能在「代理」時代進一步發揮，例如讓 AI 代理在網路邊緣運作並為獲取內容付費。參與此市場需要 AI 公司和出版商均使用 Cloudflare 帳戶，Cloudflare 作為中介處理交易。目前交易不涉及穩定幣或加密貨幣，但 CEO Matthew Prince 透露公司正在研究發行自有穩定幣的可能性。