非營利組織知識共享(Creative Commons)在年初宣佈開放 AI 生態系框架後,正式支援「付費爬取」技術,即透過自動化系統在機器(如 AI 網際網路爬蟲)存取網站內容時自動支付報酬。知識共享以推動授權運動讓創作者分享作品同時保留版權聞名,今年七月曾宣佈提供資料集共享的法律與技術框架。目前該組織謹慎支援付費爬取系統,認為若負責任實施,可幫助網站維持內容創作與分享,並管理替代性使用,避免內容因限制過嚴而消失。此概念由 Cloudflare 主導,旨在向 AI 機器人收取費用以收集內容進行模型訓練。過去網站免費允許爬蟲索引以獲得搜尋引擎流量,但隨著 AI 聊天機器人取代直接點選,出版商面臨搜尋流量銳減的衝擊。付費爬取系統可協助出版商挽回損失,尤其對無法與大型 AI 提供商個別談判的小型網站有利。已知的大型合約包括 OpenAI 與 Condé Nast、Axel Springer,Perplexity 與 Gannett,Amazon 與紐約時報,以及 Meta 與多家媒體機構。知識共享同時提出若干保留條件,指出該系統可能集中網路權力,並阻礙研究者、非營利組織、文化遺產機構及教育者等公共利益行為者的存取。建議原則包括不將付費爬取設為預設選項、避免一刀切規則、允許限流而非完全封鎖、並保留公共利益存取。系統應具備開放性、互操作性及標準化元件。除 Cloudflare 外,Microsoft 也在建構出版商 AI 市場,小型起點如 ProRata.ai 和 TollBit 亦在投入。RSL Collective 推出了名為 Really Simple Licensing(RSL)的新標準規範爬蟲存取範圍,Cloudflare、Akamai 和 Fastly 已採用此標準,並獲得 Yahoo、Ziff Davis 和 O’Reilly Media 等支援。知識共享亦支援 RSL,並與 CC signals 共同推動開發 AI 時代的技術與工具。
創用授權宣布擬支持AI「付費爬取」系統
分享這篇文章: