Cloudflare 把 HTTP 402 變成真正能用的狀態碼——AI 爬蟲會是第一批付費的

過去兩年，整個 AI 生態都跑在一個有禮貌的虛構之上：robots.txt 是個真實的邊界、AI 爬蟲會尊重出版社的意願。2024 年 Cloudflare、Reddit、OpenAI 的法律口水戰已經把這層紙戳穿一半。這個禮拜，這個虛構正式結束。

Cloudflare 的 Pay Per Crawl 自 2025 年中起就在 closed beta，這次把可自訂的 HTTP 402「Payment Required」 回應對所有付費客戶開放。再加上新的 AI Crawl Control 儀表板，以及四月宣佈的 Cloudflare × GoDaddy 合作，開放網路第一次在「基礎設施規模」上，擁有了一座專門對 AI bot 的可程式化收費亭。

一、這次到底開了什麼

三件事同時上線。第一，Cloudflare 把 402 狀態碼升格為一級回應——每個付費客戶都可以針對個別 bot 設定拒絕，並回傳自訂訊息與「需要付費」的 header。第二，AI Crawl Control 在單一儀表板暴露「每個 bot × 每個 URL」的允許／拒絕／價格規則，並記錄誰試圖爬什麼。第三，Pay Per Crawl 計費——爬蟲營運方與內容擁有者都要驗證身分，每次爬蟲以驗證身分發出請求並拿到 200 級回應，就觸發一個 billing event。

定價協議是對稱的：爬蟲宣告「我願意付的最高價」；內容擁有者宣告「我的價格」。如果爬蟲的最高價低於設定價格，回 402。如果爬蟲的最高價達到或超過，付的是「設定價格」，不是它願付的最高價——Cloudflare 永遠以「設定價格」為下限取勝。

二、跟「在 robots.txt 擋 bot」有什麼不一樣

robots.txt 是一份請求。帶有付款意圖的 402 是一次交易。法律態勢立刻改變：忽略 402 的 AI 公司不是「違反網路禮儀」，而是「繞過付費牆」。在多數司法管轄區內這是有實質判例的，包括美國的 Computer Fraud and Abuse Act。出版社花了兩年問「我們要怎麼讓 OpenAI 為它訓練過的東西付錢」——答案不再是「寄一封下架信」，而是「定價，讓爬蟲自己決定要不要驗證身分」。

三、對 AEO/GEO 策略代表什麼

三個月前的聰明策略是：用結構好、容易被引用的內容餵 AI 答案引擎（AEO），同時優化「被寫進 AI 生成回答內」（GEO）。這個策略仍然對，只是現在多了一個你以前沒有的參數：價格。

如果你是利基權威站（醫療、法律、金融、B2B 技術），你突然有了一條真實的營收項目：以你的內容下游價值合理的價格，向 AI 爬蟲收費。如果你是大眾內容站，幾乎一定要設成免費——「免費」是你的通路優勢——但你仍然要進 Pay Per Crawl，讓 AI bot 驗證身分，這樣你才看得見它們。已驗證身分的爬蟲會留下可用的紀錄；「Direct」的 GA4 流量不會。

四、開發者這一季應該寫什麼

工程 backlog 會多三件事。第一，把你的 URL 樹分段：行銷頁＝對 AI 免費、付費／專有內容＝有定價。第二，回傳一個合理的 402 body——目前多數 AI client 會讀 body，並可能向使用者顯示「此內容已收費」；要在 body 裡寫清楚要怎麼授權。第三，把每一次 402 命中都記到你的應用程式資料庫（slug、bot、timestamp、爬蟲願付最高價）。一季之內你會精確知道：哪些 AI 爬蟲願意為你的內容付錢、願付多少。這是過去沒人能拿到的市場訊號。

五、12 個月內的二階效應

兩件事會發生。第一，AI 答案引擎只會引用「他們爬得起的來源」，意思是小型高價值出版社會被引用更多，不是更少，因為他們是少數願意以規模授權的對象。第二，會出現「AI 仲介」這一層——把多家出版社的付費授權整批批給沒能力一家一家談的小 AI 產品的公司。這跟當年圖庫授權最終如何整合是同一個形狀。

我的觀點

大家在講的敘事是「出版社 vs AI」。這沒抓到真正的招式。Pay Per Crawl 真正有趣的點不是「出版社現在可以收錢了」——而是 AI 公司第一次有了一條乾淨的、機器可讀的路徑去付錢。在這之前他們只有三條路：硬爬然後道歉、硬爬然後上法院、簽下昂貴的客製授權。一個帶付款意圖的 402，給了他們一條合規路徑，比繼續打官司便宜得多。2026 年靜悄悄選擇付小額 per-request 費用的 AI 公司，到了 2027 年第一個大型版權判決落槌時，會擁有業界最乾淨的法律敘事。Cloudflare 不只給了出版社一座收費亭，還給了 AI 業一條下交流道。