開場敘述 + 深入解析
7 月初，Cloudflare 丟出一個會直接改變「你的內容能不能被 AI 看見」的政策：從 2026 年 9 月 15 日起，預設封鎖「混用型（mixed-use）」AI 爬蟲存取有放廣告的頁面。第一手報導來自 TechCrunch（7 月 1 日）。所謂「混用型」，指的是把搜尋、代理（agent）、訓練混在同一支爬蟲的 AI 公司——9/15 之後，這類爬蟲若沒被網站主動放行，就拿不到廣告頁面的內容。
要看懂為什麼是現在，得看過去 12 個月的市場結構。AI 答案層正在把流量從「點進網站」變成「在答案裡讀完就走」——Gartner 預估到 2026 年傳統搜尋量會下滑約 25%，而光是 ChatGPT 每週就服務超過 9 億人。內容被抓去餵模型、但網站拿不到一次點擊，這個「白吃白喝」的張力累積了一年，Cloudflare 作為全球最大 CDN 之一，等於握著一個能替內容方擋門的閘。它這次的差異不是「多一個開關」，而是把「預設值」從放行改成封鎖。
對照同類動作：Cloudflare 同時把 Pay Per Crawl 市集升級成 Pay Per Use——讓內容方在「內容替 AI 產生價值時」收費，而不只是「被抓取時」。首波夥伴包含 Ceramic.ai 與 You.com。它甚至點名「全球最大搜尋引擎」（指 Google）握有比其他 AI 公司「多約 2 倍」的資訊量。整個類別正在從「免費抓取」走向「分軌計費」。
那中小企業會被波及嗎？會，而且方向可能跟你想的相反。接下來我拆：這政策實際改了什麼、三種角色該怎麼動、監測工具怎麼比、以及不花 SaaS 訂閱也能自保的做法。
事件細節 + 完整數字
這次預設值變更的適用範圍很關鍵：新的 Cloudflare 客戶、既有客戶新建立的站、以及所有既有的免費方案客戶，9/15 起自動套用「封鎖混用型爬蟲存取廣告頁」。既有的付費客戶則保有覆寫權，可以在 Cloudflare 儀表板裡把特定爬蟲重新放行。換句話說：如果你是用免費方案掛 Cloudflare 的中小企業官網，這個預設值會直接落到你頭上；如果你想被某些 AI 引擎讀到，可能要主動去確認設定。
Cloudflare 的說法是：多數網站主希望內容能被搜尋、也常希望被 AI 服務找到，但不想把智財免費奉送。這個政策的目標是逼 AI 公司把「搜尋爬蟲」與「訓練爬蟲」拆開——你想被搜尋引擎收錄可以，但別用同一支爬蟲順手把內容搬去訓練。對內容方來說，這是第一次有基礎設施層級的工具，能在「被 AI 看見」與「被 AI 白拿」之間畫線。
三類讀者的立刻行動
- 品牌主／中小企業老闆：先確認自家官網是不是掛在 Cloudflare、是不是免費方案。若是，9/15 前登入儀表板看 Bot / AI 爬蟲設定，決定你要「被 AI 引用」還是「擋 AI 白拿」——這是商業選擇，不是技術細節。
- 行銷／SEO 操作者：把「AI 爬蟲可見性」加進你的月報。用 server log 或 Cloudflare 分析看哪些 AI bot（GPTBot、PerplexityBot、Google-Extended 等）在抓你的站，別讓一個預設封鎖悄悄把你從 AI 答案裡下架。
- 開發者／接案商：替客戶盤點
robots.txt、llms.txt與 CDN bot 規則的一致性。這會變成一個可收費的「AI 可見性健檢」小服務。
SaaS 工具比較表
| 工具 | 做什麼 | 價格級距 | 適用情境 |
|---|---|---|---|
| Cloudflare（Bot 管理 / Pay Per Crawl） | 在 CDN 層控制哪些 AI 爬蟲能存取、可設收費 | 免費起，進階功能綁付費方案 | 已用 Cloudflare、想從基礎設施擋門的網站 |
| Profound | 監測品牌在 AI 答案中的出現率與引用來源 | 企業級月費（數百美元起） | 有預算、要量化 AI 可見度的品牌 |
| Scrunch AI | 追蹤品牌在多個 AI 引擎的引用與情緒 | 中—高月費 | 要跨 ChatGPT／Perplexity 比較的行銷團隊 |
| Evertune | 分析模型在你品類裡「會推薦誰」 | 企業級 | 做品類佔有率競爭分析 |
不會告訴你的事
- 「擋 AI 白拿」和「被 AI 引用」常常是同一個開關的兩面：很多 AI 引擎用來「即時檢索回答」的爬蟲，跟拿去訓練的是同一支或同一類。你一刀切封鎖，可能連 Perplexity、ChatGPT search 的即時引用一起擋掉。Cloudflare 的分軌邏輯有幫助，但實務上分不乾淨。
- 預設值會傷到「不知情」的人：真正該擔心的不是大出版商（他們會去調設定），而是掛免費方案、根本沒在看 bot 報表的中小企業——一個他們沒按過的開關，可能讓他們在 9/15 後從某些 AI 答案裡消失，卻毫無感覺。
不花 SaaS 訂閱的 SMB 替代方案
你不需要企業級訂閱也能自保。三步驟 DIY：
- 自己控爬蟲：在
robots.txt明確列出允許／拒絕的 AI bot（GPTBot、PerplexityBot、Google-Extended、CCBot），再加一份llms.txt告訴 AI 你的重點內容與授權態度。 - 自己看 log：用 Nginx access log + 一段
grep統計各家 AI User-Agent 的抓取頻率，不必買監測 SaaS 就能知道誰在抓你。 - 自己驗證露出：每週手動問 ChatGPT／Perplexity 幾個你的品類問題，記錄你有沒有被引用——這是最土但最真實的 AI 可見度追蹤。
常見問題 FAQ
我沒放廣告，這政策跟我有關嗎？
這次的預設封鎖鎖定「有放廣告的頁面」。若你的站沒有廣告，衝擊較小；但預設值與 bot 政策的整體收緊趨勢仍值得留意，建議還是把 robots／bot 設定確認一次。
擋掉 AI 爬蟲，我的 Google SEO 會不會受影響？
要看你擋的是誰。Google 傳統搜尋爬蟲（Googlebot）跟 AI 訓練爬蟲（Google-Extended）是分開的，擋後者不影響前者收錄。關鍵是別把兩者混為一談、一次全擋。
中小企業到底該擋還是該開？
沒有標準答案，取決於你的商業模式：靠內容帶流量、想被 AI 引用進而轉換的，傾向開放即時檢索爬蟲；內容本身就是你賣的商品（如付費報告）的，傾向擋。先想清楚「被 AI 讀到」對你是資產還是損失。
9/15 之後還能改嗎？
可以。付費客戶隨時能在儀表板覆寫；免費客戶也能調整自家設定。這不是一次性、不可逆的變更，但預設值已經替你做了選擇，你得主動去確認它是不是你要的。
我的觀點
主流會把這讀成「內容方終於贏了、AI 要付錢了」。我的判斷是：這對大出版商是好消息，對沒有議價能力的中小企業其實是新的隱形風險。當「封鎖」變成預設，最容易受傷的是那些連自己被誰抓都不知道的小網站——他們不會去 Pay Per Crawl 收錢，只會在某天發現詢問度莫名下滑。真正的結構性變化不是「AI 付費」，而是「AI 可見性從此需要主動管理」，就像十年前 SEO 從「自然發生」變成「要有人專門做」。對 ScriptWalker 的啟示很直接：把「AI 爬蟲可見性健檢」做成一個可交付、可收費的固定服務項目——盤點 robots.txt／llms.txt／CDN bot 規則、產出一份「你目前被哪些 AI 讀到、哪些擋掉」的報告。這是 2026 下半年最好賣、客戶最聽得懂的新服務之一。
資料來源
- TechCrunch：Cloudflare 新政策逼 AI 付費（第一手報導，2026-07-01）— https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/
- The Register：Cloudflare 封鎖搜刮型爬蟲 — https://www.theregister.com/ai-and-ml/2026/07/01/cloudflare-to-block-cynical-search-and-scrape-bots-from-ad-supported-web-pages/5264727
- Cloudflare 官方部落格 — https://blog.cloudflare.com/
- The AI Insider：Cloudflare 9 月期限 — https://theaiinsider.tech/2026/07/02/cloudflare-sets-september-deadline-to-force-ai-crawlers-apart-from-search-bots/
- Dataconomy：Cloudflare 將封鎖 AI 爬蟲除非 opt-in — https://dataconomy.com/2026/07/03/cloudflare-will-block-ai-crawlers-unless-sites-opt-in/