21 天後，你的網站會在你沒按任何按鈕的情況下換一套爬蟲規則
倒數 21 天。2026 年 9 月 15 日，Cloudflare 會把 AI 爬蟲的預設值翻過來：依官方部落格公告，機器人不再分「AI 或非 AI」，而是依用途拆成 Search、Agent、Training 三類；從那天起，凡是顯示廣告的頁面，Training 與 Agent 預設封鎖，Search 維持放行。重點在適用範圍：新客戶、既有客戶新開的網站，以及所有現存的免費方案用戶都會被自動套用；付費方案已設定好的站維持原狀。
這不是憑空冒出來。過去 18 個月，內容供給端與 AI 需求端的交易條件被改寫兩次：先是 2025 年的 Content Independence Day 把新網站改為預設封鎖並推出 pay-per-crawl，接著 2026 年 7 月把分類邏輯從「身分」改成「用途」（TechCrunch 報導）。為什麼是現在？因為流量結構撐不住了：2026 年初 Google 的零點擊搜尋已達 68%；AI Overview 出現的查詢裡自然點擊率掉 61%、付費點擊率掉 68%，但被引用在 Overview 內的品牌反而多拿 35% 自然點擊。內容被讀走的量暴增、回流的量在崩，基礎設施層於是替內容方上了談判桌。
同期的錢流更清楚：量測端在整合。Profound 完成 9,600 萬美元 C 輪、估值站上 10 億美元；Scrunch AI 於 2026 年 6 月 3 日被 Sitecore 以傳聞約 2.25 億美元收購；Evertune 也在 2025 年 12 月被併。走向一致：「量測你在 AI 裡的能見度」正被大廠收編並訂閱化，但「決定 AI 能不能讀到你」的開關握在 CDN 手上，而且免費。
中小企業會被影響嗎？會，而且是最容易誤判的方式：老闆在儀表板上看到一個人畜無害的「封鎖 AI 訓練爬蟲」開關，按下去，三個月後流量掉了卻查不出原因。以下拆解 9/15 改了什麼、哪些站會被動到，以及不花訂閱怎麼驗證。
事件細節與完整數字
- 生效日：2026 年 9 月 15 日。
- 新分類：Search、Agent、Training 三類分開設定，不再一刀切「AI bot」。
- 預設值：有廣告的頁面上，Training 與 Agent 預設封鎖、Search 預設放行。
- 適用對象：新客戶、既有客戶新建的網站、所有既有免費方案用戶；付費客戶不會被自動改。
最容易被忽略也最傷的是連坐效應：封鎖 Training，那些「多用途」爬蟲——Googlebot、Applebot、BingBot——即使 Search 放行也會一起被擋。這不是給網站主的精細刻度，是逼 AI 公司把訓練與搜尋爬蟲拆成不同 User-Agent 的談判槓桿。
受損最重的是把 Cloudflare 當免費 CDN、沒在看 crawl log 的中小企業。更麻煩的是自查工具也在抖：Google Search Console 8 月 15、16 日的檢索統計整整少了兩天。
三類讀者的立刻行動
品牌主／中小企業老闆
- 先確認網站掛不掛在 Cloudflare、是不是免費方案——這兩題決定 9/15 會不會被動到。
- 確認頁面有沒有廣告版位。沒有廣告的純官網，預設封鎖不會套用。
- 9 月 1 日前把現行 bot 設定截圖存檔，這是唯一的對照組。
行銷／SEO 操作者
- 現在就在 GA4 建「AI 來源」自訂區隔（chatgpt.com、perplexity.ai、gemini.google.com、copilot.microsoft.com），9/15 前要有兩週基準。
- 把 AI 引用當獨立 KPI。Ahrefs 對 3,000 個網站的研究顯示，AI 來源訪客只佔 0.5% 流量，卻貢獻 12.1% 註冊數，轉換率是自然搜尋的 23 倍；用流量比例衡量必定低估。
- 需要 JavaScript 才渲染的連結與內容，對多數 AI 爬蟲等於不存在。
開發者／接案商
- 幫每個客戶站跑 bot policy 稽核：Cloudflare 設定、robots.txt、伺服器 UA 規則、WAF 常互相打架。
- 撈 30 天 access log 按 User-Agent 分群，做出「誰來過、抓了哪些頁」的基線。
- 在 CI 加檢查：robots.txt 或 Cloudflare 設定被動過就告警。設定漂移是接案最常見的隱性事故。
爬蟲控制與 AI 可見度工具比較
市面選項分兩層：控制存取的，跟量測結果的。多數人買錯層。
| 方案 | 定位 | 能否分 Search／Agent／Training | 費用 | 適合誰 |
|---|---|---|---|---|
| Cloudflare AI Crawl Control | 邊緣層爬蟲分類與封鎖 | 可，官方三分類 | 免費方案含基本控制；Bot Management 加購 | 已掛 Cloudflare 的站 |
| Fastly／Akamai bot 管理 | 邊緣層管理，需自寫規則 | 需自建 UA 規則 | 企業報價，無牌價 | 已有 CDN 合約的中大型站 |
| Profound | AI 答案可見度監測，不碰存取 | 不適用 | 企業年約，牌價未公開 | 跨模型追蹤份額的品牌 |
| Semrush AI Visibility／Ahrefs Brand Radar | AI 引用份額監測 | 不適用 | 含在既有 SEO 訂閱 | 已付 SEO 工具費的團隊 |
| 自架 access log + robots.txt | DIY 控制與量測 | 可，靠 UA 白名單 | 0 元 | 沒 SaaS 預算的中小企業 |
不會告訴你的事
- 「向 AI 收費」對中小企業是假議題。pay-per-crawl 的議價權建立在規模與稀缺性。你的產品頁、服務頁、部落格對模型可替代性極高，單價趨近於零；封鎖換不到授權金，只換到消失。
- 連坐效應是設計出來的，不是 bug。封 Training 就一起封掉 Googlebot、Applebot、BingBot，是刻意的談判壓力。壓力給 AI 公司，成本卻由按下開關的網站主承擔，而且沒有介面會告訴你「你即將退出索引」。
- 反過來說，恐慌也被放大了。預設封鎖只針對顯示廣告的頁面。多數中小企業官網沒有廣告版位，9/15 什麼都不會發生；該檢查的是內容站、媒體站與掛了 AdSense 的公司部落格。
不花 SaaS 訂閱：SMB 的 DIY 路線圖
- ☐ 撈最近 30 天 access log，用一行 awk／grep 按 User-Agent 分群，統計 GPTBot、ClaudeBot、PerplexityBot、Google-Extended、Applebot-Extended 各抓了幾頁。
- ☐ 存成 baseline-2026-09-01.csv，這是你的對照組。
- ☐ 登入 Cloudflare，截圖現行 bot／AI 設定頁，連同日期存檔。
- ☐ 檢查 robots.txt 與 Cloudflare／WAF 是否衝突（常見：robots.txt 放行、WAF 在擋）。
- ☐ 在 GA4 建「AI 來源」自訂區隔，追蹤四大 AI 網域的 referral。
- ☐ 每月 1 號重跑統計與 baseline 對照，只看變化率。
- ☐ 用 AI 編碼工具把流程寫成 30 行 Python 腳本＋cron，之後全自動。
這套方案量測不到你在 ChatGPT 答案裡的份額，但能回答更關鍵的前置問題：AI 有沒有讀到你。
常見問題 FAQ
我用 Cloudflare 免費方案，9/15 會被自動改設定嗎？
會。新預設值適用於新客戶、既有客戶新建的網站與所有既有免費方案用戶；付費客戶維持現狀。不想被套用，可在 9/15 前到安全性設定自行調整。
封鎖 Training 爬蟲，會害我從 Google 搜尋消失嗎？
有可能。Googlebot、Applebot、BingBot 同時承擔搜尋與訓練用途，封鎖 Training 後，它們即使在 Search 被放行也會一起被擋。在 AI 公司拆開爬蟲之前，封鎖的風險遠高於收益。
我該封鎖還是開放 AI 爬蟲？
標準只有一個：內容有沒有議價權。有獨家資料庫、訂閱牆、法務資源的內容站，封鎖並談授權合理；以獲客為目的的官網與電商幾乎一律該開放。
怎麼知道 AI 有沒有真的引用我？
三層驗證：先看伺服器 log 有沒有 AI 爬蟲紀錄，再看 GA4 有沒有 AI 網域 referral，最後才花錢問模型。順序反了就是浪費預算。
我的觀點
主流把 9/15 講成「內容變現的轉捩點」。我的判斷相反：未來 12 個月，pay-per-crawl 給中小企業的收入會接近零，而封鎖造成的可見度損失會因為被記成直接流量而測不出來。你付了代價卻看不到帳單。真正的贏家是 CDN：它把數百萬個沒有議價能力的免費站台聚合成對 AI 公司的籌碼。網站主拿到開關，Cloudflare 拿到談判桌。
第二個不合群的判斷：AI 可見度監測 SaaS 會先於這場爬蟲戰爭見頂。當控制權免費、量測卻要幾千美元年費，市場遲早發現順序錯了。
對 ScriptWalker 這種接案團隊，啟示明確：把「AI 爬蟲存取健檢」做成一次性、可驗收的交付。四十分鐘稽核（Cloudflare 設定、robots.txt、WAF、JS 渲染依賴、30 天 log 基線）＋一份對照報表。客戶要的是答案，不是月費儀表板。
需要協助？
- Email：[email protected]
- 電話：0916-224-047
- LINE：@ufv9089p
資料來源
第一手
- Cloudflare 官方部落格：Your site, your rules: new AI traffic options for all customers
- Ahrefs 官方研究：AI traffic study（3,000 個網站）
- Semrush 官方新聞室：2026 AI Visibility Index（1.26 億則 AI 搜尋提示）
第三方
- TechCrunch：Cloudflare's new policy pushes AI companies to pay for publishers' content
- Help Net Security：Cloudflare changes AI crawler access rules
- Search Engine Land：Google zero-click searches reach 68% in early 2026
- Search Engine Land：Google AI Overviews CTR shows early signs of recovery
- Search Engine Roundtable：Google Fixed Favicon Bug & Crawl Stats Missing Data