AI 爬你網站一萬次，才回送你一個訪客
2026 年 6 月，Cloudflare 在 Radar 上公布的最新「crawl-to-refer 比」把一個多數中小企業沒算過的帳攤在桌上：在 5 月 25 日至 6 月 1 日那週，Anthropic 的 ClaudeBot 平均抓取 11,122 個頁面，才回送 1 個訪客；OpenAI 是 857:1、Perplexity 是 190:1，而傳統 Googlebot 只有 5:1。一句話總結——AI 引擎拿走你內容的速度，遠遠快過它把人帶回你網站的速度。
要看懂這個數字的份量，得放進過去 18 個月的市場結構裡。從 2024 年底「答案層」興起以來，AI 引擎用兩種爬蟲掃網路：一種是把你內容拿去訓練模型的「訓練型爬蟲」，一種是使用者問問題時才即時去抓的「搜尋型爬蟲」。Cloudflare 的數據顯示，訓練型抓取仍以超過 5:1 壓過搜尋型，搜尋型只佔 AI 爬蟲流量的 9.3%（4 月還是 7.5%）。換句話說，AI 對網路內容的關係，目前仍以「抽取」為主，而不是「導流」。
同類比較更刺眼：Googlebot 抓 5 頁帶 1 個人回來，是因為傳統搜尋的商業模式建立在「把流量還給網站」。AI 引擎沒有這個約束——它把答案直接寫在對話框裡，使用者根本不必點進來。Anthropic 的比值雖然從 4 月的 13,528:1 改善到 11,122:1，仍是各大營運者裡最差；OpenAI 從 1,252:1 進步到 857:1；Perplexity 反而從 95:1 惡化到 190:1。整個類別的方向是：抓得更兇、引用更挑。
這對中小企業意味著什麼？所有 AI 聊天機器人加起來，只貢獻了全網搜尋 referral 的 0.29%。接下來這篇會解：這個比值怎麼影響你的頻寬帳單與 GEO 策略、該用哪些工具量自己的數字、以及為什麼「直接封鎖 AI 爬蟲」對大多數中小企業是錯的。
事件細節與完整數字
把 Cloudflare 這份資料拆開看，三個數字最關鍵。其一，crawl-to-refer 比的離散度極大：Googlebot 5:1、Perplexity 190:1、OpenAI 857:1、ClaudeBot 11,122:1——同樣被「爬一次」，帶回訪客的機率可以差兩千倍。其二，方向在惡化：Perplexity 一個月內從 95:1 變 190:1，代表它抓得更多、回送更少。其三，AI referral 只佔全網搜尋導流的 0.29%，跟「AI 會取代 Google 流量」的敘事相比，現階段它對中小企業的實際導流貢獻仍然很小。誰受益、誰受損？受益的是「內容被當權威來源引用」的網站；受損的是「內容被抓去訓練、卻拿不到任何回流」的網站——而後者是多數中小企業的現況。
三類讀者的立刻行動
- 品牌主／中小企業老闆：先別問「要不要做 GEO」，先量「AI 到底有沒有把人帶回來」。請你的人在 GA4 拉出 chatgpt.com / perplexity.ai / gemini.google.com 這三個 referral 來源近 90 天的 session 數——這個數字決定你該投入多少。
- 行銷／SEO 操作者：把內容結構化（清楚的問句式標題、可被擷取的段落、FAQ schema），目標是「被引用」而非「被點擊」；同時在 Cloudflare 設規則，放行搜尋型爬蟲、對純訓練型爬蟲設速率限制。
- 開發者／接案商：替客戶把伺服器日誌接出來，算出每個 AI bot 的「抓取次數 ÷ 帶回訪客」。這份報表本身就是一個可收費的健檢服務。
SaaS 工具比較表
| 工具 | 功能 | 價格級距 | 適用情境 |
|---|---|---|---|
| Cloudflare（Radar / Bot 管理） | 看 bot 流量佔比、放行/限制爬蟲 | 免費起，進階隨方案 | 想控制爬蟲成本、又要保留可見度 |
| Profound | 追蹤品牌在多個 AI 引擎的被引用度 | 企業級（高） | 有預算、要跨引擎規模化監測 |
| Peec AI | GEO/AEO 可見度追蹤、競品對比 | 中 | 行銷團隊要每日看排名變化 |
| 自家日誌 + GA4 | DIY 算 crawl-to-refer 與 AI referral | 近乎零 | 中小企業先驗證有沒有必要花錢 |
不會告訴你的事
- 反向觀點一：封鎖爬蟲＝自我刪除。很多顧問叫你「擋掉 AI 爬蟲止血」，但對中小企業，被搜尋型爬蟲抓取是你進入 AI 答案的唯一入口。全封等於把自己從 ChatGPT、Perplexity 的結果裡刪掉，比被抓更糟。
- 反向觀點二：0.29% 不代表「不用管」。整體佔比小，是被大網站平均掉的結果。在某些利基產業，AI 引用帶來的可能是高意圖、高轉換的少量流量——量小但質高，不能只看總量就放棄。
- 邊緣案例：同一個 user-agent 可能同時做訓練與搜尋抓取，粗暴封鎖會誤傷會帶來引用的那一半。
不花 SaaS 訂閱的 SMB 替代方案
- 用 Cloudflare 免費方案看 bot 流量佔比，先知道誰在抓、抓多兇。
- 解析自家伺服器日誌（一段 grep + 試算表即可）：把各 AI bot 的抓取次數除以 GA4 裡對應 referral 的 session 數，算出你自己的 crawl-to-refer 比。
- robots.txt + Cloudflare 規則分級：對標明「訓練用」的爬蟲設速率限制或擋下，放行搜尋型；每月複查一次。
- 內容面：加 FAQ schema、把答案寫在段落前 2 句，提高「被擷取為答案」的機率——這比買工具更直接影響被引用率。
常見問題 FAQ
我該不該直接封鎖 AI 爬蟲？
對絕大多數中小企業：不要全封。被爬是你進入 ChatGPT、Perplexity 答案的唯一入口；全封等於把自己從 AI 搜尋結果裡刪掉。該做的是「分級」——擋掉純訓練型爬蟲、保留會即時檢索並可能帶來引用的搜尋型爬蟲。
被爬這麼多次，會把我的伺服器拖垮嗎？
視流量而定。如果你是小型主機、又被高頻爬蟲（如 ClaudeBot 11,122:1 的抓取比）狂掃靜態頁，頻寬與 CPU 確實會被吃掉。先用 Cloudflare 免費方案看 bot 流量佔比，必要時對訓練型爬蟲設速率限制。
怎麼知道 AI 到底有沒有把流量還給我？
在 GA4 看 referral 來源是否出現 chatgpt.com、perplexity.ai、gemini.google.com；同時比對伺服器日誌裡這些 bot 的抓取次數。把「抓取次數 ÷ 帶來的訪客」算出來，就是你自己的 crawl-to-refer 比。
中小企業要花錢買 GEO 監測工具嗎？
先不用。用 Cloudflare Radar 的公開資料、自家伺服器日誌、加上 GA4 referral，就能算出八成你需要的指標。等你確定要規模化追蹤數十個品牌關鍵字、跨多個 AI 引擎，再考慮付費工具。
我的觀點
主流現在分兩派：一派喊「AI 在偷你的內容，快封鎖」，一派喊「快買 GEO 工具搶被引用」。我的判斷跟兩派都不同：對中小企業，這個 crawl-to-refer 比真正告訴你的，不是「該不該被爬」，而是「你該把資源放在被引用、而不是被點擊」。11,122:1 這種數字會在未來 12 個月成為內容授權談判的籌碼——大型出版商會用它向 AI 公司要錢，但中小企業沒有談判桌，硬封鎖只會把自己邊緣化。對 ScriptWalker 的業務啟示很具體：可以把「AI 爬蟲成本 + 可見度健檢」做成一個標準化的小型服務——拉客戶的伺服器日誌與 Cloudflare 數據，算出他們自己的 crawl-to-refer 比、標出哪些爬蟲只抽取不回流、給一份分級放行規則。這是一個用公開數據就能交付、客戶又看得懂價值的入門案，很適合當長期維運合約的敲門磚。
資料來源
- Cloudflare Radar 部落格 — AI search crawl-to-refer ratio：https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/
- Cloudflare 部落格 — The crawl-to-click gap：https://blog.cloudflare.com/crawlers-click-ai-bots-training/
- Cloudflare 部落格 — AI crawler traffic by purpose and industry：https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/
- Cloudflare Radar（公開資料平台）：https://radar.cloudflare.com/
- Google Search Central — 結構化資料與 AI 功能說明：https://developers.google.com/search/docs