2026 年 7 月 22 日,Google Search Central 重寫《Optimize your crawl budget》官方文件,首度寫下:「每個網站一開始都套用相同的預設保守抓取容量上限」。更關鍵的一句是:抓取容量「由所有爬蟲共用」——幫你排名的 Googlebot,和拿內容訓練 ChatGPT、Claude 的 AI 爬蟲,搶的是同一個水龍頭。這是寫進 Google 官方文件 的規則,四天內就被 SEO 社群大量轉載。
這不是孤立事件。過去 12-18 個月,Google 把 AI Overview 塞進近六成美國查詢結果,OpenAI、Anthropic 的訓練爬蟲流量暴增卻幾乎不回饋點擊。根據 Cloudflare Radar 數據,Claude 爬蟲的抓取:導流比已達 10,300:1,GPTBot 約 903.8:1,Googlebot 僅 5.2:1。伺服器撐不住這群食量暴增卻不導流的訪客,Google 只好把「容量有限、要靠健康度賺取」寫清楚。
文件把「感知庫存」「熱門度」「新鮮度」列為需求三要素,AdsBot、Shopping 各自需求也共用同一容量池。Bing、Yandex 至今沒有等同細緻的文件,OpenAI、Anthropic 也從未公布對等指南。類別走向很清楚:比的不是誰的爬蟲聰明,而是誰先把「基礎設施健康度」寫成可操作的規則。
對台灣中小企業而言,這則更新聽起來技術又遙遠,卻同時決定 Google 排不排得到你、AI 摘要願不願意抓你。以下拆解實際改了什麼、三種角色該做什麼、比較表、兩個顧問不會說的真相,以及免費 DIY 路線圖。
事件細節與完整數字
官方定調是「改善清晰度與行文流暢度」,但新增三條實質規則。第一,Optimize your crawl budget 頁面 明講:「每個網站一開始都套用相同的預設保守抓取容量上限;如果有更多需求且網站維持健康,系統會自動調高上限」——容量不再靠網域年齡累積,而是靠回應速度「賺」出來。第二,容量上限「由所有爬蟲共用,某一爬蟲的高需求會降低其他爬蟲可用的容量」——AI 訓練爬蟲掃描量大時,Googlebot 分到的資源會同步被壓縮。第三,延遲與 TTFB 穩定或改善是上限調高的條件,出現 5xx、HTTP 429 則會反向下修。完整紀錄在 官方 changelog;根據 Search Engine Roundtable 比對,這是近一年最大幅度的改版。
三類讀者現在該做什麼
品牌主／中小企業老闆
- 打開 Search Console「抓取統計資料」,平均回應時間常超過 300 毫秒就是優先技術債;花錢買「AEO 快速曝光」前先確認主機與快取過關。
行銷／SEO 操作者
- 別再迷信「封鎖不重要頁面省預算」,除非已頂到容量上限否則資源不會自動轉移;改用
304 Not Modified快取策略讓未更動頁面回應更快。
開發者／接案商
- 把 TTFB 與
5xx／429錯誤率做成監控儀表板,並提供一次性伺服器健檢與快取優化,常比長期訂閱 SaaS 更快見效。
SaaS 工具比較表
| 工具 | 核心功能 | 價格 | 適合情境 |
|---|---|---|---|
| Search Console | 抓取統計、回應時間趨勢 | 免費 | 所有網站的第一道檢查 |
| Cloudflare AI Crawl Control | 抓取:導流比、封鎖或收費 | 基本免費,進階付費 | 量化 AI 爬蟲耗用資源 |
| Screaming Frog Log Analyser | 日誌分析、比對爬蟲行為 | 500 URL 內免費,超過需授權 | 中大型網站技術診斷 |
| JetOctopus | 抓取監控、異常告警 | 訂閱制,依規模計價 | 電商或大型內容網站 |
不會告訴你的事
第一,多數 GEO 顧問賣的是「內容優化」——改標題、加結構化資料,卻很少提伺服器。這份文件證明:AI 讀到好內容之前,伺服器健康度早就先判了生死。內容是及格線,基礎設施才是準考證。
第二,「被爬越多 = 被引用越多」是迷思。Claude 抓取:導流比高達 10,300:1,瘋狂掃描不等於更多引用或流量,反而可能只是白燒伺服器資源。把「爬蟲抓取次數」當 KPI,方向從一開始就錯了。
不花 SaaS 訂閱的 DIY 路線圖
- 每週用 Search Console 免費「抓取統計資料」報表檢查回應時間趨勢。
- 用免費工具 GoAccess 分析 access log,篩出 Googlebot、GPTBot、ClaudeBot 各自流量。
- 用瀏覽器工具量測 TTFB,目標落在 Core Web Vitals 建議範圍內。
- 在
robots.txt免費設定特定 AI 爬蟲規則,並開啟主機內建免費快取層提升304回應比例。
常見問題
我的網站只有幾十頁,需要在意抓取預算嗎?
Google 說指南主要給百萬頁大站看,但 AI 爬蟲不像 Googlebot 依重要性排序,幾乎無差別掃描,速度仍會影響被讀取機率。
封鎖 AI 爬蟲會不會影響 Google 排名?
不會。Googlebot 與 GPTBot、ClaudeBot 是不同身份,在 robots.txt 分別設定,封鎖只會減少內容被拿去訓練模型的機會。
TTFB 要多快才算健康?
沒有官方硬數字,業界建議壓在 200 毫秒內;Google 更強調穩定或改善的趨勢比絕對數字重要。
這跟 Search Console 其他報表有什麼關係?
抓取統計獨立於流量報表,反映 Google 能否有效率讀你的網站而非使用者互動,需分開檢視。
中小企業該優先封鎖哪些 AI 爬蟲?
不想被訓練模型可優先封鎖抓取:導流比懸殊的爬蟲如 Claude、GPTBot;想被引用曝光則保留存取並監控負載。
我的觀點
主流說法是「這只是文件措辭優化,對排名沒影響」,我不同意。Google 把「容量由所有爬蟲共用」寫成白紙黑字,等於承認 AI 爬蟲的野蠻生長已擠壓傳統搜尋的抓取品質。未來 12 個月,伺服器效能會從加分項變成篩選門檻——過不了門檻的網站,內容再好也會在 Google 搜尋與 AI 摘要裡變得難找。這對 ScriptWalker 是明確的服務化機會:比起賣內容優化或訂閱制 GEO 監控,一次性「伺服器健檢 + 快取優化」專案更貼近規則核心,Laravel 團隊熟悉的 Redis、OPcache、CDN 快取層,容易包裝成可重複銷售的診斷服務。
- Email:[email protected]
- 電話:0916-224-047
- LINE:@ufv9089p
資料來源
- Google for Developers,Optimize your crawl budget(2026-07-22 更新)
- Google for Developers,Crawling infrastructure changelog
- Cloudflare Blog,The crawl before the fall… of referrals
- Search Engine Roundtable,Google Updates Its Crawl Budget Doc(2026-07-22)
- web.dev,Core Web Vitals — Largest Contentful Paint