直接答案:多數中小企業網站要等數天到數週,AI 才會重新讀到你改過的內容。Cloudflare 執行長 11 月初法說會透露,OpenAI 已付費取得「網頁改了沒」的訊號;中小企業先修正 sitemap 的 lastmod、開啟 IndexNow,4 個免費設定約半天就能完成。
11 月 8 日,Search Engine Journal 整理了 Cloudflare 第三季法說會內容:執行長 Matthew Prince 說,OpenAI 付錢給 Cloudflare,換取「哪些網頁改過」的訊號,讓爬蟲不必一次又一次重抓沒變的頁面。他還重申,5 年內 AI 代理人在網路上的流量可能是真人的 1,000 倍,並把「讓代理人更容易找到你」稱為新版的 SEO。同季 Cloudflare 營收 7.825 億美元、年增 39%。一句話總結:AI 公司開始為「新鮮度」付費。
為什麼是現在?過去一年,AI 爬蟲數量暴增,但多數爬的是重複內容,網站付頻寬、AI 公司付運算,雙方都虧。Cloudflare 7 月與 OpenAI 啟動研究合作,10 月公布用約 1% 網路流量的樣本,就讓 OpenAI 發現並收錄數億個新網頁。Prince 舉的例子很貼近中小企業:使用者只看一家餐廳,代理人卻可能抓了 1,000 家的菜單,另外 999 家白付成本。Cloudflare 本季新增超過 15.8 萬名付費客戶,代理人流量的計價權正在集中到 CDN 手上。
同類玩家各走各的路。Cloudflare 從封鎖起家,現在推按次收費的 Monetization Gateway 與 Pay Per Use(9 月底進入測試);TollBit 主打替內容網站向 AI 公司收費;微軟則在 10 月底把 Clarity 的代理人活動儀表板正式推出,讓網站看見哪些 AI 代理人來過、做了什麼。整個類別從「擋不擋」走向「怎麼計價、怎麼通知」,誰掌握變更訊號,誰就能決定 AI 先讀誰。
這對台灣中小企業的意思是:你改了價格、營業時間或活動內容,ChatGPT 和 Copilot 可能還在報舊的。接下來說明事件細節、三類讀者的立刻行動、工具比較,以及不用付訂閱費就能做的設定。
事件細節:AI 公司開始為「網頁新鮮度」付錢
重點是 AI 爬蟲的成本結構變了,「告訴爬蟲哪頁改過」開始有商業價值。法說會與官方資料透露的關鍵如下:
- OpenAI 付費取得 Cloudflare 的網頁變更訊號,Prince 預期其他 AI 公司也會跟進。
- Cloudflare 第三季首度認列「第四幕」產品營收,這是它為代理人時代設計的新商業模式,未揭露金額。
- Prince 預估 5 年內非人類流量可達真人 1,000 倍,並說時間點比 8 月時預估的更快。
- 說明用途的代理人可能拿到較低存取價格,例如規劃夏威夷旅遊、會帶來廣告機會的請求甚至可能免費。
- AI Crawl Control 已開放所有方案使用,可逐一允許或拒絕個別 AI 爬蟲。
受益的是內容常更新、又讓爬蟲讀得懂的網站;吃虧的是價格寫在圖片裡、sitemap 日期亂填的網站。
三類讀者的立刻行動
結論是:先讓爬蟲知道「哪頁改了」,再談要不要擋或收費。
- 品牌主/中小企業老闆:列出最常變動的 10 個頁面(價格、營業時間、活動、庫存),確認文字可複製、不是圖片,改完就通知爬蟲。
- 行銷/SEO 操作者:到 Bing Webmaster Tools 開啟 IndexNow,在 Search Console 檢查 sitemap 的最後修改日是否正確,每月看一次 AI 爬蟲紀錄。
- 開發者/接案商:讓 sitemap 的 lastmod 只在內容真的改變時更新,後台存檔時自動送出 IndexNow;用 Cloudflare 的網站可直接開 Crawler Hints。
工具比較:變更通知與 AI 爬蟲管理
對中小企業來說,免費的 IndexNow 與 Crawler Hints 就夠用,付費方案是給大型內容網站的。
| 工具 | 做什麼 | 費用 | 適合誰 |
|---|---|---|---|
| IndexNow(Bing 等搜尋引擎支援) | 內容改變時主動通知搜尋引擎 | 免費 | 所有網站 |
| Cloudflare Crawler Hints | 自動替你送出變更通知 | 免費方案即可 | 網站已用 Cloudflare |
| Cloudflare AI Crawl Control | 逐一允許或封鎖 AI 爬蟲、看紀錄 | 所有方案;按次收費功能測試中 | 想管控 AI 爬蟲的網站 |
| Microsoft Clarity 代理人活動 | 看哪些 AI 代理人來過、做了什麼 | 免費 | 電商與預約型網站 |
| TollBit | 向 AI 公司收取內容使用費 | 依合作條款 | 媒體與大型內容網站 |
不會告訴你的事
第一個反向觀點:Google 不支援 IndexNow。Google 官方說明只有在 lastmod 一致且可驗證地正確時才會採用,所以 sitemap 日期亂填,等於讓 Google 忽略你的訊號。
第二個反向觀點:1,000 倍是預測,不是統計。Prince 是賣頻寬與防護的公司執行長,代理人流量越被放大,他的產品越好賣。中小企業不需要為了這個數字急著買防護方案。
第三,付費取得變更訊號的是 OpenAI 和 Cloudflare,不是你。訊號規格掌握在 CDN 手上,不用 Cloudflare 的網站,目前只能靠 IndexNow 與 sitemap。
不花 SaaS 訂閱的 SMB 替代方案
4 個免費設定、約半天工時,就能讓 AI 更快讀到你的最新內容。
- 修正 sitemap:lastmod 只在內容改變時更新,不要每天自動改成今天。
- 開啟 IndexNow:WordPress 可裝外掛,Laravel 網站在儲存事件裡送一次 API 請求即可。
- 價格與營業資訊用文字和結構化資料呈現,不放在圖片裡。
- 用 Cloudflare 免費方案的網站,開啟 Crawler Hints,並在 AI Crawl Control 檢查有沒有誤擋 ChatGPT 或 Bing 的爬蟲。
常見問題 FAQ
以下是讀者最常問的 4 個問題,每題第一句就是答案。
AI 多久會重新讀到我網站的更新?
沒有固定時間,常見是數天到數週。內容常更新、sitemap 日期正確、又有送出 IndexNow 的網站,通常會被更快重新讀取。
IndexNow 是什麼?Google 有支援嗎?
IndexNow 是內容改變時主動通知搜尋引擎的免費協定。Bing 等引擎支援,Google 目前不支援,所以 sitemap 的 lastmod 仍要正確。
中小企業要封鎖 AI 爬蟲嗎?
多數不建議全面封鎖。被 AI 讀到並推薦的價值,通常高於省下的頻寬;只封鎖異常大量或身分不明的爬蟲即可。
設定這些要花多少錢?
多數是免費設定,約半天到 3 天工時。WordPress 裝外掛即可;客製網站需在後台存檔流程加上通知,外包約 NT$5,000–20,000。
我的觀點:新鮮度會比排名更值錢
我的判斷和主流不同:大家還在追「AI 會不會引用我」,但未來 18 個月,中小企業吃虧最多的會是「AI 引用了舊資料」。價格、營業時間、活動截止日一旦過期,AI 越常引用你,客訴越多。變更通知會像 SSL 一樣變成網站基本配備,而不是 SEO 加分項。
另一個反主流看法:多數中小企業不該急著向 AI 爬蟲收費。你的內容不是新聞媒體,被讀到的價值遠高於能收到的幾分錢。
對 ScriptWalker(台灣 Laravel/Flutter 客製化開發工作室)的業務啟示:我們會把「正確的 lastmod、存檔即送 IndexNow、AI 爬蟲紀錄報表」做成新網站的標準交付,也為舊網站提供一次性的 AI 可讀性健檢,工時約 1–3 天。
資料來源
- Cloudflare 2026 第三季財報新聞稿(SEC)(第一手)
- Cloudflare 官方部落格:與 OpenAI 的網頁探索合作成果(2026-10-15)(第一手)
- Cloudflare AI Crawl Control 官方文件(第一手)
- Google Search Central:建立與提交 sitemap(第一手)
- IndexNow 官方網站(第一手)
- Search Engine Journal:Cloudflare CEO Likens AI Agent Optimization To A New Version Of SEO(2026-11-08)(第三方)
- Cloudflare Q3 2026 法說會逐字稿整理(第三方)