AI 與自動化

AI 多久才會發現你的網站改過?Cloudflare 執行長法說會透露 OpenAI 付費取得「網頁改了沒」訊號、預估 5 年內代理人流量可達真人 1,000 倍:中小企業先把 sitemap 更新日期與 IndexNow 設好,改了價格 AI 才不會報舊的

2026.11.10 · 1 次瀏覽
AI 多久才會發現你的網站改過?Cloudflare 執行長法說會透露 OpenAI 付費取得「網頁改了沒」訊號、預估 5 年內代理人流量可達真人 1,000 倍:中小企業先把 sitemap 更新日期與 IndexNow 設好,改了價格 AI 才不會報舊的
“

Cloudflare 第三季營收 7.825 億美元、年增 39%,執行長 Matthew Prince 在法說會上說,OpenAI 付費使用 Cloudflare 的網頁變更訊號,讓爬蟲不必反覆抓沒改過的頁面;他把替代理人優化網站稱為「新版 SEO」。拆解這件事對台灣中小企業網站的意義、工具比較、新聞沒講的限制,以及不花訂閱費就能做的 4 個設定。 ”

分享:

直接答案:多數中小企業網站要等數天到數週,AI 才會重新讀到你改過的內容。Cloudflare 執行長 11 月初法說會透露,OpenAI 已付費取得「網頁改了沒」的訊號;中小企業先修正 sitemap 的 lastmod、開啟 IndexNow,4 個免費設定約半天就能完成。

11 月 8 日,Search Engine Journal 整理了 Cloudflare 第三季法說會內容:執行長 Matthew Prince 說,OpenAI 付錢給 Cloudflare,換取「哪些網頁改過」的訊號,讓爬蟲不必一次又一次重抓沒變的頁面。他還重申,5 年內 AI 代理人在網路上的流量可能是真人的 1,000 倍,並把「讓代理人更容易找到你」稱為新版的 SEO。同季 Cloudflare 營收 7.825 億美元、年增 39%。一句話總結:AI 公司開始為「新鮮度」付費。

為什麼是現在?過去一年,AI 爬蟲數量暴增,但多數爬的是重複內容,網站付頻寬、AI 公司付運算,雙方都虧。Cloudflare 7 月與 OpenAI 啟動研究合作,10 月公布用約 1% 網路流量的樣本,就讓 OpenAI 發現並收錄數億個新網頁。Prince 舉的例子很貼近中小企業:使用者只看一家餐廳,代理人卻可能抓了 1,000 家的菜單,另外 999 家白付成本。Cloudflare 本季新增超過 15.8 萬名付費客戶,代理人流量的計價權正在集中到 CDN 手上。

同類玩家各走各的路。Cloudflare 從封鎖起家,現在推按次收費的 Monetization Gateway 與 Pay Per Use(9 月底進入測試);TollBit 主打替內容網站向 AI 公司收費;微軟則在 10 月底把 Clarity 的代理人活動儀表板正式推出,讓網站看見哪些 AI 代理人來過、做了什麼。整個類別從「擋不擋」走向「怎麼計價、怎麼通知」,誰掌握變更訊號,誰就能決定 AI 先讀誰。

這對台灣中小企業的意思是:你改了價格、營業時間或活動內容,ChatGPT 和 Copilot 可能還在報舊的。接下來說明事件細節、三類讀者的立刻行動、工具比較,以及不用付訂閱費就能做的設定。

事件細節:AI 公司開始為「網頁新鮮度」付錢

重點是 AI 爬蟲的成本結構變了,「告訴爬蟲哪頁改過」開始有商業價值。法說會與官方資料透露的關鍵如下:

  • OpenAI 付費取得 Cloudflare 的網頁變更訊號,Prince 預期其他 AI 公司也會跟進。
  • Cloudflare 第三季首度認列「第四幕」產品營收,這是它為代理人時代設計的新商業模式,未揭露金額。
  • Prince 預估 5 年內非人類流量可達真人 1,000 倍,並說時間點比 8 月時預估的更快。
  • 說明用途的代理人可能拿到較低存取價格,例如規劃夏威夷旅遊、會帶來廣告機會的請求甚至可能免費。
  • AI Crawl Control 已開放所有方案使用,可逐一允許或拒絕個別 AI 爬蟲。

受益的是內容常更新、又讓爬蟲讀得懂的網站;吃虧的是價格寫在圖片裡、sitemap 日期亂填的網站。

三類讀者的立刻行動

結論是:先讓爬蟲知道「哪頁改了」,再談要不要擋或收費。

  • 品牌主/中小企業老闆:列出最常變動的 10 個頁面(價格、營業時間、活動、庫存),確認文字可複製、不是圖片,改完就通知爬蟲。
  • 行銷/SEO 操作者:到 Bing Webmaster Tools 開啟 IndexNow,在 Search Console 檢查 sitemap 的最後修改日是否正確,每月看一次 AI 爬蟲紀錄。
  • 開發者/接案商:讓 sitemap 的 lastmod 只在內容真的改變時更新,後台存檔時自動送出 IndexNow;用 Cloudflare 的網站可直接開 Crawler Hints。

工具比較:變更通知與 AI 爬蟲管理

對中小企業來說,免費的 IndexNow 與 Crawler Hints 就夠用,付費方案是給大型內容網站的。

工具做什麼費用適合誰
IndexNow(Bing 等搜尋引擎支援)內容改變時主動通知搜尋引擎免費所有網站
Cloudflare Crawler Hints自動替你送出變更通知免費方案即可網站已用 Cloudflare
Cloudflare AI Crawl Control逐一允許或封鎖 AI 爬蟲、看紀錄所有方案;按次收費功能測試中想管控 AI 爬蟲的網站
Microsoft Clarity 代理人活動看哪些 AI 代理人來過、做了什麼免費電商與預約型網站
TollBit向 AI 公司收取內容使用費依合作條款媒體與大型內容網站

不會告訴你的事

第一個反向觀點:Google 不支援 IndexNow。Google 官方說明只有在 lastmod 一致且可驗證地正確時才會採用,所以 sitemap 日期亂填,等於讓 Google 忽略你的訊號。

第二個反向觀點:1,000 倍是預測,不是統計。Prince 是賣頻寬與防護的公司執行長,代理人流量越被放大,他的產品越好賣。中小企業不需要為了這個數字急著買防護方案。

第三,付費取得變更訊號的是 OpenAI 和 Cloudflare,不是你。訊號規格掌握在 CDN 手上,不用 Cloudflare 的網站,目前只能靠 IndexNow 與 sitemap。

不花 SaaS 訂閱的 SMB 替代方案

4 個免費設定、約半天工時,就能讓 AI 更快讀到你的最新內容。

  • 修正 sitemap:lastmod 只在內容改變時更新,不要每天自動改成今天。
  • 開啟 IndexNow:WordPress 可裝外掛,Laravel 網站在儲存事件裡送一次 API 請求即可。
  • 價格與營業資訊用文字和結構化資料呈現,不放在圖片裡。
  • 用 Cloudflare 免費方案的網站,開啟 Crawler Hints,並在 AI Crawl Control 檢查有沒有誤擋 ChatGPT 或 Bing 的爬蟲。

常見問題 FAQ

以下是讀者最常問的 4 個問題,每題第一句就是答案。

AI 多久會重新讀到我網站的更新?

沒有固定時間,常見是數天到數週。內容常更新、sitemap 日期正確、又有送出 IndexNow 的網站,通常會被更快重新讀取。

IndexNow 是什麼?Google 有支援嗎?

IndexNow 是內容改變時主動通知搜尋引擎的免費協定。Bing 等引擎支援,Google 目前不支援,所以 sitemap 的 lastmod 仍要正確。

中小企業要封鎖 AI 爬蟲嗎?

多數不建議全面封鎖。被 AI 讀到並推薦的價值,通常高於省下的頻寬;只封鎖異常大量或身分不明的爬蟲即可。

設定這些要花多少錢?

多數是免費設定,約半天到 3 天工時。WordPress 裝外掛即可;客製網站需在後台存檔流程加上通知,外包約 NT$5,000–20,000。

我的觀點:新鮮度會比排名更值錢

我的判斷和主流不同:大家還在追「AI 會不會引用我」,但未來 18 個月,中小企業吃虧最多的會是「AI 引用了舊資料」。價格、營業時間、活動截止日一旦過期,AI 越常引用你,客訴越多。變更通知會像 SSL 一樣變成網站基本配備,而不是 SEO 加分項。

另一個反主流看法:多數中小企業不該急著向 AI 爬蟲收費。你的內容不是新聞媒體,被讀到的價值遠高於能收到的幾分錢。

對 ScriptWalker(台灣 Laravel/Flutter 客製化開發工作室)的業務啟示:我們會把「正確的 lastmod、存檔即送 IndexNow、AI 爬蟲紀錄報表」做成新網站的標準交付,也為舊網站提供一次性的 AI 可讀性健檢,工時約 1–3 天。

資料來源

分享:
AI 與自動化 返回文章列表