AI 與自動化

6,000:1 的爬取導流比免費上線:Microsoft Clarity 把封鎖派的武器發給所有人,但這個數字錯在分母

2026.08.15 · 59 次瀏覽
6,000:1 的爬取導流比免費上線:Microsoft Clarity 把封鎖派的武器發給所有人,但這個數字錯在分母

2026 年 8 月 13 日,Microsoft 在 Clarity 官方部落格以 Clarity Staff 名義發布 AI Scrape-to-Referral Insights,把「AI 爬取量/引薦訪客數」壓成 Bot Analytics 儀表板上的一張卡。官方示意圖顯示的數字是平均比值 6,000:1、總引薦 41 次。同批上線的還有 operator 分級排名、覆蓋率保護,以及從引薦來源一鍵跳進已套篩選的 session recording。免費,且不設流量上限。 這個比值不是 Microsoft 發明的。Cloudflare 在 2025 年 8 月 29 日公布第一份廣為流傳的 crawl-to-refer 分析,某家業者 2025 年 1 月的比值是 286,930:1,到 7 月降到 38,000:1,另一家全年維持在 1,091:1 附近。2026 年 7 月 1 日,Cloudflare 把它產品化成 Attribution Business Insights,per-operator 區間 118:1 到接近 50,000:1,只開給 Bot Management 的企業客戶。同一家公司已經把 9 月 15 日訂為對新加入、帶廣告網域預設封鎖 Training 與 Agent 爬蟲的日子。這個數字從誕生第一天起就是談判籌碼,不是分析工具。背景是:AI 爬蟲在 2025 年佔全球 HTML 請求約 4.2%,同年網路流量成長 19%。 測量層正在快速商業化。Profound 以 9,600 萬美元 C 輪、10 億美元估值坐上 AEO 平台頭位;Semrush 與 Ahrefs 把 AI 能見度做成既有套裝的加購模組。Microsoft 走反方向:Bot Activity(1 月 21 日)、Citations 正式版(5 月 13 日)、Topic Insights(7 月 9 日)、Query Topics beta(7 月 22 日),到這次的比值卡,五週內第四次更新,全部免費。它要的不是訂閱費,是把 Clarity 變成 AI 時代的預設分析層。 對台灣中小企業,重點從來不是那個 6,000:1。是這張卡把「該不該封鎖 AI 爬蟲」變成一個看起來有數據撐腰的決定,而撐腰的分母壞了很久沒人修:AI 引薦流量至今仍被系統性低估,用低估的分母算比值,只會讓交換看起來比實際更不公平。以下拆三件事:這次實際上線了什麼、比值錯在哪一段、以及不接 CDN、不付訂閱費的公司要怎麼自己量。

分享:

事件細節:六項變更,一個硬前提

Microsoft Clarity 官方公告列出六項同時上線的變更:

  • 比值卡:爬取活動除以引薦流量,壓成單一數字。示意圖為 6,000:1 對 41 次引薦,Microsoft 未宣稱那是跨站基準。
  • Operator 分級排名:哪些 AI 來源真的送人回來,哪些只爬不回流。比站台平均值有用得多。
  • Mapped domain 覆蓋率保護:只在正確對應的網域上計算。分子讀 CDN 伺服器日誌,分母讀 Clarity 的 JavaScript tag,兩層涵蓋範圍不同時,商數只是算術。
  • 覆蓋落差說明:bot 與引薦資料網域不一致時,介面會標示影響。
  • 一鍵進 session recording:從引薦來源跳到已套篩選的錄影,看那批人捲動、轉換,還是三秒跳出。
  • 流量品質分析:從引薦次數延伸到行為訊號。

硬前提在最後一行:分子要靠 CDN 連線才拿得到。官方在 AI Visibility 設定中點名 Fastly、Amazon CloudFront、Cloudflare,WordPress 由外掛自動涵蓋。台灣多數自架主機的中小企業,這張卡的左半邊是空的。

三類讀者的立刻行動

品牌主/中小企業老闆

  • 不要拿比值當封鎖依據。它衡量供給端成本,不是你的營收;爬取對你的支出通常只有頻寬。
  • 先問更有用的問題:過去 90 天有沒有成交是客戶說 AI 推薦來的。
  • 網站若在 Cloudflare 上且帶廣告,把 9 月 15 日排進行事曆,確認預設封鎖不會誤傷你想被引用的頁面。

行銷/SEO 操作者

  • 先修分母。GA4 到 2026 年 5 月 13 日才有原生 AI Assistant 頻道、6 月才補 Source Group;在那之前 AI 引薦大量落在直接流量裡。
  • 把 operator 排名當優化排序器:誰真的送人回來,就補誰的引用查詢內容,別對所有爬蟲下同一套規則。
  • Search Console 生成式 AI 成效報表補 Google 側曝光。

開發者/接案商

  • 客戶沒有受支援 CDN 時,從 access log 抓 GPTBotClaudeBotPerplexityBotGoogle-Extended 的請求數,一支 cron 就有分子。
  • 分母用「無 referrer + 深頁著陸 + 停留超過門檻」當代理指標。
  • 把 CDN 連線、Clarity 專案、GA4 頻道校正寫成同一份設定文件。

工具比較:同一個比值,四種算法

工具分子來源分母來源取得門檻
Microsoft Clarity Bot AnalyticsCDN 伺服器日誌Clarity JS tag 的 session免費、無流量上限,但須接 Fastly/CloudFront/Cloudflare 或用 WordPress 外掛
Cloudflare Attribution Business Insights請求路徑即時攔截UTM 參數追蹤的引薦Bot Management 客戶,文件標示企業級方案
Profound不揭露爬取層平台自建引用資料集付費訂閱;9,600 萬美元 C 輪、10 億美元估值
Semrush/Ahrefs AI 模組無伺服器層爬取數抽樣提示詞的引用結果既有套裝加購,依方案計價
自架 log 解析自家 access logGA4 AI Assistant 頻道零授權費,需一次性開發

註:四種算法輸入不同,數字不可比較。價格以官網為準。

不會告訴你的事

  • 分母被系統性低估,比值天生偏向「AI 佔便宜」。Google 2025 年 5 月 23 日確認 AI Mode 連結的 noreferrer 會剝掉 referrer,那些點擊被記成直接流量。
  • 照著比值封鎖會反噬。Rutgers 與 Wharton 的研究(2025 年 12 月 31 日)指出,以 robots.txt 封鎖 AI 爬蟲的新聞出版商月訪問量下降 23.1%,引用率卻未等比下降;同批作者改以週為單位重測,數字降到約 7%。
  • 比值不可跨站比較,做不出產業基準。IAB 2026 年 8 月 4 日的框架指出只有 16% 品牌有系統追蹤 AI 能見度,因為連「什麼算一次引用」都沒共同定義;Similarweb 則發現引用資料集每月變動約 50%、跨平台重疊僅 11%。

不花訂閱費的 SMB 做法

  • ☐ 先確認 GA4 的 AI Assistant 頻道與 Source Group 設定,穩住分母再談比值。
  • ☐ WordPress 站台直接裝官方 Clarity 外掛,bot 資料自動涵蓋,不必另接 CDN。
  • ☐ 自架主機用一行 grep 從 access log 統計各 AI user agent 的日請求數,寫進試算表做趨勢。
  • ☐ 開啟 Search Console 生成式 AI 成效報表,補上 Google 側曝光。
  • ☐ 詢價表單加一題「您怎麼找到我們」並列出 AI 選項,校正第三方歸因。
  • ☐ 每月固定看十段 AI 引薦來源的 session recording,比任何產業平均值都準。
  • ☐ 不要把 llms.txt 當萬靈丹:Ahrefs 掃描 137,000 個網域的研究顯示,2026 年 5 月有 97% 的 llms.txt 檔案收到零次請求。

常見問題

比值多少才算健康?

沒有門檻值。公開數字從 118:1 橫跨到 286,930:1,各家分子分母來源又不同。唯一有意義的比較,是你自己網站上 A 業者相對 B 業者的排名及其變化。

比值難看,我該封鎖 AI 爬蟲嗎?

絕大多數中小企業不該。爬取成本通常只有頻寬,封鎖卻會關掉被引用的機會。Clarity 自家 1,200 多個網站的研究顯示,AI 引薦不到總訪客 1%,註冊轉換率卻有 1.66%,搜尋只有 0.15%。

這張卡真正值錢的是什麼?

不是比值,是從引薦來源一鍵跳進已篩選的 session recording。產業平均每月變動 50%、跨平台重疊 11%,但你網站上十段錄影就能回答這批人有沒有填表單。

我的觀點

主流解讀會是「終於能量化 AI 白吃白喝,該收費或封鎖」。我的判斷相反:12 個月內,爬取導流比會被證明是供給端的政治指標,對買方沒有決策價值;它今天最大的傷害,是誘導沒有議價能力的中小企業封鎖自己唯一還在成長的曝光管道。Cloudflare 有幾千萬個網域當籌碼,比值對它是談判工具;你只有一個網站,封鎖換不到授權金,只換到不被引用。

最貴的錯誤是看到四位數比值就在 robots.txt 加一排 Disallow。正確順序相反:先修分母、看 operator 排名,只優化真的送人回來的那一兩家。

對 ScriptWalker 這種接案角色,這裡有具體服務包:AI 能見度量測基建導入——CDN 與 Clarity 接線、GA4 頻道校正、access log 解析腳本,加每月一份 operator 級別的爬取回流對照表。台灣幾乎沒人在賣。

想討論怎麼開始量:

資料來源

分享:
AI 與自動化 返回文章列表