AI 與自動化

「登入才能看更多結果」:Google 開始驗證人類,你花錢買的 AI 可見度報表正在失真

2026.08.05 · 91 次瀏覽
「登入才能看更多結果」:Google 開始驗證人類,你花錢買的 AI 可見度報表正在失真

8 月 3 日,Google 被抓到在搜尋結果深頁測試「登入驗證你是人類」。同一年內,爬蟲被擋比例從 10.2% 衝到 35.8%。機器可讀的網路正在兩頭收緊,而所有靠自動化查詢撐起來的 GEO 工具,數據品質都在跟著崩。

分享:

一、事件:Google 開始要求搜尋者「登入證明你是人」

2026 年 8 月 3 日,Search Engine Roundtable 的 Barry Schwartz 報導了一個看似很小的測試:Google 搜尋開始要求部分使用者登入,證明自己是人類而非機器人。這不是行之有年的 captcha,而是直接把結果頁擋住,跳出「Sign in to verify you're a human and see more results」。回報者 Kamlesh Shukla 在 X 貼出截圖:Chrome 無痕模式翻過前幾頁後,就得登入才能繼續。Schwartz 換過多組關鍵字與瀏覽器都無法重現,代表這是小流量灰度測試——而灰度測試從來都是正式政策的前一站。

要看懂份量,先看網路的組成。Cloudflare 執行長 Matthew Prince 在 2026 年 6 月 3 日公布的 Radar 數據顯示,自動化請求已佔全網 HTML 流量的 57.5%,其中 51.8% 的已驗證機器人流量流向 AI 訓練。網路上多數「讀者」已經不是人。網站端反應很直接:2025 年第二季對比 2026 年第二季,爬蟲請求正常回應(2xx)的比例從 80.5% 掉到 49.2%,被擋下的 4xx 從 10.2% 衝到 35.8%。Cloudflare 也在 2026 年 7 月把按次爬取收費改成按引用付費,並宣布 2026 年 9 月 15 日起新網站預設「允許搜尋、封鎖訓練與代理用途」。

兩邊放一起,方向就清楚了:網站在擋機器人進來,搜尋引擎開始擋機器人出去。卡在中間的,是整個靠「大量自動化查詢、記錄誰被引用」為生的 SaaS 類別。過去 18 個月它燒了很多錢:Profound 在 2026 年 2 月以 10 億美元估值成為獨角獸,累計募資約 1.55 億美元;德國 Peec AI 上線 16 個月做到 1,000 萬美元 ARR、募資 2,910 萬美元,6 月傳出洽談 2 億美元估值新一輪;Scrunch AI、Otterly、Evertune 分食中型與垂直市場。類別仍在擴張,但它們共同的技術地基——穩定、匿名、大量地查詢引擎——正在鬆動。

對台灣的中小企業與接案商來說,重點不是「Google 又在測什麼」,而是:你每月付 300 到 500 美元買的那份 AI 可見度報表,抽樣基礎正在退化。以下拆解數字、給三類讀者的立刻行動、比較工具選項,並附一條不用付訂閱的自建路線。

二、事件細節與完整數字

先把已經確定的事實與數字排清楚:

  • Google 登入牆測試:2026 年 8 月 3 日曝光,觸發條件疑似為無痕模式加翻頁過深,無法穩定重現。
  • 機器人流量佔比:57.5% 的 HTML 請求來自自動化來源(Cloudflare Radar,2026 年 6 月 3 日)。
  • 爬蟲被擋率:2xx 成功率 80.5% → 49.2%;4xx 封鎖率 10.2% → 35.8%(2025 Q2 對比 2026 Q2)。
  • robots.txt 封鎖排行:GPTBot 出現在 5.52% 的 DISALLOW 規則居冠,其次 CCBot 5.08%、ClaudeBot 4.88%、Google-Extended 4.44%(2026 Q1)。
  • Cloudflare 預設值變更:2026 年 9 月 15 日起,新網站預設封鎖訓練與 agent 用途。
  • 大型出版商動向:USA Today、Politico、Reuters、People、Reddit 都在評估完全封鎖 Google 爬蟲(WSJ,2026 年 7 月)。

誰受益?Google 與 Microsoft。當第三方無法可靠地大量抓取 SERP 與 AI 答案,唯一可信的來源就只剩官方後台。Google 在 2026 年 6 月 3 日推出 Search Console 生成式 AI 效能報表(只有曝光、頁面、國家、裝置,沒有點擊,資料僅回溯到 2026 年 5 月 18 日)。Microsoft 更積極:Bing Webmaster Tools 的 AI Performance 報表於 2026 年 6 月 16 日全球開放預覽,一次給出 Intents、Topics、Citation Share 與 Compare——Citation Share 直接告訴你在某個 grounding query 拿到多少比例的 AI 引用,Compare 讓你跟對手比。這幾乎就是 GEO SaaS 的核心賣點,而且免費。7 月 31 日 Microsoft 的 Krishna Madhavan 再公開承諾加上頁面與關鍵字層級篩選,同時提醒開發者 SOAP/POX API 將於 2026 年 8 月 31 日退役,需轉 REST。

誰受損?靠爬 SERP 產生數據的排名追蹤與 GEO 工具、把「我在 ChatGPT 排第幾」當 KPI 的行銷人,以及手上只有廠商 PDF、沒有任何第一方資料的中小企業主。

三、三類讀者的立刻行動

品牌主/中小企業老闆

  • 這週就要求行銷團隊接上 Bing Webmaster Tools 的 AI Performance 報表——目前唯一免費、來自平台第一方的 AI 引用佔比數據。
  • 停止用單一 GEO 工具的分數當唯一 KPI,要求同時附上查詢樣本數、地區與是否登入態;沒有這三項,這份報表就無法稽核。
  • 盤點 CDN 設定。2026 年 9 月 15 日之後開的新站,Cloudflare 預設會擋掉 agent 用途抓取——那正是 AI 助理幫使用者找你的路徑。

行銷/SEO 操作者

  • 把週報基準線從第三方分數改成第一方三件套:Search Console 生成式 AI 曝光 + Bing Citation Share + GA4/伺服器日誌的 AI referral。
  • 建立 AI referral regex 分群,涵蓋 chatgpt.com、perplexity.ai、claude.ai、copilot.microsoft.com、gemini.google.com,每週記錄工作階段與轉換。
  • 對每個第三方工具做盲測:拿 5 題你自己在 ChatGPT 手動問過的內容比對工具回報值,差異超過三成就別拿它做決策。

開發者/接案商

  • 寫一支伺服器日誌解析腳本,統計 GPTBot、ClaudeBot、PerplexityBot、Google-Extended、OAI-SearchBot 的抓取頻率、狀態碼與路徑。客戶完全看不到,你 30 行程式就能給。
  • 檢查客戶 robots.txt 與 WAF 是否誤擋了檢索型爬蟲(OAI-SearchBot)而本意只想擋訓練型(GPTBot)。兩者混為一談是最常見的自殘。
  • 若你用 Bing Webmaster Tools API 做自動化,8 月 31 日前完成 SOAP/POX 轉 REST。

四、AI 可見度工具比較表

方案資料來源價格級距(官網公開資訊,約值)適用情境登入牆風險
Profound自動化查詢多個 AI 引擎 + 對話資料企業級,入門約每月 US$499 起,多為客製報價有專職團隊、多品牌多市場高(完全仰賴自動化查詢)
Peec AI自動化 prompt 監測 + 競品對照入門約每月 €89 起中小型行銷團隊、歐洲市場友善
Scrunch AIAI 引用 + 品牌情緒追蹤企業客製報價重視品牌聲量與情緒面
Bing Webmaster Tools AI PerformanceMicrosoft 第一方 grounding query 資料免費所有人,尤其預算有限的中小企業無(第一方)
Search Console 生成式 AI 報表Google 第一方曝光資料免費需要 Google AI Overviews/AI Mode 曝光趨勢無(但目前無點擊資料)

付費工具的價值正在從「取得數據」轉向「整理數據」。當第一方後台把 Citation Share 免費給了,你付的錢買的是介面與省下的工時,不是獨家資訊。

五、他們不會告訴你的事

反向觀點一:GEO 工具的數字從來不是使用者看到的,而是機器人問到的。它們在無登入、無歷史、無個人化的乾淨環境查詢,真實使用者恰恰相反。Google 連無痕深頁都要求登入,等於明說匿名查詢已不是一等公民——儀表板量的是一個逐漸消失的平行宇宙。

反向觀點二:封鎖 AI 爬蟲對中小企業幾乎都是虧本生意。大型出版商擋得起,因為有品牌直接流量與訂閱收入撐著。中小企業沒這底氣:AI 引薦流量只佔全站約 1.08%,卻是唯一還在成長的來源。GPTBot 的封鎖率已達 5.52%,多半是老闆看完新聞叫工程師全擋,連檢索型爬蟲一起陪葬。

反向觀點三:Search Console 生成式 AI 報表沒有點擊資料,這不是暫時疏漏。只給曝光不給點擊,等於知道有出現卻算不出 ROI。在能證明 AI 曝光帶來多少營收之前,GEO 預算只能靠信仰編列。

六、不花 SaaS 訂閱的 SMB 替代方案

一條週末就能做完、之後每週只要 20 分鐘的自建路線:

  • ☐ 驗證 Bing Webmaster Tools 並開啟 AI Performance 報表,記錄 Citation Share 基準值
  • ☐ 在 Search Console 開啟生成式 AI 效能報表,匯出每週曝光
  • ☐ 在 GA4 建立「AI referral」自訂管道群組,regex 涵蓋主要 AI 來源網域
  • ☐ 用 awk 或一支 Python 腳本解析伺服器日誌,統計各 AI 爬蟲的抓取次數與狀態碼
  • ☐ 檢查 robots.txt:明確 Allow 檢索型爬蟲,只針對訓練型爬蟲設限
  • ☐ 建立 20 題人工 prompt 面板,每週固定在 ChatGPT/Perplexity/Gemini 各問一次並截圖存檔
  • ☐ 把上述五個來源匯進一張 Google Sheet,用簡單折線圖做趨勢,不做分數化

成本:零訂閱費,首次建置約 4 到 6 小時。缺點是沒有歷史回溯與競品自動比對;優點是你完全知道每個數字怎麼來的——這正是付費儀表板現在最缺的東西。

七、常見問題 FAQ

Google 的登入牆會全面上線嗎?

無法確定,這是小比例測試,連 Search Engine Roundtable 都無法重現。但 Google 的反自動化措施一旦開始測試就很少完全撤回,較可能是特定行為觸發、逐步擴大。請假設 12 個月內匿名深頁抓取只會更難。

那我現在該退訂 GEO 工具嗎?

不必立刻退,但要重新定位:當成跨引擎的粗略趨勢指標,而非精確市佔數字。該綁 KPI 的是第一方資料——Bing Citation Share、Search Console 生成式 AI 曝光、GA4 的 AI referral 轉換。

我該封鎖 AI 爬蟲嗎?

先分兩類。訓練型(GPTBot、CCBot)拿內容訓練模型,不保證回流;檢索型(OAI-SearchBot、PerplexityBot)在使用者發問當下抓取,會帶來引用與點擊。標準做法是檢索型全開、訓練型視內容價值決定。全擋等於把自己從 AI 搜尋結果裡刪掉。

Cloudflare 2026 年 9 月 15 日的變更會影響我嗎?

若網站在該日之後才建立或啟用 Cloudflare,預設值是允許搜尋、封鎖訓練與 agent 用途,含廣告頁面限制更嚴。既有設定不會自動改動,但建議進 AI Crawl Control 確認一次。

AI 流量佔比才 1%,中小企業做這些有用嗎?

1.08% 是全球平均,每月約增 1 個百分點。更關鍵的是結構:AI 引薦流量停留較久、跳出率較低,意圖更明確。在 B2B、專業服務、工程外包這類長決策週期產業,1% 的流量往往對應遠高於 1% 的詢價量。

八、我的觀點

主流敘事說 GEO 是新的 SEO、是未來十年的成長曲線。我的判斷相反:純粹以「監測 AI 引用」為核心的 SaaS,18 個月內會被平台第一方報表擠成薄利的工具層。這類公司的護城河是資料取得能力,而它正被兩邊同時掐住:搜尋引擎開始驗證人類身分,網站端把爬蟲擋掉三分之一以上。同時 Bing 免費送出 Citation Share 與 Compare,Google 也把生成式 AI 曝光放進 Search Console。當免費的第一方資料越來越完整,估值 10 億美元的儀表板憑什麼收 US$499 一個月?

對 ScriptWalker 這種接案團隊,這裡有一個具體的服務化機會:「AI 可見度技術稽核」——一次性交付,包含伺服器日誌的爬蟲行為分析、robots.txt 與 WAF/CDN 的檢索型與訓練型分流、結構化資料修補,以及把 Bing AI Performance、Search Console、GA4 串成一張客戶看得懂的週報。門檻在於懂日誌、懂爬蟲識別、懂 CDN——正好是行銷代理商做不了、工程外包團隊天生會的事。

想討論怎麼替你的網站做一次 AI 爬蟲與可見度稽核:

資料來源

分享:
AI 與自動化 返回文章列表