AI 與自動化

網站要擋 AI 爬蟲嗎?Google、Bing 10/30 宣布把「AI 訓練」和「AI 回答引用」分開設定、2027 年 2 月起生效:中小企業建議兩者都先開放,擋錯一行可能從 AI 答案裡消失

2026.11.03 · 11 次瀏覽
網站要擋 AI 爬蟲嗎?Google、Bing 10/30 宣布把「AI 訓練」和「AI 回答引用」分開設定、2027 年 2 月起生效:中小企業建議兩者都先開放,擋錯一行可能從 AI 答案裡消失
“

Google 與 Microsoft Bing 在 10 月 30 日同一天宣布支援 IETF 正在制定的共用 AI 訓練偏好:網站在 robots.txt 用一組共用代號就能對多家 AI 表態「不給訓練」,Bing 另外推出逐頁的「AI 回答引用(grounding)」開關,2027 年 2 月 1 日起依新設定處理。同一週 Reddit 承認搜尋導流每週少 100 萬次以上、股價重挫。拆解新設定怎麼寫、Google-Extended 的連動陷阱、工具比較,以及台灣中小企業為什麼應該先「全開」。 ”

分享:

直接答案:多數中小企業不該擋。Google 與 Bing 10/30 宣布把「AI 訓練」和「AI 回答引用」拆成兩個開關,Bing 2027/2/1 起生效;形象官網與服務頁兩者都先開放,只有付費課程、會員內容才擋訓練。

10 月 30 日,Google 在 Search Central 官方部落格宣布,將支援 IETF 正在制定的共用 AI 訓練偏好:網站只要在 robots.txt 用一組共用代號 __usage_ai-training,就能一次對多家 AI 公司表態「不准拿來訓練」,預計 2027 年初開始支援。同一天,Microsoft 在 Bing 官方部落格更進一步,把「訓練」與「回答引用(grounding)」拆成兩個開關,2027 年 2 月 1 日起依新設定處理。一句話:AI 拿你的內容「學習」和「引用回答」,從此可以分開管。

為什麼是現在?過去 18 個月,AI 回答吃掉了大量點擊。同一週 Reddit 公布第三季財報,致股東信指出 10 月搜尋導流平均每週少了 100 萬次以上,執行長直接點名 Google 的 AI 摘要與 AI 模式;美國未登入的每日活躍用戶從 3,010 萬掉到 2,730 萬,股價隨即重挫約三成。大型網站與出版商的壓力,讓搜尋引擎必須給出更細的控制,否則就會面對更多網站一刀切封鎖爬蟲,以及法國出版商在歐盟提出的反壟斷申訴這類監管壓力。

各家做法不同。Google 原本只有 Google-Extended 這個專屬代號,管 Gemini 的訓練與引用;OpenAI、Anthropic 也各自有爬蟲名稱。新的共用代號想把「訓練偏好」統一,Bing 則多走一步,把引用也做成可設定。整個類別正從「各家各一套」走向「共用標準」,但 IETF 草案還沒定案,參與討論的業界人士仍有爭議。

這對台灣中小企業的意思很直接:你的官網、服務頁、FAQ 是想被 AI 引用的,擋錯一行,可能讓 ChatGPT、Copilot、Gemini 在回答「台北哪裡可以做○○」時找不到你。接下來拆三件事:新設定怎麼寫、哪裡有陷阱、不花錢怎麼管。

事件細節:訓練與引用分家,時程落在 2027 年

這次改變的核心是「訓練」與「引用」可以分開設定,而且 Bing 給了明確時程。

項目GoogleMicrosoft Bing
AI 訓練支援共用代號 __usage_ai-training,預計 2027 年初robots.txt 共用代號或逐頁 meta:ai-training:disallow
AI 回答引用由 Google-Extended 管 Gemini 應用的引用逐頁 meta:ai-grounding:disallow 或只給微軟自家用的 disallowextended
對傳統搜尋排名未說明會影響官方表示不影響一般 Bing 搜尋資格
時程2027 年初開始支援2026/12/15 開放過渡設定、2027/2/1 生效、2027/3/1 舊設定截止

Bing 特別提醒:用舊的 noarchive、nocache 限制 AI 的網站,要在 2027 年 3 月 1 日前改用新設定,否則限制會失效。反過來,選擇禁止引用,會降低品牌在 AI 回答裡的能見度。

三類讀者的立刻行動

結論:老闆確認沒誤擋,行銷人分開管訓練與引用,工程師先把 robots.txt 版本控管起來。

  • 品牌主/中小企業老闆:請負責網站的人回答一題:「我們現在有沒有擋任何 AI 爬蟲?」很多網站是外掛或主機商預設擋掉的,老闆自己不知道。
  • 行銷/SEO 操作者:把網站內容分兩類:想被 AI 引用的(服務、價格區間、FAQ、案例)全開;真正有付費價值的(課程、報告、會員內容)才擋訓練。
  • 開發者/接案商:robots.txt 進版本控管、每次改動留紀錄;在後台記錄 AI 爬蟲的造訪,客戶才看得到「哪些頁被 AI 讀了」。

保守的寫法範例(只擋付費課程路徑的訓練,其餘全開):

User-Agent: __usage_ai-training
Disallow: /courses/paid/

User-Agent: Google-Extended
Allow: /

控制工具比較

中小企業用免費的 robots.txt 與 meta 就夠,CDN 開關要小心預設值。

工具管什麼費用適用情境
robots.txt 共用訓練代號多家 AI 的訓練偏好免費整個路徑不給訓練
逐頁 meta/X-Robots-TagBing 的訓練與引用免費個別頁面細部控制
Google-ExtendedGemini 訓練與引用免費單獨對 Google 表態
CDN/主機商的 AI 爬蟲開關直接擋流量多含在方案內大量盜爬時;預設值要先檢查

不會告訴你的事

新標準看起來很清楚,但至少有三個坑。

  • Google-Extended 連動陷阱:依 Google 說明,如果你用共用代號擋訓練、又沒明確寫 Google-Extended,Google 會當成你也擋了 Google-Extended,可能連 Gemini 應用的引用一起失去。
  • 標準還沒定案:IETF 草案仍在討論,參與者對「使用者自己要求 AI 讀網頁」算不算訓練還有爭議,現在寫的設定未來可能要改。
  • 擋了不代表拿得回來:偏好只對遵守規則的爬蟲有效,而且只管未來,已經被訓練過的內容不會消失。

不花 SaaS 訂閱的 SMB 替代方案

不用買 AI 能見度監測工具,四個免費動作就能管好。

  • 打開網站的 /robots.txt,確認沒有擋 Googlebot、Bingbot、GPTBot 等常見爬蟲。
  • 到 Bing Webmaster Tools 開啟 AI 成效報表,看哪些頁被 AI 回答引用。
  • 從主機存取紀錄篩出 AI 爬蟲的 User-Agent,每月看一次造訪頁面與次數。
  • 把服務頁改成「問句標題+直接答案+價格區間」,讓 AI 願意引用。

常見問題 FAQ

擋 AI 訓練會影響 Google 搜尋排名嗎?

目前官方說法是不影響傳統搜尋排名。但擋 AI 引用會降低你出現在 AI 回答裡的機會。

中小企業官網要擋 AI 爬蟲嗎?

多數不用。官網的目的是被找到,被 AI 引用等於多一個曝光管道;只有付費內容才需要擋訓練。

新的 AI 偏好設定什麼時候生效?

Bing 2027 年 2 月 1 日起依新設定處理,Google 預計 2027 年初支援,現在可以先規劃。

怎麼知道 AI 有沒有引用我的網站?

先看 Bing Webmaster Tools 的 AI 成效報表,再搭配主機紀錄裡的 AI 爬蟲造訪次數。

我的觀點

主流聲音會說「終於可以保護內容了,趕快擋」。我的判斷相反:對台灣中小企業,這次改版最大的風險不是被 AI 偷學,而是「不小心把自己擋在 AI 答案外面」。大型出版商靠內容賺錢,擋訓練合理;你靠的是客人找得到你,被訓練、被引用都是免費曝光。我預期 2027 年會出現一波「設定錯誤導致 AI 曝光歸零」的案例,原因多半是外掛或主機商的預設值,而不是老闆的決定。

對 ScriptWalker(台灣 Laravel/Flutter 客製化開發工作室)的啟示:我們自己的爬蟲紀錄就看得到 AI 機器人主要抓英文頁,代表「AI 讀得到什麼」需要被管理。接下來會把 robots.txt 檢查、AI 爬蟲紀錄與問句化服務頁,納入網站維護的固定項目;網站維護 NT$2,000/月起,形象網站 NT$15,000 起。

資料來源

分享:
AI 與自動化 返回文章列表