AI 與自動化

Apple 補上一句話:擋 Applebot-Extended 不影響排名——但讓你在 iOS 27 Siri 裡消失的是另外兩個開關

2026.09.08 · 17 次瀏覽
Apple 補上一句話:擋 Applebot-Extended 不影響排名——但讓你在 iOS 27 Siri 裡消失的是另外兩個開關

2026 年 9 月 4 日 Apple 在 About Applebot 文件末尾加了一句排名保證。但同一份文件裡藏著 nosnippet 與 isAccessibleForFree 兩個真正決定 Siri 會不會引用你的開關,而 Cloudflare 9 月 15 日起預設封鎖訓練型爬蟲。本文拆解三層開關與零訂閱費自查路線。

分享:

2026 年 9 月 4 日,Apple 悄悄改了「About Applebot」說明頁,全頁只多出一句話:"Site rules for Applebot-Extended are not considered in ranking for Search." Search Engine Roundtable 在 9 月 7 日比對出這段 diff。十四個英文字,出現在 Apple 每年付 Google 約 10 億美元租用 1.2 兆參數客製 Gemini 模型來重寫 Siri 的節骨眼,距離 iOS 27 推送不到兩週。這不是文件維護,是上線前的防線。

這句話補得有原因。過去 12 個月,封鎖 AI 爬蟲從公關姿態變成基礎設施預設值。Cloudflare 6 月統計顯示,訓練型爬蟲已佔其網路 AI bot 流量的 50.6%,而會用點擊回饋網站的搜尋型爬蟲只剩 10.7%;Cloudflare 隨後宣布,2026 年 9 月 15 日起新網站與全部免費方案客戶預設「允許搜尋、封鎖訓練與代理用途」,並把 Pay Per Crawl 改成按內容出現在 AI 回答次數計費的 Pay Per Use。在這種空氣裡,站長看到帶 AI 味的 user-agent 就直覺 Disallow。Apple 的處境正好相反:新 Siri 必須有東西可引用。

對照組很清楚。Google 2023 年就把 Google-Extended 從 Googlebot 拆出來,並在 robots.txt 文件裡聲明不影響搜尋收錄與排名;OpenAI 拆成 GPTBot(訓練)、OAI-SearchBot(搜尋)、ChatGPT-User(即時取用)三隻獨立 token;Anthropic 與 Perplexity 也各自跑至少兩隻分治爬蟲。Apple 是最後一個把「不影響排名」白紙黑字寫進官方文件的大型平台。整個類別不是在分裂而是在收斂到同一套契約:訓練可拒絕、索引不受影響、引用另計。

對台灣中小企業來說,麻煩不在那句新增的保證,而在同一頁上早就存在、卻幾乎沒人讀到最後的兩段規則。它們能讓一個排名完全正常的網站,在 Siri 的世界知識回答裡整片消失。以下拆解真正的三層開關、三類讀者今天該做的事,以及零訂閱費的自查方法。

事件細節:Apple 有三層開關

控制權被切成三段,市場討論幾乎只停在第二段。

  • 第一層 Applebot(索引):決定你出不出現在 Spotlight、Siri、Safari 的結果。陷阱在預設值——robots.txt 沒提 Applebot 卻寫了 Googlebot 規則,Applebot 會直接沿用。你為了擋 Google 抓 /cart/ 的規則就這樣套到 Apple 身上。
  • 第二層 Applebot-Extended(訓練):它根本不爬網頁,只決定 Applebot 已抓到的資料能否訓練 Apple 基礎模型。9 月 4 日那句話保證的就是這一層。
  • 第三層 nosnippet(引用):真正的 GEO 開關。文件明說 Applebot 抓到的內容可能被當作即時脈絡,餵給模型回答 Siri 的世界知識問題並附來源;要退出得用 nosnippetX-Robots-Tag: applebot: nosnippet

更隱蔽的是付費牆條款。Apple 支援 schema.org 的 isAccessibleForFree:標成 false 的頁面仍能出現在搜尋結果,但不會被當作 AI 回答的脈絡,且不支援 hasPart 段落級折衷。做會員內容或線上課程的網站,JSON-LD 只要有這欄位就是自願退場。US Tech Automations 6 月抽樣 107 個主流網站,31 個封鎖 Applebot-Extended(29%);Known Agents 顯示約 19% 頭部網站有專屬規則。

三類讀者的立刻行動

品牌主/中小企業老闆

  • 打開 yourdomain.com/robots.txt,確認有沒有 User-agent: Applebot 區塊。沒有的話,你的 Apple 收錄規則就是 Googlebot 那份的複製品。
  • 問開發商一句話:「我們的 JSON-LD 有沒有 isAccessibleForFree: false?」有的話,你在 Siri 回答裡是隱形的。
  • 先決定立場再決定設定。Apple 已保證這不影響排名,「怕掉排名」不再是藉口。

行銷/SEO 操作者

  • 全站掃一次 nosnippet。很多 CMS 外掛把它藏在「防抄襲」選項底下,代價是同時關掉 Google 摘要與 Apple 引用。
  • 把 Google-Extended、GPTBot、ClaudeBot、PerplexityBot 的立場寫成一份文件,別每次改版都憑感覺。
  • Search Console 生成式 AI 成效報表當 Google 側對照組。它 8 月 31 日起全球開放,可看 AI Overviews 與 AI Mode 曝光,但不含點擊。

開發者/接案商

  • 把 Applebot 驗證寫進 log pipeline:反解 *.applebot.apple.com,或比對 Apple 的 applebot.json CIDR 清單。
  • Laravel 專案把 robots 規則收斂成單一設定來源,別散在 nginx、CDN、外掛三處——那是自我封鎖最常見的來源。
  • Applebot 不遵守 crawl-delay,但會依站台回應速度自動降速。效能問題該用 429 與快取解。

AI 可見度工具比較

方案能做什麼價格(2026/09)適合誰
Cloudflare AI Crawl Control看見哪些 AI 爬蟲來過、逐隻開關免費方案即含基本控制已用 Cloudflare 的所有人
Semrush AI Visibility Toolkit跨 AI 平台品牌提及與引用追蹤約 US$99/月 add-on,實務常落在 US$265–1,090+已買 Semrush 的行銷團隊
Ahrefs Brand Radar六大 AI 平台引用資料集US$199/平台/月,六平台包 US$699,實務約 US$828 起有預算、要原始資料的團隊
Profound企業級 AI 答案監測與內容建議採詢價制,未公開牌價有專責 AEO 人力的大企業
DIY(robots + log + GSC)自查封鎖狀態、爬取頻率、Google 側曝光US$0年營收未達千萬的中小企業

不會告訴你的事

那句保證的範圍比你想的窄。Apple 保證的是 Apple Search 排名,不是 Siri 引用你的機率。同一份文件另一句寫得很直白:允許 Applebot-Extended 有助於提升 Apple 生成式模型的品質。這是誘因設計,不是中立聲明。

封鎖爬蟲的收益模型對中小企業是負的。Pay Per Use 按內容出現在 AI 回答的次數分潤,對月流量千萬級的媒體有意義;對月訪 3,000 的台灣 B2B 網站,分潤連行政成本都不夠,卻要先付曝光歸零的代價。

那些封鎖率統計不能外推。29% 來自 107 個網站的抽樣,母體幾乎全是英文大型媒體與科技站。中小企業沒有付費牆、沒有訴訟籌碼、極度需要曝光。

不花訂閱費的 SMB 替代方案

一個下午、零成本,把 Apple 側可見度自查完成:

  • ☐ 讀完自己的 robots.txt,沒有 User-agent: Applebot 區塊就補上 Allow: /
  • ☐ 明確寫出 Applebot-Extended 的 Allow 或 Disallow,別讓它未定義
  • ☐ 用 curl -I 抽查 10 個重要頁面的 X-Robots-Tag,確認沒誤加 nosnippet
  • ☐ 在原始碼與 JSON-LD 搜尋 nosnippetisAccessibleForFree,確認是刻意設定
  • ☐ 從 nginx/Apache log 撈 Applebot 請求,用 host 反解驗證來源
  • ☐ 開啟 Search Console 生成式 AI 報表,記下本週基準值
  • ☐ 把結論寫成一頁「AI 爬蟲政策」放進版控,改版時一起 review

這七件事涵蓋付費工具在技術可見度這層能給的九成資訊。付費工具真正多出來的是跨平台提及率追蹤,而那要在你確定沒被封鎖之後才有意義。

常見問題 FAQ

擋掉 Applebot-Extended,Google 排名會受影響嗎?

不會。它是 Apple 專屬 token,Google 不讀;反過來 Google-Extended 也不影響 Apple。唯一交叉點是 Apple 會在你沒寫 Applebot 規則時沿用 Googlebot 規則。

網站有會員專區,該不該標 isAccessibleForFree: false?

要讓 Google 正確理解付費牆就該標。但 Apple 明說標了就不會用於 AI 回答脈絡,且無段落級折衷。務實做法:只在真正的付費頁標記。

台灣中小企業真的需要在意 Siri 引用嗎?

取決於客戶用什麼裝置。設計、醫美、精品零售、B2B 決策層的 iOS 佔比明顯偏高,而 iOS 27 的新 Siri 會直接回答並附來源連結。

該允許還是封鎖 AI 訓練爬蟲?

先問內容有沒有授權談判價值。有(大型媒體、專有資料庫)就擋並準備法務;沒有(多數公司行號、電商)就全開,因為瓶頸是曝光不足。

我的觀點

主流敘事說 AI 爬蟲授權費會變成內容業者的新收入。我的判斷相反:未來 18 個月,這筆錢不會流到中小企業手上,反而變成它們的隱形封鎖成本。按 AI 回答出現次數計費本質上是冪次分佈,前 1% 的媒體吃掉九成收益。

第二個判斷:AEO 工具市場真正吃掉的不是 SEO 月費,是「網站健檢」這種一次性服務。當 Semrush 已 把 AI 可見度做成 US$99 的 add-on、Ahrefs 拆成六平台各 US$199,儀表板已是紅海;但「把 robots.txt、schema、meta 三層真的修對」沒有 SaaS 能自動完成。

對 ScriptWalker 的啟示:不做月費儀表板,做一次性的「AI 可見度技術健檢」——三層開關稽核、robots/schema/meta 修復、log pipeline 建置、一頁政策文件交付。這是 Laravel 接案能力可直接變現的產品化服務,且每次平台改規則就是重新觸及舊客的機會。

資料來源

第一手來源

第三方來源

分享:
AI 與自動化 返回文章列表