AI 與自動化

Apple 無聲擴大 Applebot IP 池 194%:你的白名單現在擋掉三分之二的蘋果爬蟲

2026.08.19 · 25 次瀏覽
Apple 無聲擴大 Applebot IP 池 194%:你的白名單現在擋掉三分之二的蘋果爬蟲

一次加入 4,656 個位址、全部塞在同一個 /16,沒有公告、沒有版本號、時間戳還對不上——這是答案引擎開工前的暖機,不是給你流量的邀請函

分享:

2026 年 8 月 17 日凌晨 00:49,倫敦顧問公司 Merj 的監控程式抓到一次沒有公告的變動:Apple 用來驗證爬蟲身分的 CIDR 清單一口氣多出 21 個網段。18 個 /24 加 3 個 /28,等於 4,656 個新增 IP。原本 12 個網段、2,400 個位址的池子,變成 33 個網段、7,056 個位址,增幅 194%。Apple 沒發部落格、沒發新聞稿,支援文件一個字也沒改。

這不是網管小新聞,因為 Applebot 今年換了身分。1 月 12 日,Apple 與 Google 宣布由 Gemini 模型撐起新一代 Apple 基礎模型,外傳年費約 10 億美元。6 月 8 日 WWDC26 確認 Siri AI 跑在 Gemini 上,同一天 Apple 重寫了 About Applebot,首次寫明:抓取內容會訓練 Apple 基礎模型,也會當作 AI 生成答案的上下文。Applebot 從「幫 Spotlight 與 Safari 建議做索引」變成「幫每天十幾億次請求的答案引擎抓即時素材」——索引可以慢慢爬、吃快取,答案引擎要新鮮度與併發。一次配置 4,656 個位址、全落在 17.166.0.0/16,是大規模平行抓取的準備動作。

對照組清楚。Cloudflare 今年 1 月量測顯示,Googlebot 觸及的唯一 URL 數是 Applebot 的 14.87 倍,Apple 一直是主要爬蟲裡體型最小的一隻。OpenAI 也做過發表前的 IP 暖機,但 Merj 說規模沒這次大,且 Apple 清單多年沒動。Google 從 2025 年 3 月起把爬蟲 IP 檔改成每日刷新;Apple 這份檔案沒有版本號、沒有變更紀錄,內部 creationTime 還停在 7 月 31 日——比實際出現時間早半個月。整個類別在往可驗證、可稽核走,Apple 反著走。

中小企業會被影響嗎?會,從最不起眼的地方開始:防火牆白名單、WAF 規則、日誌腳本,只要照那 12 個網段寫死,今天起只認得 Apple 公告位址的三分之一。以下拆三件事:變了什麼、三類人該做什麼,以及為何我認為這波擴容 12 個月內不會給你一滴可測量流量。

事件細節:33 個網段、7,056 個位址、一個對不上的時間戳

Apple 用兩種方式辨識 Applebot:反向 DNS(解析回 applebot.apple.com 主機名再正解回來),或比對 CIDR 網段。這次只動了後者。

舊的 12 個網段散在三個位址區(17.22.x、17.241.x、17.246.x),是多年累積的容量:9 個 /24(2,304)加 3 個 /27(96)。新增 21 個網段全在 17.166.0.0/16 內,排列整齊:20.0–25.0、150.0–155.0、232.0–237.0 各連續六個 /24,再加三個 /28,一次整批配置。

兩個細節值得記:位址數不等於抓取量,一台機器能掛多個位址,只是併發訊號;更麻煩的是,Apple 示範反向 DNS 的位址 17.58.101.179 不在這 33 個網段裡——清單從來不是完整清冊,當唯一真相的白名單規則兩個方向都會誤判。

Applebot 不遵守 crawl-delay,robots.txt 若沒提到它卻寫了 Googlebot 規則,就會直接套用——很多網站正用寫給別人的規則管理蘋果爬蟲。

三類讀者的立刻行動

品牌主/中小企業老闆

  • 問維運:白名單有幾個 Apple 網段?答案 12,漏三分之二。
  • 先看成本:抓取吃頻寬,先確認主機流量上限與超額計費。
  • 付費牆標 isAccessibleForFree: false:頁面仍入搜尋結果,內容不當 AI 答案上下文。

行銷/SEO 操作者

  • robots.txt 寫死 Applebot 規則,別繼承 Googlebot 段落,意義不同。
  • 三個開關互相獨立:robots.txt 管爬不爬、Applebot-Extended 管訓練、nosnippet 管能否當 AI 上下文——關訓練不等於退索引。
  • Apple 沒有 Search Console、無查詢層報表或曝光數,伺服器日誌是唯一證據,現在就留。

開發者/接案商

  • 把比對換雙向 DNS:反查確認主機名結尾為 applebot.apple.com,再正查比對原 IP,可涵蓋未公告位址。
  • 寫 cron 每天抓 CIDR JSON 做 diff 進版控,別用 creationTime 判斷變更——這次它騙了所有人。
  • Cloudflare 客戶要注意:9 月 15 日起新網域預設規則會在帶廣告頁面封鎖 Training 類爬蟲,Applebot 被點名,方向與八月擴容相反。

工具比較:誰真的看得到 Apple?

方案能做什麼價格Apple/Siri 覆蓋適用情境
Merj 爬蟲 IP 監控監看各家公告 IP 檔變動並告警顧問/訂閱制,需洽談有(這次就是它抓到的)需要稽核軌跡的大型站
Cloudflare Bot Management爬蟲分類、封鎖、抓取對導流比儀表板Free 到 Enterprise 分層部分:識別得到,看不到引用已在 Cloudflare 上的站
Botify/Oncrawl 日誌平台爬取預算、抓取頻率、狀態碼分析企業級年約部分,依日誌而定十萬頁以上電商/媒體
Profound/Scrunch 等可見度工具追蹤 ChatGPT/Perplexity/AI Overviews 引用月費數百至數千美元幾乎沒有只看主流聊天機器人
自建:cron + dig + GoAccessIP 檔 diff、雙向 DNS 驗證、抓取量報表0 元,人力半天有,你的日誌就是原始資料中小企業、接案商

最該看的是「Apple/Siri 覆蓋」欄:AI 可見度訂閱對即將由 Gemini 驅動、每天十幾億次請求的助理介面,基本上全盲。

不會告訴你的事

  • 「快讓 Applebot 進來」的人,賣的正是爬蟲監控。這句「something big might be about to happen」出自 Merj 的 Ryan Siddle,告警正是他們的產品。位址擴充只證明容量意圖,不證明抓取量會漲,更不保證有人點進來。
  • 開門有帳單。Cloudflare 7 月的歸因儀表板顯示,抓取對導流比從 118:1 拉到近 50,000:1;Rutgers 與 Wharton 研究發現,封鎖 LLM 爬蟲的出版商六週內約損失 7% 週流量。兩邊都不免費。
  • 規則未必被遵守。TollBit 8 月 14 日量測顯示,歐洲約 15% 頁面抓取代理碰到了被告知不要碰的 URL。
  • 免費引用窗口正在關。Similarweb 8 月 17 日資料集顯示 26% 的 ChatGPT 回應已帶贊助廣告,Google AI Mode 近 30% 可投放查詢已現廣告——今天餵的介面,明天賣版位。

不花 SaaS 訂閱的替代方案

  • 每日 diff。cron 每天抓 applebot.json,prefix 排序寫進 Git,有差異就寄信,別信 creationTime。
  • 改用雙向 DNS。對可疑 IP 反查,確認主機名結尾是 applebot.apple.com,再正查比對回原 IP,兩邊都對才算。
  • 算出爬取帳單。用 GoAccess 或 awk 拉出 Applebot 每日請求數、傳輸量與狀態碼分布,跟人類工作階段並排,作為主機與限速依據。
  • 寫死政策矩陣。robots.txt 分列 Applebot 與 Applebot-Extended,付費內容加 isAccessibleForFree: false,不想當 AI 上下文的頁面加 nosnippet,PDF/圖片用 X-Robots-Tag。

常見問題 FAQ

我該讓 Applebot 進來還是擋掉?

預設放行但限速監控:擋掉代價確定(Rutgers、Wharton 量到約 7% 週流量損失),放行代價可控。真正該擋的是導流比長期難看的爬蟲,靠自己日誌判斷。

擋掉 Applebot-Extended 就等於退出 Apple 索引嗎?

不是。即使 Applebot-Extended 被 disallow 且標了 nosnippet,只要 robots.txt 仍允許 Applebot 抓取,內容仍會出現在 Spotlight、Siri、Safari——退訓練不等於退索引。

照官方 IP 清單設白名單為什麼還會誤判?

因為清單不是完整清冊:Apple 示範反向 DNS 的位址 17.58.101.179 就不在公告的 33 個網段內。純 CIDR 比對會誤判合法請求,也漏掉真假冒者,正解是雙向 DNS 驗證。

9 月 15 日 Cloudflare 的預設值會自動擋掉 Applebot 嗎?

看身分:新網域、新客戶與免費用戶套用新預設,帶廣告頁面封鎖 Training、Agent 類爬蟲,Applebot 因訓練基礎模型被點名。付費客戶可在後台覆寫,9 月 15 日前檢查即可。

現在有工具能看到 Siri 有沒有引用我嗎?

沒有。Apple 沒有 Search Console 等價物,無查詢層資料、曝光數或點擊率。唯一證據是日誌裡的抓取紀錄與零星 referrer——宣稱有「Siri 可見度分數」的工具,先問資料哪來。

我的觀點

主流解讀是「Apple 要進 AI 搜尋,快搶曝光」。我判斷相反:這波擴容 12 個月內不會帶來可測量流量——路徑結構性不導流,Siri 答案介面沒有十條藍色連結、沒有分頁、沒有 Search Console,是否附連結由 Apple 決定。你餵的是競爭對手模型驅動、不揭露成效的黑盒,2027 年只會拿到一份沒有分母的報表。

正確框架是資安與成本題,不是行銷題:能測量的只有誰在抓、抓多少、花多少錢,今天就能做,不必訂閱任何東西。

對 ScriptWalker,機會是沒人在賣的小產品:爬蟲白名單健檢。一次交付四樣——落差報告、雙向 DNS 腳本、政策矩陣、客戶日誌產出的爬取成本表;再接每月維護,負責 diff 告警與季報。門檻不是技術,是沒人願花時間讀那份沒變更紀錄的 JSON,9 月 15 日 Cloudflare 預設值會替你製造需要解釋的客戶。若要外包執行,聯絡方式如下:

資料來源

分享:
AI 與自動化 返回文章列表