ChatGPT-User爬取頻度從8/21開始大跌,直接告訴你bot數據其實沒什麼幫助
從 2026 年 8 月 21 日開始, ChatGPT-User 爬蟲來到網站抓取的頻度突然大幅下滑。以我自己的數據來看,直接掉了 68.2% ,而且之後就一直維持在低檔,沒有再回來過。 2026/08/21 之後,ChatGPT-User 的抓取頻度直接跳水(-68.2%) 如果平常有在盯 server log 或 AI 爬蟲報表的人,看到這種斷崖式的曲線,第一反應多半會以為是不是網站哪裡設定壞了、被擋了,或是網站突然不被 ChatGPT 引用了。 其他數據沒有明顯變化 不過把其他幾個指標拉出來對照,就會發現事情沒那麼單純。 先看同樣是 OpenAI 旗下的 OAI-SearchBot ,在 8/21 前後的抓取頻度依然維持原本的波動節奏,一路到 10 月底都沒有出現類似的斷崖。 OAI-SearchBot 在 8/21 前後沒有明顯波動 再看最實際的指標: 從 AI 平台進站的工作階段 。一樣沒有明顯的衰退,該來的流量還是照常進站,走勢還算平穩。 實際從 AI 平台進站的工作階段,並未因 ChatGPT-User 下滑而減少 換句話說,掉的是爬蟲的抓取次數,不是真的從 AI 平台點進來的人。 不是只有我遇到這個問題 查了一下國外的觀察,這個現象並不是單一網站的個案,也有其他人在同一個時間點看到了類似的落差: WISLR 的分析 指出,在 8/19 到 8/21 這幾天,他們監測的網站上 OpenAI 爬蟲的抓取量普遍掉了約 74%(而且他們用 OpenAI 官方公布的 IP 區段交叉比對,排除了只是爬蟲改名的可能),但同時期從 ChatGPT 進站的真實訪客只有個位數的正常波動。他們推測原因比較像是 ChatGPT Search 減少了查詢展開(query fanout)的數量,而不是單純加強快取。 SurfacedBy 的實測 也得到類似結果。他們問了 ChatGPT 10 個問題,自家網站被引用了 9 次,但過程中 ChatGPT-User 只來抓了 1 次首頁;對照 Cloudflare Radar 的公開數據, ChatGPT-User 在 9 月中已經跌到高峰期的 30%,反而是 OAI-SearchBot 在 8 月底創下新高。作者推測這與成本和速度有關:每次回答都即時去抓網頁太慢也太燒錢,改...
