GPTBot 成 2025「最常被封鎖」爬蟲，機器人流量已超越人類

根據 Cloudflare 於今年發布的年度報告，ChatGPT 的爬蟲 GPTBot 成為網路上被封鎖最多的機器人，這個現象引發對 AI 爬蟲使用的關注。報告指出，GPTBot 的使用量在夏季末期激增 305%，顯示出 AI 服務對於網路資訊的需求日益增加。與此同時，Google 的爬蟲則是最被允許的，顯示出網站擁有者對於 Google 的依賴性。

在分析中，Cloudflare強調了機器人使用量已經超過了50%的網路活動，而人類使用者僅占43.5%。這個數據顯示，AI爬蟲的興起正在改變網路的流量格局。許多網站擁有者選擇透過robots.txt文件來封鎖AI爬蟲，以防止其抓取網站內容，這反映了他們對於AI服務的擔憂。

報告還指出，GPTBot是2025年被封鎖最多的爬蟲，緊隨其後的是CCBot和Google的爬蟲。儘管如此，Google的爬蟲仍然是網路上最被允許的，這表明網站擁有者仍希望從Google獲得流量。

此外，Cloudflare的數據顯示，Googlebot在今年10月至11月期間訪問了11.6%的獨特網頁，這是GPTBot的三倍多，顯示出Google在爬蟲流量中的主導地位。這個趨勢突顯了AI爬蟲與傳統搜尋引擎之間的競爭，網站擁有者在封鎖AI數據抓取與保持可見性之間進行著微妙的平衡。

在這場「機器人戰爭」中，AI爬蟲的興起與DDoS攻擊的增加相互交織，網站擁有者面臨著新的挑戰。儘管面臨封鎖，ChatGPT仍然在其類別中保持著最受訪問的地位，顯示出其在全球流量增長中的重要性。

（首圖來源：pixabay）