從服務顧客到服務AI：企業基礎設施的世代轉型

在過去的網路時代，企業經營網站或應用服務的主要目標，是提供良好的使用者體驗。然而，進入AI世代後，服務對象已不再只是人類顧客。大量的AI爬蟲與MCP（Model Context Protocol）伺服器請求正不斷湧入，它們與真實顧客一樣成為「受服務者」。這個結構性的變化，使得AI相較於傳統搜尋引擎，對於使用者行為與基礎設施壓力，展現出更直接、更劇烈的影響。

AI爬蟲與即時檢索機器人的雙重挑戰

根據 Fastly 2025 年第二季報告 ，AI爬蟲(Crawler Bots)流量已經佔據多數（80%），用於收集訓練資料；同時，即時檢索機器人（Fetcher Bots，用於即時抓文分析，例如: ChatGPT、Perplexity）則以即時檢索為主，佔據剩下的 20%。

• 爬蟲機器人：流量看似分散，卻可能持續數週，長期侵蝕伺服器資源。
• 即時檢索機器人：雖然比例較低，但瞬間流量可達 39,000 請求/分鐘，對伺服器形成類似 DDoS 的壓力。

這意味著：網站不僅要為真實顧客提供穩定服務，還必須同時承受來自 AI 工具的龐大需求。

超越搜尋引擎的影響力

過去，搜尋引擎是網站的流量入口，網站只需針對搜尋優化；但如今，AI 工具組（如 ChatGPT + MCP Server）直接把內容打包給使用者，甚至取代使用者進站的行為。
這種「代替使用者取用」的模式，使得 AI 工具的影響力遠超傳統搜尋引擎，因為它不再只是導流，而是直接成為資訊消費的終端。企業若無法正確服務 AI，就可能在使用者體驗層面被邊緣化。

基礎設施的隱性壓力

AI 機器人帶來的影響，不僅僅是頻寬與流量問題，更深層地衝擊了資料庫查詢、快取機制與應用架構：

• CPU/記憶體暴漲：AI 爬蟲請求常繞過快取，導致命中率下降。
• 連接池耗盡：大量併發連線瞬間鎖死系統資源。
• 成本上升：計算資源、雲端頻寬、維運人力投入大幅增加。

在這種情況下，傳統的容量規劃方法已不足以應付。企業必須升級到更具彈性與韌性的基礎設施。

DevOps 的新使命：從維運到抗AI壓力

面對這樣的挑戰，企業的 DevOps 團隊不再只是「維持系統穩定」，而是需要：

1. 分層防護與流量控管：識別並限制 AI 機器人請求頻率，避免影響真實用戶。
2. 資源優先級配置：確保真實顧客請求在高壓情境下仍享有優先服務。
3. 架構升級：逐步轉向微服務、雲原生與邊緣計算，降低單點故障風險。
4. 持續監控與自動化擴展：建立智能告警與自動擴容機制，以因應 AI 突發流量。

換言之，DevOps 必須具備「抗AI流量」的能力，才能確保企業能在新時代持續穩定運行。

結語

當 AI 工具逐漸取代搜尋引擎成為資訊分發的核心時代，我們的服務對象已經從單純的顧客，變成顧客與 AI 並存的雙重體系。企業若只專注於行銷與SEO，卻忽視基礎設施的抗壓能力，將無法支撐未來的流量模式。

因此，引進 AI 並非終點，更關鍵的是升級企業基礎建設，持續提升 DevOps 的營運與架構韌性，這才是能在 AI 世代中真正站穩的關鍵。

AI Friendly 必備指標

在 AI 世代，企業不僅需要「抗 AI 流量」的能力，更應思考如何建立「AI 友善 (AI Friendly)」的基礎設施。這不僅能降低無效流量衝擊，還能提升企業在 AI 工具中的能見度與正確性。以下為關鍵指標：

1. 標準化機器人協定支援

   • 明確配置 robots.txt、robots meta tag 與 sitemap.xml，讓 AI 爬蟲能有序存取內容。
   • 對不同用途的 AI Bot（爬蟲 vs 即時檢索）設置分層規則，避免混淆。

2. 專用 API 端點

   • 為 AI 機器人提供輕量級 API，而非直接抓取動態頁面。
   • 使用 Rate Limit 與認證機制，確保流量可控。

3. 內容結構化與語意標註

   • 導入 Schema.org 結構化標記，提升 AI 工具解析精度。
   • 提供清晰的 metadata（標題、作者、日期、版權），避免 AI 誤用或生成錯誤資訊。

4. 內容授權與追蹤機制

   • 支援內容授權協議（如 C2PA 或類似標準），確保品牌與內容在 AI 環境中獲得合法與正確引用。
   • 部署流量追蹤與分析工具，量化 AI 流量的業務價值。

5. 服務可靠性指標 (SLO/SLI/SLA)

   • 對 AI 請求設定專屬的 SLI（如成功率、延遲、頻寬占用）。
   • 透過 SLO 驗證基礎設施是否同時支撐「真實用戶」與「AI Bot」。

Fastly Q2 2025 AI機器人威脅洞察報告重點整理

📊 報告基礎資訊

• 數據期間：2025年4月16日至7月15日
• 覆蓋範圍：130,000+ 應用程序和API，6.5兆次/月請求量
• 主題：AI機器人對網路基礎設施的影響分析

🎯 五大關鍵發現

1. AI機器人流量可能對未受保護的網路基礎設施造成巨大壓力

• 爬蟲機器人峰值：1,000 請求/分鐘
• 獲取機器人峰值：39,000 請求/分鐘

2. 特定行業面臨最高抓取壓力

最受關注行業：商務、媒體娛樂、高科技

3. AI機器人類型分布

• AI爬蟲機器人：80% (用於訓練模型)
• AI獲取機器人：20% (即時內容檢索)

4. ChatGPT產生最多即時網站流量

• OpenAI機器人：98% 的獲取機器人請求

5. 訓練數據地理偏向

北美內容為AI模型訓練主要來源，影響模型的文化和地緣政治觀點

📈 關鍵數據分析

AI爬蟲機器人市場佔有率

AI獲取機器人分布

網站覆蓋範圍排名

1. OpenAI GPTBot：95% (覆蓋最廣)
2. Perplexity：72.8%
3. Google：70.7%
4. Meta：70.0%

🌍 地區差異分析

各地區AI機器人類型分布

行業垂直分析