要不要讓 AI 爬蟲讀你的網站：robots.txt 的取捨

隨著 AI 服務越來越多，來讀取網站內容的程式也越來越多。有些企業擔心內容被拿去訓練模型，乾脆在網站上擋掉所有 AI 爬蟲；有些則希望被 AI 推薦，全部開放。兩種做法都可以理解，但在做決定之前，值得先弄清楚：這些爬蟲其實不只一種，用途也不一樣。

AI 爬蟲的不同用途

大致可以分成兩類。一類是為了蒐集資料、訓練模型而來的，它們讀取的內容可能成為模型知識的一部分。另一類則是為了即時回答使用者的問題而來的：當有人問 AI 一個問題，它即時去讀相關的網頁，整理答案並附上來源連結。後者和搜尋引擎很像，擋掉它，就等於放棄在這些 AI 回答中被引用的機會。

不少 AI 服務會公布自己爬蟲的名稱與用途，網站可以依名稱分別允許或拒絕。這讓企業有了更細的選擇：例如不提供內容做訓練，但允許被即時引用。

另外，傳統搜尋引擎的爬蟲依然重要，因為部分 AI 服務也會參考搜尋引擎的結果。在調整設定時，要小心不要連一般搜尋也一起擋掉。

做決定時可以考慮的幾件事

沒有一個答案適合所有企業，可以從這幾個角度思考：

• 內容的性質：公開的服務介紹與文章，被引用通常是好事；付費內容或獨家資料，則可能需要保護。
• 你的目標：如果希望潛在客戶透過 AI 找到你，就要讓負責即時回答的爬蟲讀得到。
• 規則的限制：robots.txt 是一種公開的約定，守規矩的爬蟲會遵守，惡意程式則未必，真正要保護的內容還是要靠權限控管。
• 定期檢視：AI 爬蟲的種類與名稱持續變化，設定需要隔一段時間重新檢查。

不管選擇哪一種，都應該是有意識的決定。最常見的問題，反而是多年前留下的設定或防火牆規則，在沒有人察覺的情況下擋掉了想被讀取的爬蟲。

要不要讓 AI 讀你的網站，不是全開或全關，而是依用途分別決定。

這對你的生意意味著什麼

在 AI 逐漸成為找資訊入口的時候，網站對 AI 爬蟲的設定，等於決定了你在這些新入口中的能見度。對大多數以服務為主的企業來說，公開的介紹與文章被讀取、被引用，帶來的潛在客戶通常大於風險；需要保護的內容，則應該放在需要登入的地方。

建議先盤點網站上哪些內容希望被看見、哪些需要保護，再依此調整設定。創智苑在建置與維護網站時，會和你一起檢視 robots.txt 與防護規則，確認想被讀到的內容真的讀得到。