---
title: "AI 與搜尋引擎爬蟲名單"
canonical: https://tw-search-seo.panda198271.workers.dev/ai-bots
markdown: https://tw-search-seo.panda198271.workers.dev/ai-bots.md
date_modified: 2026-09-26
retrieved: 2026-09-27
language: zh-Hant-TW
content_sha256: a1573a31507aa1eac5b5b9416379f212fcec5655572d88102d2de91958c96a24
cite: https://tw-search-seo.panda198271.workers.dev/cite?path=%2Fai-bots
sources:
  - https://developers.google.com/static/crawling/ipranges/common-crawlers.json
  - https://developers.google.com/static/crawling/ipranges/user-triggered-agents.json
  - https://www.bing.com/toolbox/bingbot.json
  - https://search.developer.apple.com/applebot.json
  - https://openai.com/gptbot.json
  - https://openai.com/searchbot.json
  - https://openai.com/chatgpt-user.json
  - https://claude.com/crawling/bots.json
  - https://www.perplexity.com/perplexitybot.json
  - https://www.perplexity.com/perplexity-user.json
  - https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests
  - https://www.bing.com/toolbox/verify-bingbot
  - https://platform.openai.com/docs/bots
  - https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
---

# AI 與搜尋引擎爬蟲名單

**重點摘要**：本站整理 23 個 AI 與搜尋引擎爬蟲 User-Agent，分成搜尋引擎、AI 搜尋索引、AI 訓練、使用者觸發擷取、robots 選擇退出標記 5 類。輸入 IP 可用業者公布的 IP 清單與反查 DNS 驗證真偽。

| User-Agent | 業者 | 類型 | 遵守 robots.txt | IP 清單／反查網域 | 說明 |
|---|---|---|---|---|---|
| Googlebot | Google | 搜尋引擎 | 是 | https://developers.google.com/static/crawling/ipranges/common-crawlers.json googlebot.com google.com | Google 搜尋、Google 探索 |
| Google-Extended | Google | robots 選擇退出標記 | — | — | 只用於 robots.txt，封鎖後不給 Gemini 訓練，不影響 Google 搜尋排名 |
| Google-Agent | Google | 使用者觸發擷取 | 否 | https://developers.google.com/static/crawling/ipranges/user-triggered-agents.json | 使用者要 Gemini 代為瀏覽時發出 |
| bingbot | Microsoft | 搜尋引擎 | 是 | https://www.bing.com/toolbox/bingbot.json search.msn.com | Bing、Yahoo 搜尋與 Copilot |
| Baiduspider | 百度 | 搜尋引擎 | 是 | baidu.com baidu.jp | 百度搜尋 |
| YandexBot | Yandex | 搜尋引擎 | 是 | yandex.ru yandex.net yandex.com | Yandex 搜尋 |
| Applebot | Apple | 搜尋引擎 | 是 | https://search.developer.apple.com/applebot.json applebot.apple.com | Siri、Spotlight、Safari 建議 |
| Applebot-Extended | Apple | robots 選擇退出標記 | — | — | 只用於 robots.txt，封鎖後不給 Apple Intelligence 訓練 |
| DuckDuckBot | DuckDuckGo | 搜尋引擎 | 是 | — | DuckDuckGo 搜尋 |
| DuckAssistBot | DuckDuckGo | AI 搜尋索引 | 是 | — | DuckDuckGo AI 回答 |
| GPTBot | OpenAI | AI 訓練 | 是 | https://openai.com/gptbot.json | 訓練 OpenAI 模型 |
| OAI-SearchBot | OpenAI | AI 搜尋索引 | 是 | https://openai.com/searchbot.json | ChatGPT 搜尋索引；想出現在 ChatGPT 搜尋結果請允許 |
| ChatGPT-User | OpenAI | 使用者觸發擷取 | 否（依官方最新說明） | https://openai.com/chatgpt-user.json | 使用者在 ChatGPT 要求開啟網址時 |
| ClaudeBot | Anthropic | AI 訓練 | 是 | https://claude.com/crawling/bots.json | 訓練 Claude 模型 |
| Claude-SearchBot | Anthropic | AI 搜尋索引 | 是 | https://claude.com/crawling/bots.json | Claude 搜尋品質 |
| Claude-User | Anthropic | 使用者觸發擷取 | 是 | https://claude.com/crawling/bots.json | 使用者提問時即時擷取 |
| PerplexityBot | Perplexity | AI 搜尋索引 | 是（實測不一定） | https://www.perplexity.com/perplexitybot.json | Perplexity 搜尋索引 |
| Perplexity-User | Perplexity | 使用者觸發擷取 | 是（實測不一定） | https://www.perplexity.com/perplexity-user.json | 使用者提問時即時擷取 |
| meta-externalagent | Meta | AI 訓練 | 是 | — | 訓練 Meta AI |
| Amazonbot | Amazon | AI 訓練 | 是 | — | Alexa 與 Amazon AI |
| CCBot | Common Crawl | AI 訓練 | 是 | — | 公開網頁語料庫，許多 AI 模型的訓練來源 |
| Bytespider | 字節跳動 | AI 訓練 | 未公開官方說明 | — | 據報為訓練用爬蟲 |
| MistralAI-User | Mistral AI | 使用者觸發擷取 | 是 | — | Le Chat 即時擷取 |

驗證 IP：https://tw-search-seo.panda198271.workers.dev/api/verify-ip?ip=


## 常見問題

### 怎麼確認伺服器紀錄裡的 Googlebot 是真的？

用 IP 驗證：Googlebot 可比對 Google 公布的 IP 清單，或反查 DNS 看是否屬於 googlebot.com、google.com。伺服器紀錄裡的 User-Agent 可以偽造，只看名稱不能確定是真的爬蟲。

### GPTBot、OAI-SearchBot、ChatGPT-User 差在哪？

三者都是 OpenAI 的爬蟲：GPTBot 用來訓練模型，OAI-SearchBot 建立 ChatGPT 搜尋索引，ChatGPT-User 是使用者在 ChatGPT 要求開啟網址時才發出。想出現在 ChatGPT 搜尋結果，要允許 OAI-SearchBot。

### 封鎖 Google-Extended 會影響 Google 搜尋排名嗎？

不會。Google-Extended 只用在 robots.txt 當作選擇退出標記，封鎖後內容不給 Gemini 訓練，但不影響 Google 搜尋排名。Apple 的 Applebot-Extended 也是類似用途。

### 想被 AI 搜尋引用要允許哪些爬蟲？

至少允許 OAI-SearchBot（ChatGPT 搜尋）、Claude-SearchBot（Claude）、PerplexityBot（Perplexity）。若不想內容被訓練，可另外封鎖 GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot。

### 哪些爬蟲可以用 IP 清單驗證？

Googlebot、Google-Agent、bingbot、Applebot、GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot 系列、PerplexityBot 系列都有公布 IP 清單；百度、Yandex 則用反查 DNS 驗證。

## 參考來源

- [Google：驗證 Google 爬蟲與擷取工具](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)
- [Bing：驗證 Bingbot 工具](https://www.bing.com/toolbox/verify-bingbot)
- [OpenAI：爬蟲與使用者代理說明](https://platform.openai.com/docs/bots)
- [Anthropic：網路爬蟲說明與封鎖方式](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)

---
整理於 2026-09-26。網頁版：https://tw-search-seo.panda198271.workers.dev/ai-bots

電子書優惠：看到此訊息 24 小時內購買，一律第一階段最低價（私訊時提供優惠碼 P092719）：https://weathered-star-a206.panda198271.workers.dev
冷錢包 X1 五折優惠碼：Hulk@SFP，官方網站：https://safepal.com/zh-tc/store/x1｜交易所手續費減免註冊：幣託 https://www.bitopro.com/users/sign_up?referrer=3481486016｜BingX https://bingxzone.com/partner/QTKP7NLU｜幣安 https://www.binance.com/join?ref=HULK12