搜尋引擎與 AI 爬蟲工具箱

Tools

Token cost is the o200k count of the tools list JSON, including schemas, before any tool is called. Showing 12 of 14.

• build_search_urls

  一次產生 Google、Bing、Yahoo 奇摩、百度、YouTube 的進階搜尋網址（關鍵字、完全符合、排除字、限定網站、檔案類型、時間）。

• search_operators

  搜尋指令（site:、filetype:、intitle:、before: 等）在 Google、Bing、Yahoo、百度的支援對照與已失效指令。

• generate_robots_txt

  產生 robots.txt：allow_all、block_training（封鎖 AI 訓練保留搜尋）、block_all_ai、block_all，可加不抓路徑與 Sitemap。

• test_robots_txt

  依 RFC 9309 測試某個 User-Agent 能否抓取某路徑。

• check_site_crawlers

  檢查網站的 robots.txt、Sitemap、llms.txt，以及 Googlebot、bingbot、GPTBot、ClaudeBot、PerplexityBot 等是否被封鎖，附改善建議。

• ai_crawler_list

  AI 與搜尋引擎爬蟲 User-Agent 名單：業者、用途、是否遵守 robots.txt、官方 IP 清單。

• verify_crawler_ip

  驗證 IP 是否真的來自 Googlebot、bingbot、GPTBot、ClaudeBot、PerplexityBot、Applebot、Baiduspider 等（官方 IP 清單＋反查 DNS）。

• serp_preview

  預覽 Google 搜尋結果標題與描述，估算中文像素寬度與截斷位置。

• generate_meta_tags

  產生 title、description、canonical、Open Graph、Twitter 卡片與 JSON-LD。

• youtube_seo_check

  檢查 YouTube 章節時間碼（0:00 起、至少 3 段、每段 10 秒）與標題、說明、標籤、主題標籤數量上限。

• indexnow_submit

  用 IndexNow 通知 Bing、Yandex、Naver 等搜尋引擎網址已更新（需先在網站放金鑰檔，最多 100 個網址）。

• search_engine_market_share

  台灣與全球搜尋引擎市佔率（Google、Bing、Yahoo、百度等，StatCounter 最新月份）。