全网搜索引擎蜘蛛大全/搜索引擎蜘蛛名录：国内外爬虫名称及说明汇总
| 分类 |
蜘蛛名称 |
说明 |
| 国内搜索引擎蜘蛛 |
Baiduspider |
百度蜘蛛 |
|
360Spider |
360 蜘蛛 |
|
sogou spider |
搜狗蜘蛛 |
|
Yisouspider |
神马蜘蛛 |
|
Yahoo Slurp |
雅虎中国蜘蛛 |
|
bingbot |
必应蜘蛛 |
|
YoudaoBot |
有道蜘蛛 |
|
JikeSpider |
即刻搜索 |
|
Sosospider |
腾讯搜搜蜘蛛 |
|
EasouSpider |
宜搜蜘蛛 |
|
Bytespider |
今日头条蜘蛛 |
|
YYSpider |
YY 蜘蛛 |
|
petalbot |
华为蜘蛛 |
|
YunGuanCe |
网络爬虫程序 |
|
EtaoSpider |
一淘蜘蛛 |
| 国外搜索引擎蜘蛛 |
MJ12bot |
英国 MJ12 蜘蛛 |
|
YandexBot |
俄罗斯蜘蛛 |
|
DuckDuckGo |
网页爬虫 |
|
Rogerbot |
网页爬虫 |
|
DotBot |
Dot 蜘蛛 |
|
MauiBot |
Maui 蜘蛛 |
|
SEMrushBot |
SEMrush 蜘蛛 |
|
MegaIndex.ru |
MegaIndex 蜘蛛 |
|
ZoominfoBot |
Zoominfo 蜘蛛 |
|
SeznamBot |
Seznam 蜘蛛 |
|
BLEXBot |
BLEX 蜘蛛 |
|
ExtLinksBot |
ExtLinks 蜘蛛 |
|
aiHitBot |
aiHit 蜘蛛 |
|
Researchscan |
Researchscan 蜘蛛 |
|
spbot |
sp 蜘蛛 |
|
Uptimebot |
Uptime 蜘蛛 |
|
AhrefsBot |
Ahrefs 蜘蛛 |
|
Amazonbot |
亚马逊蜘蛛 |
|
ImagesiftBot |
ImageSift 蜘蛛 |
|
Linguee Bot |
Linguee 蜘蛛 |
|
AwarioBot |
Awario 蜘蛛 |
|
Ezooms |
Ezooms 蜘蛛 |
|
ZmEu |
漏洞扫描 |
|
Swiftbot |
Swift 蜘蛛 |
|
CCBot |
Cloudflare 蜘蛛 |
|
AdsBot |
Ads 蜘蛛 |
|
CriteoBot |
Criteo 蜘蛛 |
|
Serpstatbot |
Serpstat 蜘蛛 |
|
bidswitchbot |
bidswitch 蜘蛛 |
|
Deusu |
个人蜘蛛 |
|
grapeshot |
Grapeshot 蜘蛛 |
|
SEOkicks-Robot |
SEOkicks 蜘蛛 |
|
Applebot |
苹果蜘蛛 |
|
Backlink-Checker-Spider |
backlinks 蜘蛛 |
|
Coccocbot-web |
Coccoc 蜘蛛 |
|
Mail.RU_Bot |
Mail.RU蜘蛛 |
|
DigitalPebble |
爬虫框架 |
|
VenusCrawler |
网络爬虫程序 |
|
BUbiNG |
网络爬虫系统 |
|
GrapeshotCrawler |
网络爬虫程序 |
|
Jinquanspider |
网络爬虫程序 |
|
MediavBot |
网络爬虫程序 |
|
exabot |
exa 蜘蛛 |
|
ia_archiver |
网络爬虫程序 |
|
Teoma |
Ask 蜘蛛 |
|
DOCOMO Sprider |
DOCOMO 蜘蛛 |
|
hubspot |
hubspot 蜘蛛 |
|
twiceler |
twiceler 蜘蛛 |
|
Psbot |
Ps 蜘蛛 |
|
Pinterestbot |
Pinterest 蜘蛛 |
|
RepoLookoutBot |
RepoLookout 蜘蛛 |
|
DataForSeoBot |
DataForSeo 蜘蛛 |
|
WellKnownBot |
WellKnown 蜘蛛 |
|
Facebot |
Face 蜘蛛 |
|
YouBot |
You 蜘蛛 |
|
heritrix |
heritrix 蜘蛛 |
|
MSNBot-Academic |
微软学术蜘蛛 |
|
lycos_spider |
Lycos 蜘蛛 |
|
AraybOt |
Aray 蜘蛛 |
|
ClaudeBot |
人工智能模型爬虫 |
|
GPTBot |
人工智能模型爬虫 |
以下是补充的一些常见搜索引擎蜘蛛（网络爬虫），涵盖更多平台及特殊用途的爬虫，
| 分类 |
蜘蛛名称 |
说明 |
| 国内搜索引擎蜘蛛 |
Sogou web spider |
搜狗网页爬虫（细分类型） |
|
QQbot |
腾讯 QQ 相关爬虫 |
|
XiaohongshuSpider |
小红书平台爬虫 |
|
DouyinSpider |
抖音平台爬虫 |
| 国外搜索引擎蜘蛛 |
Googlebot |
谷歌搜索引擎爬虫（最常用） |
|
BingPreview |
必应预览爬虫（用于生成快照） |
|
YandexImages |
俄罗斯 Yandex 图片爬虫 |
|
Pinterestbot-image |
Pinterest 图片爬虫 |
|
Twitterbot |
推特（X 平台）爬虫 |
|
FacebookExternalHit |
脸书外部链接爬虫 |
|
LinkedInBot |
领英平台爬虫 |
|
Slackbot |
Slack 平台爬虫 |
|
Discordbot |
Discord 平台爬虫 |
|
TikTokbot |
抖音国际版（TikTok）爬虫 |
|
NaverBot |
韩国 Naver 搜索引擎爬虫 |
|
DaumBot |
韩国 Daum 搜索引擎爬虫 |
|
SosoBot |
韩国 Soso 搜索引擎爬虫 |
|
AlexaBot |
亚马逊 Alexa 排名爬虫 |
|
Majestic-12 |
Majestic SEO 工具爬虫 |
|
QuantcastBot |
Quantcast 数据分析爬虫 |
|
ComScoreBot |
ComScore 统计分析爬虫 |
|
ArchiveBot |
互联网档案馆（Wayback Machine）爬虫
|
