常见搜索引擎标头UA标识大全

ivye • • 免费干货 • 1046 阅读

常见搜索引擎User-Agent标识大全，在此记录和分享一下，如下：

包括：百度、谷歌、必应、搜狗、神马、360、Yandex、DuckDuckBot等。

搜索引擎 关键字 UA标识
百度 Baiduspider (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
谷歌 Googlebot (compatible; Googlebot /2.1; +http://www.google.com/bot.html)
必应 bingbot (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
搜狗 Sogou web spider Sogou web spider/4.0(+http://www.sogou.com/docs/help/ webmasters.htm#07)
神马 YisouSpider YisouSpider/5.0 Safari/537.36
360 360Spider Safari/5 37.36; 360Spider
Yandex YandexBot (compatible; YandexBot/3.0; +http://yandex.com/bots)

更多正则表达方式如下：

(DuckDuckBot|compatible|Baiduspider|Google|Googlebot|Googlebot-Image|Yahoo!|YahooSeeker|Bingbot|soso|sogou|Sogou web spider |yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler|Twitterbot|YandexBot|Bytespider|YisouSpider|360Spider| SF/)

建议黑名单标头正则表达方式如下：

(WPScan|shodan|zoomeye|censys|CensysInspect|HTTrack|antSword|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|BabyKrokodil|netsparker|httperf| SF/)

 

文章版权归原作者所有或来自互联网，未经允许请勿转载。如有侵权请联系我删除，谢谢！
THE END
分享
二维码
打赏
< <上一篇
下一篇>>
文章目录
关闭
目 录