蜘蛛日志自动分析系统

关于这个页面怎么实现的,教程在这儿:手工设计蜘蛛爬取系统

当天蜘蛛爬行记录:
以下为国内常用蜘蛛。
Google Spider:
蜘蛛类型=>Googlebot: 爬行次数=0
蜘蛛类型=>Googlebot-Image: 爬行次数=0
蜘蛛类型=>Googlebot-Mobile: 爬行次数=0
蜘蛛类型=>Feedfetcher-Google: 爬行次数=0
Baidu Spider:
蜘蛛类型=>Baiduspider: 爬行次数=45 最后爬行时间:15:25:53
蜘蛛类型=>Baiduspider-image: 爬行次数=1 最后爬行时间:06:09:07
bingbot Spider:
蜘蛛类型=>bingbot: 爬行次数=29 最后爬行时间:15:01:43
蜘蛛类型=>msnbot-media: 爬行次数=0
Sogou Spider:
蜘蛛类型=>Sogou web spider: 爬行次数=8 最后爬行时间:14:30:24
Soso Spider:
蜘蛛类型=>Sosospider: 爬行次数=0
以下为垃圾蜘蛛,可屏蔽抓取。
Jike Spider:
蜘蛛类型=>JikeSpider: 爬行次数=0
Easou Spider:
蜘蛛类型=>EasouSpider: 爬行次数=0
YisouSpider:
蜘蛛类型=>YisouSpider: 爬行次数=0
YandexBot Spider:
蜘蛛类型=>YandexBot: 爬行次数=14 最后爬行时间:15:13:18
Mail.RU Spider:
蜘蛛类型=>Mail.RU_Bot: 爬行次数=0
AcoonBot Spider:
蜘蛛类型=>AcoonBot: 爬行次数=0
Exabot Spider:
蜘蛛类型=>Exabot: 爬行次数=0
spbot Spider:
蜘蛛类型=>spbot: 爬行次数=0

蜘蛛爬行分析图:
日期:2019-05-26
蜘蛛一共爬行97次:
  • google:0次(0%)
  • baidu:46次(47%)
  • bing:29次(29%)
  • sogou:8次(8%)
  • soso:0次(0%)
  • else:14次(16%)

  • 评论 0

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址