互联网上有很多网络爬虫，它们带着各自的任务到处爬行，例如：Baiduspider 、 Googlebot 、 bingbot 等。这些搜索引擎爬虫爬取收录我们的网站可以给网站带来流量，是有用的。但还有许多垃圾爬虫，对...