今天一個客戶反映服務器長期高負載，有時候還會宕機導致數據庫停止運行。

 

查看網站日志的時候，發(fā)現了一個爬行頻率超高的蜘蛛爬蟲BLEXBot，初一看這個蜘蛛爬蟲覺得爬行頻率那叫一個高，快的時候一秒鐘爬幾次，慢的時候幾十秒鐘爬行一次，這樣的爬行頻率，服務器哪會受得了，所以決定先看看這個BLEXBot是個啥玩意爬蟲，然后再對這個垃圾爬蟲進行禁止，所以就有了這篇文章。

BLEXBot是什么蜘蛛爬蟲？
BLEXBot是WebMeUp的蜘蛛爬蟲，而WebMeUp是美國某公司的一個查詢反向鏈接的蜘蛛程序，只要爬到了我們的站上真的就是不停的狂爬。

這樣的蜘蛛爬蟲對于國人來說，也沒有什么作用，而且還占用機器的帶寬，所以還是應該對這個蜘蛛進行禁止。

首先在京策盾高防CDN控制臺打開網站列表

在我的網站里，找到被爬取的網站

在網站的安全配置里，點擊自定義規(guī)則

 

在自定義規(guī)則里匹配項選擇瀏覽器UA，操作符選擇包含，匹配值填寫B(tài)LEXBot，如下圖

 

規(guī)則添加成功之后，即可在攔截記錄里查看到有大量垃圾蜘蛛被阻斷和攔截