亚洲欧美日韩国产精品一区二区,亚洲av无码一区二区乱子伦as,亚洲精品天堂成人片av在线播放,亚洲欧美成人久久一区,亚洲蜜桃v妇女

當前位置:首頁 ? 解決案例 ? 正文

使用京策盾高防CDN封禁AhrefsBot爬蟲蜘蛛解決服務器高負載和宕機的問題

AhrefsBot是什么?

AhrefsBot是一個國外的搜索引擎蜘蛛。不過對你的網(wǎng)站來說除了浪費資源外,沒有任何好處。簡單說,AhrefsBot是一個營銷網(wǎng)站的爬取蜘蛛,負責分析你網(wǎng)站的鏈接信息,這個工具對于國內(nèi)用戶來說,沒有用。

使用京策盾高防CDN封禁AhrefsBot爬蟲蜘蛛解決服務器高負載和宕機的問題

所以,可以禁止AhrefsBot對你網(wǎng)站,甚至是整個服務器的訪問

詳細的介紹你可以查看他們官網(wǎng)的英文解釋。https://ahrefs.com/robot? 該網(wǎng)站是一個國外的但是有中文版,打開中文版顯示如上圖。其介紹為“增加您的搜索流量的工具,研究您的競爭對手并監(jiān)控您的利基市場。Ahrefs會幫助你去研究為什么你的競爭對手排名這么高,以及你需要采取什么行動來超越他們?!彼詰撁靼姿亲鍪裁吹牧税伞?/p>

怎么封禁AhrefsBot?

如果不需要我們可以屏蔽。它的ip地址還是很多的所以建議用京策盾高防CDN的UA攔截功能

首先在京策盾高防CDN控制臺打開網(wǎng)站列表

在我的網(wǎng)站里,找到被爬取的網(wǎng)站

在網(wǎng)站的安全配置里,點擊自定義規(guī)則

成功使用京策盾高防CDN解決BLEXBot蜘蛛導致服務器高負載和宕機的問題

 

在自定義規(guī)則里匹配項選擇瀏覽器UA,操作符選擇包含,匹配值填寫AhrefsBot,如下圖

成功使用京策盾高防CDN解決BLEXBot蜘蛛導致服務器高負載和宕機的問題

 

規(guī)則添加成功之后,即可在攔截記錄里查看到有大量垃圾蜘蛛被阻斷和攔截

成功使用京策盾高防CDN解決BLEXBot蜘蛛導致服務器高負載和宕機的問題

分享到
上一篇
下一篇

相關推薦

聯(lián)系我們

kakuyunke

復制已復制
4692403復制已復制
kefu#0ka.co復制已復制
微信小程序
kakuyunke復制已復制
關注官方微信,了解最新資訊
contact-img
客服QQ
在線客服