AhrefsBot是什么?
AhrefsBot是一個國外的搜索引擎蜘蛛。不過對你的網(wǎng)站來說除了浪費資源外,沒有任何好處。簡單說,AhrefsBot是一個營銷網(wǎng)站的爬取蜘蛛,負責分析你網(wǎng)站的鏈接信息,這個工具對于國內(nèi)用戶來說,沒有用。
所以,可以禁止AhrefsBot對你網(wǎng)站,甚至是整個服務器的訪問
詳細的介紹你可以查看他們官網(wǎng)的英文解釋。https://ahrefs.com/robot? 該網(wǎng)站是一個國外的但是有中文版,打開中文版顯示如上圖。其介紹為“增加您的搜索流量的工具,研究您的競爭對手并監(jiān)控您的利基市場。Ahrefs會幫助你去研究為什么你的競爭對手排名這么高,以及你需要采取什么行動來超越他們?!彼詰撁靼姿亲鍪裁吹牧税伞?/p>
怎么封禁AhrefsBot?
如果不需要我們可以屏蔽。它的ip地址還是很多的所以建議用京策盾高防CDN的UA攔截功能
首先在京策盾高防CDN控制臺打開網(wǎng)站列表
在我的網(wǎng)站里,找到被爬取的網(wǎng)站
在網(wǎng)站的安全配置里,點擊自定義規(guī)則
在自定義規(guī)則里匹配項選擇瀏覽器UA,操作符選擇包含,匹配值填寫AhrefsBot,如下圖
規(guī)則添加成功之后,即可在攔截記錄里查看到有大量垃圾蜘蛛被阻斷和攔截