今天一個(gè)客戶反映服務(wù)器長期高負(fù)載，有時(shí)候還會宕機(jī)導(dǎo)致數(shù)據(jù)庫停止運(yùn)行。

成功使用京策盾高防CDN解決PanguBot蜘蛛導(dǎo)致服務(wù)器高負(fù)載和宕機(jī)的問題

查看網(wǎng)站日志的時(shí)候，發(fā)現(xiàn)了一個(gè)爬行頻率超高的蜘蛛爬蟲PanguBot ，按照爬蟲官網(wǎng)介紹，該爬蟲是華為某個(gè)AI模型的訓(xùn)練使用，與華為的盤古大模型不同，PanguBot是以啟明星辰自主研發(fā)的盤古人工智能平臺（人工智能安全建模和賦能平臺）作為安全運(yùn)營的AI底座，基于安全運(yùn)營專用語料庫訓(xùn)練的自然語言模型，能夠準(zhǔn)確理解關(guān)于安全運(yùn)營中相關(guān)任務(wù)的各種問題，并運(yùn)用專業(yè)的安全運(yùn)營術(shù)語為用戶解答。

但是作為站長，原創(chuàng)內(nèi)容被AI爬取去訓(xùn)練還是心里不快的。

這樣的蜘蛛爬蟲對于大部分站長來說，也沒有什么作用，而且還占用機(jī)器的帶寬，所以還是應(yīng)該對這個(gè)蜘蛛進(jìn)行禁止。

這樣的蜘蛛爬蟲對于國人來說，也沒有什么作用，而且還占用機(jī)器的帶寬，所以還是應(yīng)該對這個(gè)蜘蛛進(jìn)行禁止。

首先在京策盾高防CDN控制臺打開網(wǎng)站列表

在我的網(wǎng)站里，找到被爬取的網(wǎng)站

在網(wǎng)站的安全配置里，點(diǎn)擊自定義規(guī)則

在自定義規(guī)則里匹配項(xiàng)選擇瀏覽器UA，操作符選擇包含，匹配值填寫PanguBot，如下圖

規(guī)則添加成功之后，即可在攔截記錄里查看到有大量垃圾蜘蛛被阻斷和攔截

京策盾高防CDN或者京策盾高防IP產(chǎn)品

京策盾高防CDN：http://www.konqn.cn/guoneigaofangcdn

京策盾高防IP：http://www.konqn.cn/guoneigaofangip