通过NGLNX屏蔽恶意爬虫较全面方法

以宝塔为例，直接进入宝塔面板，然后选择网站-对应网站设置- 复制到 配置文件 当中，然后重启nginx即可生效。
如果是脚本版，找nginx.conf配置文件添加也可以。

屏蔽非常见蜘蛛（爬虫）代码在下面
如果经常分析网站日志你会发现，一些奇怪的UA总是频繁的来访问网站，而这些UA对网站收录毫无意义，反而增加服务器压力，可以直接将其屏蔽。

防止文件被下载 代码在下面
比如将网站数据库导出到站点根目录进行备份，很有可能也会被别人下载，从而导致数据丢失的风险。以下规则可以防止一些常规的文件被下载，可根据实际情况增减。

禁止某个目录执行脚本 代码在下面
比如网站上传目录，通常存放的都是静态文件，如果因程序验证不严谨被上传木马程序，导致网站被黑。以下规则请根据自身情况改为您自己的目录，需要禁止的脚本后缀也可以自行添加。

屏蔽非常见蜘蛛（爬虫）

if ($http_user_agent ~ "Neevabot|TTD-Content|FeedDemon|ThinkBot|MTRobot|SMTBot|LieBaoFast|Punkspider|MauiBot|Barkrowler|MegaIndex.ru|JikeSpider|TkBot|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|SemrushBot|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|bsalsa|DotBot|DataXu|Daum|BLEXBot|Scrapy|PetalBot|proximic|GrapeshotCrawler|Mail.RU_Bot|Nimbostratus-Bot|ias-|AdsTxtCrawler|SeznamBot|evc-batch|AspiegelBot|Re-re Studio|^$" )
{
  return 403;
}

防止文件被下载

location ~ .(zip|rar|sql|bak|gz|7z)$ {
  return 444;}

禁止某个目录执行脚本

yjok#uploads|templets|data 这些目录禁止执行
PHPlocation ~* ^/(uploads|templets|data)/.*.(php|php5)$ {
    return 444;}