我的服务器老是宕机，2核2G的刚开始也不卡啊，用久了后老是被爬虫爬到宕机。
发现facebook的爬虫、GPTBOT、AmazonBot这些国外的爬虫，根本不遵守robots.txt协议。
之前是用istable防火墙拉黑的，但是拉黑了又换IP来了，大公司就是IP多，也没办法天天盯着手动拉黑。
看到首晒网教的用Fail2ban自动拉黑高频访问的IP，比如那种5分钟内来30次的直接拉黑，防止误伤搜索引擎蜘蛛，还能设置3～6小时后放出来。
宝塔面板很简单，没有面板的也能安装，都有教程:https://www.shoushai.com/p/1829
