基于http-x-forward的nginx并发限制与拦截屏蔽

网站经常被扫描工具，列表爬虫，导致服务器性能开销很大，有些恶意的刷网站，经常导致服务器负载过高。
因为使用了CDN加速，以前基于IP地址的频率限制，拦截，防火墙拦截都无效了。
必须使用基于http-x-forward这类CDN转发过的原始IP字段做工作才行。

（1）基于日志分析做拦截

filename=/home/public_html/logs/xxxx_`date '+%Y_%m_%d'`_access.log
echo $filename
iplist=`cat $filename |grep -v mytest.php | awk -F '"' '{print $4}' | sort | uniq -c | sort -nr -k1 |  awk '{if ($1>30)print $2}'`
echo "" > /usr/local/nginx/conf/block_tmp.conf
for ip in $iplist
do
    if [ $ip != "-" -a $ip != "127.0.0.1" ]
    then
           echo 'if ($http_x_forwarded_for = '$ip'){ return 504; }' >> /usr/local/nginx/conf/block_tmp.conf
    fi
done
cat /usr/local/nginx/conf/block_tmp.conf > /usr/local/nginx/conf/block.conf
service nginx reload

#（1.1）日志格式
log_format  access '$http_host $remote_addr [$time_local] $request $status $body_bytes_sent $http_referer "$http_user_agent" "$http_x_forwarded_for" $upstream_response_time';

#技术点：
 $ip != "-" ，是因为通过DNS让蜘蛛直接解析到服务器，所以http_x_forwarded_for一定是空的，刚好区分出用户与蜘蛛，避免拦截了蜘蛛。

#然后在server中include  /usr/local/nginx/conf/block.conf即可。

（2）基于http_x_forwarded_for频率限制

#http段 
limit_req_zone  $http_x_forwarded_for zone=req_xf:16m rate=3r/s;
#server段
limit_req zone=req_xf burst=1 nodelay;

#同样，因为通过DNS让蜘蛛直接解析到服务器，http_x_forwarded_for 为空不会受频次限制。