php获取今天是某年某周(跨年的情况下),php运行dns反向查找判断ip是否蜘蛛

php获取今天是某年某周(跨年的情况下),php运行dns反向查找判断ip是否蜘蛛

之前用 date('Y.W',time())获取某天是几几年第几周,发现跨年的时候,会有问题。比如2019-12-30变成了2019年第52周。而我的java %{+xxxx.ww} 获得是的2020年第1周,导致我对不上数据,后来查资料之下发现pph使用 date('o.W',time()) 即可对于跨年获得下一年的年周 即2020年第1周。一个php ip反向查找的函数,一般要准确判断某个ip是不是蜘蛛,只能反向查找最准确。$dnsr = gethostbyaddr('123.125.71.111'); print_r($dnsr); 效果baiduspider-123-125-71...

php,技巧 2019-12-30 AM 657℃ 0条
python使用多线程快速把大量mysql数据导入elasticsearch

python使用多线程快速把大量mysql数据导入elasticsearch

使用python多线程,运行时自定义线程数,自动计算每个线程处理的数据量,连接mysql读取数据,处理成需要的字段入到elasticsearch。运行效果图:10个线程 运行会在这里实时刷新,方便查看每个线程处理到的id数:[root@localhost shw]# python put_album.py {"0": "2105success ", "1": "196723success ", "2": "392557null", "3": &q...

默认分类,python 2019-12-28 PM 858℃ 0条
不关闭selinux解决mysql修改端口无法启动的问题

不关闭selinux解决mysql修改端口无法启动的问题

centos7,修改mysql端口,竟然无法启动了,错误日志2019-12-27 22:40:07 30068 [ERROR] Can't start server: Bind on TCP/IP port: Permission denied2019-12-27 22:40:07 30068 [ERROR] Do you already have another mysqld server running on port: 3308不用想就知道是安全限制,百度的资料全是说关闭selinux。这自然不是想要的答案,爬了下梯子搜索,解决方法如下semanage port -a -t mys...

mysql 2019-12-27 PM 553℃ 0条
logstash 按周创建Elasticsearch索引

logstash 按周创建Elasticsearch索引

最近做了一个日志收集中心,按月创建的Elasticsearch索引名称,index => "nginx-%{beat[hostname]}-access-%{+YYYY.MM}" 还没到月底,日志6千多万行,服务器顶不住了。于是决定按周创建Elasticsearch索引,在某度半天没找到,只好爬出去找。总算找到了logstash 按周创建Elasticsearch索引的方式。index => "nginx-%{beat[hostname]}-access-%{+YYYY.MM}-%{+xxxx.ww}" 结果如下 %{+xxxx.ww}...

技巧 2019-12-21 AM 1158℃ 0条
pyspider实际应用学习第一天,用来做http监控简直太合适了

pyspider实际应用学习第一天,用来做http监控简直太合适了

手写了不少python脚本采集,见识到了多任务情况下管理的麻烦,重复造轮子,调试等各种使生产变得低效的问题。今天想静下心来当一个初学者,好好学习爬虫工具,pyspider。边学习边参考 https://www.cntofu.com/book/156/api/api1.md 上的教程,花了一个小时学完全本。学完不等于掌握,学完只是知道这本书有什么内容,下次有疑问可以回来参考。说下学习心得。1、采集数据变得方便多了,css选择器优先推荐,点点鼠标完成采集高效,正则做辅助了弥补,支持js渲染的采集,支持设置采集某个url使用代码。2、response对象,当我读完这章之后,发现我们折腾很久的h...

python 2019-12-20 PM 529℃ 0条
https自颁发证书一键生成

https自颁发证书一键生成

主要是自颁发证书,一般用于测试或内部使用,用于公网使用会被浏览器阻止提醒。https证书一键生成脚本httpsmake.sh#!/bin/sh # create self-signed server certificate: read -p "Enter your domain [www.example.com]: " DOMAIN echo "Create server key..." openssl genrsa -des3 -out $DOMAIN.key 1024 echo "Create server certificate s...

一键脚本 2019-12-16 AM 675℃ 0条
用winSCP代替goodsync

用winSCP代替goodsync

最近经常用goodsync的sftp来做上传和部署,无奈找不到免费的版本,半月后就用不了了。于是决定好好研究下winscp这个sftp上传工具的功能,不相信它就是一个简单的上传而以。经过简单的看看菜单功能,果然GET到了新工具。1、监视本地目录 实时 上传到远程的功能这个功能的在我这的应用场景是,我本地是没有测试环境的,统一测试环境在局域网的服务器上。我实时修改实时上传挺好。2、同步功能,以及对比文件变更的细节,通过对比文件修改时间,进行目录的同步。这个就是和实时修改相反,大量更新后一次部署。当然goodsync的优点更多,如果有获取免费的渠道还是值得用的。

技巧 2019-12-11 PM 605℃ 0条
cp -rf 依旧提示覆盖要输入y的处理方式

cp -rf 依旧提示覆盖要输入y的处理方式

使用 unalias cp 临时取消别名,下次重启会失效。[root@localhost]# cp -r -f public/static/admin ../yunwei/public/static/ cp: overwrite `../yunwei/public/static/admin/ico/apple-touch-icon-144-precomposed.png'? ^C [root@localhost]# [root@localhost]# unalias cp [root@localhost]# cp -rf public/static/admin ../yunwei/pu...

linux,技巧 2019-12-04 AM 696℃ 0条
基于mysql-proxy的数据脱敏、虚拟用户、sql请求日志记录及审计的解决方案

基于mysql-proxy的数据脱敏、虚拟用户、sql请求日志记录及审计的解决方案

应用场景:1、数据库安全审计定义为 禁止某些命令 比如 drop mysqldump outfile intofile 这些平时正常程序用不到的指令。2、数据库安全则定义为 虚拟用户,所有应用程序都使用虚拟用户连接数据库,提升数据库安全。3、对查询出来的结果集进行正则替换,把敏感数据脱敏处理,比如身份证、手机号、邮箱、电话等4、数据库安全还有就是过滤处理查询请求的SQL,修改后再发送查询,对SQL查询做用户的日志记录。如图,所有手机号的中间4位都被隐藏为#号再显示出来。中间件名称 mysql-proxy ,基于lua实现对 连接认证 SQL请求处理 结果集返回处理的相关配置结构/etc/...

数据库,mysql 2019-11-28 PM 863℃ 0条
if (!-e $request_filename)生效的前提

if (!-e $request_filename)生效的前提

if (!-e $request_filename) 是判断文件是否存在,如果不存在就进行rewrite重写。网上大多数配置方式,这里都变成了无条件重写,曾经自己也坑在这里,甚至用了奇葩的方式去临时处理。指定某些后缀名的不做rewrite重写,类似如下。rewrite ^/(?!.jpg)(?!.php)(?!.css)(?!.js)(?!upload)(.*)$ /index.php/$1 last; 也曾怀疑和搜索为什么文件明明存在,还要被重写。原因是 if (!-e $request_filename) 和 root要在一个配置层级,如果在location /{}里的root写...

nginx 2019-11-28 AM 5005℃ 0条
linux设置使用代理、jvm设置使用代理、linux信任证书、jvm信任证书

linux设置使用代理、jvm设置使用代理、linux信任证书、jvm信任证书

linux设置系统使用代理、vi /etc/profile export http_proxy="http://192.168.1.141:8888" export https_proxy="http://192.168.1.141:8888" source /etc/profile java jvm设置使用代理修改应用程序catalina.sh文件增加一个启动参数JAVA_OPTS="$JAVA_OPTS -Dhttp.proxyHost=192.168.1.141 -Dhttp.proxyPort=8888 -Dhttps.proxy...

linux,技巧 2019-11-25 PM 925℃ 0条
nginx搭建http https上网代理服务器

nginx搭建http https上网代理服务器

软件在常规安装nginx基本上,需要增加一个proxy_connect_connectwget https://github.com/chobits/ngx_http_proxy_connect_module/archive/master.zip -O ngx_http_proxy_connect_module.zip unzip ngx_http_proxy_connect_module.zip #https://github.com/chobits/ngx_http_proxy_connect_module 版本对应 #当前nginx 1.15.5 patch -p1 < /t...

linux,技巧 2019-11-23 PM 566℃ 0条