花了半天重构和整理了一只python爬虫splider2019.py

花了半天重构和整理了一只python爬虫splider2019.py

简单实用的python爬虫脚本,支持下图,数据清洗过滤,存储入库 Mysql,Api post应用场景:crontab 定时监控的抓取某个列表实时的更新,然后发布或保存目前功能点1.下载图片本地化2.数据MYSQL入库3.数据过滤清洗4.采集字段灵活定义 存储表根据爬中字段创建MYSQL字段,也可直接应用于生产环境的数据库,根据生产库设置爬虫字段通过计划任务每3分钟调用脚本以达到实时与采集目...

python技术开发资料 2019-07-27 PM 117次 0条
python递归无限多级子目录批量修改图片文件MD5

python递归无限多级子目录批量修改图片文件MD5

#!/bin/python #coding:utf-8 import os def changemd5(filename): myfile = open(filename,'a') myfile.write("1") myfile.close def getlist(floder): #如果是文件直接修改MD5 if os.pat...

python技术开发资料 2019-07-19 PM 127次 0条
python2.7.16安装及pip

python2.7.16安装及pip

安装之前,是否需要把原python备一下,让yum继续使用 mv /usr/bin/python /usr/bin/python2.6 vi /usr/bin/yum #把第一行 #"#!/usr/bin/python" 改为 "#!/usr/bin/python2.6"即可 yum install libbz2 readline-devel sql...

linux服务器部署管理,python技术开发资料 2019-03-11 PM 303次 0条
The 'pip==7.1.0' distribution was not found and is required by the application 解决方案

The 'pip==7.1.0' distribution was not found and is required by the application 解决方案

环境:python2.7,pip 1.5.4pip install aliyun-python-sdk-core==2.3.5 aliyun-python-sdk-rds datetime #报错 The 'pip==7.1.0' distribution was not found and is required by the application https://files.pyth...

python技术开发资料 2018-11-24 AM 633次 0条
python selenium+PhantomJS获取js渲染的内容

python selenium+PhantomJS获取js渲染的内容

pip install selenium脚本#!/usr/bin/python from selenium import webdriver browser = webdriver.PhantomJS() browser.get("http://www.site-digger.com/html/articles/20110516/proxieslist.html") tr...

python技术开发资料,技术技巧分享 2018-11-18 PM 638次 0条
linux检查一个进程是否在运行以及运行了多少秒

linux检查一个进程是否在运行以及运行了多少秒

应用场景:linux上经常有一些定时任务的脚本,而且 有些不允许多个同时 运行,必须等上一个结束。但有时候,会有进程假死。

linux服务器部署管理,python技术开发资料 2018-11-13 PM 457次 0条
python封装mysql数据库操作类

python封装mysql数据库操作类

#/usr/bin/python #coding:utf-8 import MySQLdb import sys import re reload(sys) sys.setdefaultencoding('utf-8')

python技术开发资料 2018-08-21 PM 252次 0条
python判断一个进程是否存在的函数

python判断一个进程是否存在的函数

应用场景:一些定时任务脚本,要求不能多个同时运行,当下一下定时时间到来,当前脚本没有运行完成,就可能重复。def is_runing(process_name): try: process = len(os.popen('ps aux | grep "' + process_name + '" | grep -v grep'...

python技术开发资料 2018-08-01 AM 200次 0条
python把\u开头编码转汉字

python把\u开头编码转汉字

#!/usr/python str = '\u6211' print(str.encode('utf-8').decode('unicode_escape'))

python技术开发资料 2018-07-09 AM 169次 0条
基于python2.7 paramiko的远程ssh登录与命令执行

基于python2.7 paramiko的远程ssh登录与命令执行

安装部署 paramikopip install paramiko这个安装方法获得的版本没有执行成功,通过pip uninstall paramiko干掉重新下载安装pip install pycrypto yum install libffi-devel pip install enum pip install ipaddress #https://pypi.org/project...

python技术开发资料 2018-05-04 PM 234次 0条