python使用多线程快速把大量mysql数据导入elasticsearch

python使用多线程快速把大量mysql数据导入elasticsearch

使用python多线程,运行时自定义线程数,自动计算每个线程处理的数据量,连接mysql读取数据,处理成需要的字段入到elasticsearch。运行效果图:10个线程 运行会在这里实时刷新,方便查看每个线程处理到的id数:[root@localhost shw]# python put_album.py {"0": "2105success ",...

默认分类,python 2019-12-28 PM 436次 0条
一次docker elasticsearch启动就Exited的排查

一次docker elasticsearch启动就Exited的排查

最近总是迁移docker,在不同的vps换来换去,也再一次敲打自己,还是有很多的VPS商家不靠谱的。这次把docker从某不靠谱VPS上迁移到自己的便宜百度云上,发生了由于配置低而导致docker跑不起来的情况。现像为 docker start es 之后 再docker ps -a 一看,已经停止了。通过docker logs es 看到OpenJDK 64-Bit Server VM w...

linux 2019-10-07 PM 738次 0条
centos7 基于docker下的elasticsearch快速部署

centos7 基于docker下的elasticsearch快速部署

yum install -y wget vim #查看当前的源网址 cat /etc/yum.repos.d/CentOS-Base.repo #换成阿里的 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak wget -O /etc/yum.repos.d/CentOS-Base.repo h...

linux 2019-09-16 AM 616次 0条
elasticsearch-6.1.2环境配置调整(20180829)

elasticsearch-6.1.2环境配置调整(20180829)

#内存锁定 config下 vim elasticsearch.yml bootstrap.memory_lock: true #bin下 #最大内存占用 vim elasticsearch export ES_HEAP_SIZE=6g #以下配置esuser是运行es的用户 vim /etc/security/limits.conf esuser soft memlock unlimi...

linux 2018-08-29 AM 452次 0条
elasticsearch-6.1.2 linux安装部署指定非root运行

elasticsearch-6.1.2 linux安装部署指定非root运行

之前的记录有点混乱 ,今天有这个需求刚好重装安装配置下 。

linux 2018-07-30 PM 694次 0条
Elasticsearch php curl操作类,python创建索引函数

Elasticsearch php curl操作类,python创建索引函数

感觉elasticsearch 的 phpclient 没有自己写的curl快,因此封装curl类。<?php /** * Created by PhpStorm. * User: shw * Date: 2017/12/28 * Time: 10:37 */ class Elasticsearch{ private $host = "192.168.0.1...

linux,python,php 2018-02-28 PM 598次 0条
Composer -- PHP依赖管理的用法 --安装Elasticsearch php客户端

Composer -- PHP依赖管理的用法 --安装Elasticsearch php客户端

Composer -- PHP依赖管理的用法安装es的php客户端autoloadcomposer的安装ln -s /usr/local/php/etc/bin/php /usr/bin/php curl -sS https://getcomposer.org/installer | php cp composer.phar /usr/bin/composer #就能直全局接用 compos...

php 2018-02-25 AM 849次 0条
elastic,xpack,kibana的linux部署与测试

elastic,xpack,kibana的linux部署与测试

elastic就不多介绍了,一句话,牛逼的数据搜索中间件。以下内容已经过时,太混乱了,重新整理于 https://www.isres.com/linux/117.html安装jdk ,但只能是 9.0https://blog.pucipuci.cn/post/59.htmlwget https://artifacts.elastic.co/downloads/elasticsearch/el...

nginx 2018-01-22 PM 673次 0条
python多线程post和插件创建Elasticsearch索引

python多线程post和插件创建Elasticsearch索引

以下内容已过时,请参考最新博客文章 python使用多线程快速把大量mysql数据导入elasticsearch以下内容已过时,请参考以上最新博客文章 1.基于网络http post#!/usr/bin/python #coding:utf-8 import urllib2 import MySQLdb import threading import sys import re import...

linux,python 2017-12-23 PM 581次 0条
elasticsearch安装部署记录

elasticsearch安装部署记录

以下内容已经过时,重新整理于 https://www.isres.com/linux/117.html由于一些原因,首次使用elasticsearch竟然是在windows上,以下是windows下的一个记录。https://www.elastic.co/downloads/past-releases/elasticsearch-2-3-4放C盘 解压缩安装成服务(删除服务的命令是sc de...

linux 2017-12-23 PM 703次 0条