Articles under the label of elasticsearch

默认分类,python

dxc1228.gif

使用python多线程,运行时自定义线程数,自动计算每个线程处理的数据量,连接mysql读取数据,处理成需要的字段入到elasticsearch。运行效果图:10个线程 运行会在这里实时刷新,方便查看每个线程处理到的id数:[root@localhost shw]# python put_album.py {"0": "2105success ", "1": "196723success ", "2": "392557null", "3": &q...

- Read More -
linux

最近总是迁移docker,在不同的vps换来换去,也再一次敲打自己,还是有很多的VPS商家不靠谱的。这次把docker从某不靠谱VPS上迁移到自己的便宜百度云上,发生了由于配置低而导致docker跑不起来的情况。现像为 docker start es 之后 再docker ps -a 一看,已经停止了。通过docker logs es 看到OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the ...

- Read More -
linux

estest.png

yum install -y wget vim #查看当前的源网址 cat /etc/yum.repos.d/CentOS-Base.repo #换成阿里的 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo #清除缓存 yum clean all #生成缓存 yum makecache yum install d...

- Read More -
linux

#内存锁定 config下 vim elasticsearch.yml bootstrap.memory_lock: true #bin下 #最大内存占用 vim elasticsearch export ES_HEAP_SIZE=6g #以下配置esuser是运行es的用户 vim /etc/security/limits.conf esuser soft memlock unlimited esuser hard memlock unlimited vim /etc/sysctl.conf vm.swappiness=0

- Read More -
nginx

wanmei.jpg

elastic就不多介绍了,一句话,牛逼的数据搜索中间件。以下内容已经过时,太混乱了,重新整理于 https://www.isres.com/linux/117.html安装jdk ,但只能是 9.0https://blog.pucipuci.cn/post/59.htmlwget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.2.tar.gz tar -zxvf elasticsearch-6.1.2.tar.gz mv elasticsearch-6.1.2 /usr/local/ #移动...

- Read More -
linux,python

以下内容已过时,请参考最新博客文章 python使用多线程快速把大量mysql数据导入elasticsearch以下内容已过时,请参考以上最新博客文章 1.基于网络http post#!/usr/bin/python #coding:utf-8 import urllib2 import MySQLdb import threading import sys import re import os from elasticsearch import Elasticsearch reload(sys) sys.setdefaultencoding('utf-8') ----------...

- Read More -
linux

以下内容已经过时,重新整理于 https://www.isres.com/linux/117.html由于一些原因,首次使用elasticsearch竟然是在windows上,以下是windows下的一个记录。https://www.elastic.co/downloads/past-releases/elasticsearch-2-3-4放C盘 解压缩安装成服务(删除服务的命令是sc delete 服务名称)C:\Windows\system32>cd c:\ c:\>cd elasticsearch-2.3.4\bin c:\elasticsearch-2.3.4\b...

- Read More -
This is just a placeholder img.