博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……
阅读量:6641 次
发布时间:2019-06-25

本文共 841 字,大约阅读时间需要 2 分钟。

运维攻城狮

作为最优(ku)秀(bi)的职业

若是没有些方法技巧

那是极可能需要牺牲些个人时间

图片描述

对此,本萌我

不能视而不见,见而不救啊!

比如,ES集群里的数据越来越大,

日增500G日志数据,

日志数量太多怎么办?

来来来,掌声有请

图片描述

帮你做一波扩容,让你走上人生巅峰!

图片描述

图片描述

01节点信息

目前集群中的节点信息如下:

图片描述

新增数据节点规格:

图片描述

新增master节点规格:

图片描述

02扩容思路

1、将master从集群中分离出来

2、重启节点时给集群中老节点标记一个tag:old
3、将所有索引设置只分配到带有old标签的节点
4、将不怎么使用的索引close
5、将新增的data节点加入到集群中,并设置新的tag:new
6、修改索引template,新建的索引设置新建到tag为new的节点上。
7、在业务低峰期分批将之前在old节点上的索引迁移到new节点上。

03实践步骤

1、分离master节点

查看当前master节点:

图片描述

查看集群中的所有索引,暂时关闭一批历史不需要搜索使用的索引   

ps:主要是需要重启节点,open的索引越少,集群恢复的越快!

图片描述

关闭集群reroute:

图片描述

分别修改集群中node001~node006的配置文件,滚动重启:

图片描述

配置好新的master节点es010、es011、es012

图片描述

节点状态:

图片描述

查看个节点tag:

图片描述

重启node005,将集群master转移到专属节点。

图片描述

至此,master节点已经从原有集群中分离,并且集群节点也都已做了标记tag。

2、修改索引的配置

确保当前集群中的索引只分配到当前标记为old的数据节点,不会分配到新增的数据节点。

图片描述

3、配置新数据节点

图片描述

4、打开集群分配,并分批将数据迁移

图片描述

完成以上四步就可以完成整个数据迁移了

图片描述

“ElasticSearch运维技术”了解一下

课件PPT+讲师答疑+沙龙直播

学习ElasticSearch在

袋鼠云、阿里、滴滴、有赞的实践应用成果;

学习ElasticSearch的

开发思路和性能优化策略!

转载地址:http://uxovo.baihongyu.com/

你可能感兴趣的文章
【单机实现系列】SCDPM2012实现数据保护
查看>>
报表服务入门(实验8)部署报表
查看>>
在Bat批处理中调用Powershell脚本
查看>>
搜索正在移动社交化
查看>>
SFB 项目经验-36-分配公网证书 For SFB 2015-前端服务器(图解)
查看>>
2015前半年热门营销渠道解析
查看>>
任正非签发百万年终奖,荣耀值得如此“厚待”?
查看>>
学习C语言,困难吗?
查看>>
【震惊】百度推广网站被植入广告?这是善意还是恶意的?
查看>>
当存储无可用空间时无法启动虚拟机
查看>>
extern “C”总结
查看>>
获取用户id
查看>>
silverlight:telerik RadControls中RadGridView的一个Bug及解决办法
查看>>
ProgressForm
查看>>
管理之困:居高不下的流动率
查看>>
WPF之ComboBox的VisualTreeHelper
查看>>
spring开发_Spring+Hibernate_HibernateDaoSupport
查看>>
svn 客户端批量备份数据(图+文)
查看>>
GraphicsMagick的安装以及使用
查看>>
SQL中IN,NOT IN,EXISTS,NOT EXISTS的用法和差别
查看>>