检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch集群迁移方案 迁移场景 迁移工具 适用场景 使用限制 场景示例 华为云Elasticsearch集群间数据迁移 华为云Logstash 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。
描述 数据迁移 通过华为云Logstash实现Elasticsearch集群间数据迁移 华为云Logstash是一款全托管的数据接入处理服务,兼容开源Logstash的能力,支持用于Elasticsearch集群间数据迁移。通过华为云Logstash可以实现华为云Elasticsea
数据查询性能要求低,并且数据需要更新的场景。 超高I/O型 (CPU架构为鲲鹏计算) 本地盘 挂载SSD盘 适用大型日志场景,用于存储热数据。 超高I/O型 (CPU架构为X86计算) 本地盘 挂载SSD盘 适用大型搜索与分析场景,场景对计算或磁盘I/O均有较高要求,例如舆情分析、专利检索、以及部分数据库加速场景。
用户可以使用此处设置的用户名、邮件地址或手机号任意一种方式登录华为云。 当用户忘记密码时,可以通过此处绑定的邮箱或手机自行重置密码,如果用户没有绑定邮箱或手机号码,只能由管理员重置密码。 表1 用户信息 用户信息 说明 用户名 必填。IAM用户登录华为云的用户名,此处以“James”和“Alice”为例。
务发送告警通知。使用OpenDistro告警插件时,Elasticsearch集群需要通过SMN发送通知,这要求进行服务授权配置,服务授权是指允许CSS服务代理使用其他云资源,例如授权使用SMN服务资源,从而使CSS集群能够发送SMN消息通知。有关OpenDistro告警插件的官
切换冷热数据 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。 切换冷热数据和存算分离比,更适用于对搜索性能要求高的场景,冷数据存储在集群本地的冷数
在告警规则列表,搜索“资源类型”为“云搜索服务”,查看是否有满足要求的告警规则。 如果没有,请参考云监控服务CES的创建告警规则和通知,新建CSS服务的告警规则。其中,关键参数请参见表1,其他参数可以根据需求自定义。 表1 告警规则的配置说明 参数 说明 告警类型 选择“指标”。 云产品 选择“云搜索服务”。 资源层级
在告警规则列表,搜索“资源类型”为“云搜索服务”,查看是否有满足要求的告警规则。 如果没有,请参考云监控服务CES的创建告警规则和通知,新建CSS服务的告警规则。其中,关键参数请参见表1,其他参数可以根据需求自定义。 表1 告警规则的配置说明 参数 说明 告警类型 选择“指标”。 云产品 选择“云搜索服务”。 资源层级
isAutoPay 否 Integer 是否自动支付。下单订购后,是否自动从客户的华为云账户中支付,而不需要客户手动去进行支付。该参数适用于包周期集群。 1:是(会自动选择折扣和优惠券进行优惠,然后自动从客户华为云账户中支付),自动支付失败后会生成订单成功(该订单应付金额是优惠后金额)、但
62.179.33:9200”。 默认方式 内网 终端节点IP地址或内网域名 通过配置终端节点实现内网场景下跨VPC访问集群。适用于对性能要求不高的场景。 获取方式: 在云搜索服务管理控制台,单击左侧导航栏的“集群管理”。 在集群管理列表页面,单击需要访问的集群名称,进入集群基本信息页面。
retry.count”:默认重试3次。 “es.batch.write.retry.wait”:每次重试等待时间10s。 如果对查询的实时性级别要求不高的话,可以调整下分片刷新的时间(默认是每秒刷新一次),提高写入速度。 PUT /my_logs { "settings": { "refresh_interval":
定义词库功能。 自定义词库一般用于中文分词,如果用于英文分词,会按照除“#&+-.@_”外的特殊符号进行切分。 词库文件要满足要求,不同词库的词库文件要求请参见表1。 操作账号必须具有配置自定义词库的权限。可以在IAM服务的“权限管理 > 权限”查看是否有以下权限,如果没有请联系服务管理员添加。
定义词库功能。 自定义词库一般用于中文分词,如果用于英文分词,会按照除“#&+-.@_”外的特殊符号进行切分。 词库文件要满足要求,不同词库的词库文件要求请参见表1。 操作账号必须具有配置自定义词库的权限。可以在IAM服务的“权限管理 > 权限”查看是否有以下权限,如果没有请联系服务管理员添加。
62.179.33:9200”。 默认方式 内网 终端节点IP地址或内网域名 通过配置终端节点实现内网场景下跨VPC访问集群。适用于对性能要求不高的场景。 获取方式: 在云搜索服务管理控制台,单击左侧导航栏的“集群管理”。 在集群管理列表页面,单击需要访问的集群名称,进入集群基本信息页面。
安全模式+HTTPS协议的集群 安全模式的集群需要通过安全认证才能访问,且支持对集群进行授权、加密等功能。采用HTTPS协议进行通信加密,使数据更安全。 有非常高的安全要求,且需要公网访问集群的场景。 优点:访问集群需要安全认证,提升了集群安全性,且HTTPS协议的通讯加密可以实现集群公网访问功能。 缺点:通
通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云 通过备份与恢复迁移第三方Elasticsearch集群至华为云 通过读写
出方向和入方向已允许9200端口或允许的端口范围已包含9200端口。 查看ECS实例是否添加安全组。 如果有,检查安全组的配置规则是否满足要求,在集群“基本信息”页面,可以查看“安全组信息”。然后执行步骤4。 如果没有,从ECS的实例详情页面,进入VPC页面,选择“安全组”,添加安全组。
格操作将不会要求每一个索引都有副本,变更过程中可能会影响业务。 当没有Master节点的集群更改节点规格时,如果选择进行索引副本校验,则要求所有索引至少有1个副本,且“节点数量”总和不小于3。 当有Master节点的集群更改节点规格时,如果选择进行索引副本校验,则要求所有索引至少有1个副本。
格操作将不会要求每一个索引都有副本,变更过程中可能会影响业务。 当没有Master节点的集群更改节点规格时,如果选择进行索引副本校验,则要求所有索引至少有1个副本,且“节点数量”总和不小于3。 当有Master节点的集群更改节点规格时,如果选择进行索引副本校验,则要求所有索引至少有1个副本。
步骤4:删除索引:当不再使用对应的索引数据时,可以删除对应索引节约资源。 准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用云搜索服务前检查账号状态,账号不能处于欠费或冻结状态。 如果您还没有华为账号,请参考以下步骤创建。 打开华为云网站。 在页面右上角单击“注册”,根据提示信息完成注册。 勾选服务条款,