检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
于等于所选的AZ数量,否则跨可用区部署会失败。 部署跨AZ集群时,任意类型的节点都会被均匀的分布在不同的AZ上,满足各个AZ之间节点数量的差小于等于1。 当集群中数据节点和冷数据节点的数量和可用区的数量不是整数倍关系时,集群的数据会分布可能会不均匀,从而影响数据查询或写入业务。 表1
”,可能是插件不兼容导致集群不可用。 如果集群的健康状态为红色和且“unassigned shards”不为0,表示集群存在无法分配的索引分片,是分片未正常分配导致集群不可用。 如果集群进行备份恢复或集群迁移操作后,出现的不可用现象,可能是数据类型不兼容导致集群不可用。 如果集群节点的日志内容存在报错“O
6.2及以上的版本,集群内通信端口9300默认开放在用户VPC的子网上。集群所选安全组需要放通子网内的9300通信端口才能保证节点之间通信。 处理步骤 在集群管理页面,单击不可用的集群名称,进入集群基本信息页面。 单击“配置信息”中的安全组名称,进入当前集群所选安全组的基本信息页面。
创建一个按需收费的Elasticsearch集群 本节通过调用云搜索服务的API创建CSS服务集群,CSS的接口调用流程如图1所示。 图1 接口调用流程 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API
在更改集群规格页面,设置缩容参数。 表1 缩容随机节点 参数 说明 变更类型 选择“缩容”。 变更的资源 显示本次缩容的资源变化量。 配置委托 删除节点会释放网卡,需要VPC的操作权限。选择IAM委托,授权当前账号访问和使用VPC的权限。 仅对接了IAM新平面时才显示该参数。 当首次配置委托时,可以单击“
连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。 本文通过MRS的ES-Hadoop与CSS集群连接作为示例,您可以配置其他任何需要使用ES集群的应用。如有需
0/s 表3 返回信息的参数说明 参数 说明 index 索引名称。 begin 查看监控数据的起始时间。 end 查看监控数据的结束时间。 status 查询监控时间间隔内的索引状态。 pri 查询监控时间间隔内的索引的shard数量。 rep 查询监控时间间隔内的索引副本数量。 init
_cat/indices?v 当待导入数据的集群已存在可用的索引时,则不需要再创建索引,直接执行步骤7。 当待导入数据的集群不存在可用的索引时,则需要执行下一步创建索引。 在OpenSearch Dashboards执行命令,创建待导入数据的索引,并指定自定义映射来定义数据类型。
在更改集群规格页面,设置扩容参数。 表3 扩容节点数量和节点存储容量 参数 说明 变更类型 选择“扩容”。 变更的资源 显示本次扩容的资源变化量。 变更的角色 在“节点数量”列和“节点存储”列增加节点数量和节点存储容量。支持多种节点类型同时变更。 节点数量的取值范围请参见表2。 节点存储容量的取值范围由“节点规格”决定,且只支持配置为20的倍数。
在更改集群规格页面,设置扩容参数。 表3 扩容节点数量和节点存储容量 参数 说明 变更类型 选择“扩容”。 变更的资源 显示本次扩容的资源变化量。 变更的角色 在“节点数量”列和“节点存储”列增加节点数量和节点存储容量。支持多种节点类型同时变更。 节点数量的取值范围请参见表2。 节点存储容量的取值范围由“节点规格”决定,且只支持配置为20的倍数。
compatibility。 目标集群的节点数要大于源集群的节点数的一半,且不能小于源集群的shard副本数。 目标集群的CPU、MEM和Disk配置不能低于源集群的配置。 迁移时长 迁移过程的耗时长短依赖于源集群和目标集群的节点个数或索引shard个数。迁移过程分为备份阶段和恢复阶段,备份阶段耗
如果要在其他已创建好的集群上恢复被删集群的数据,也需要将已创建好的集群快照的“OBS桶”和“备份路径”参数配置为被删除集群存放快照信息的OBS桶和路径。 单击快照“操作”列的“恢复”,弹出“恢复”页面。 图1 选择恢复快照 在“恢复”页面配置集群的恢复参数。 表1 恢复配置 参数 说明 索引 指定需要进行恢复的索引名
且可以指定恢复到特定的集群状态。 性能影响 使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案避免了对Elasticsearch外部读写接口的依赖,从而显著降低了对源集群性能的影响。对于对业务延迟要求不严苛的集群而言,此方法对性能的干扰几乎可以忽略。 约束限制
32:9200”;当集群有多个节点时,此处显示所有节点的IP地址和端口号,例如“10.62.179.32:9200,10.62.179.33:9200”。 登录即将接入集群的弹性云服务器ECS。 弹性云服务器的使用指导请参见快速购买和使用Linux ECS。 将JSON数据文件上传至ECS。 例如,将如下
stash集群的节点数量可以增加系统的容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务
约束与限制 您能创建的CSS集群数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见服务配额。 更详细的限制请参见具体API说明。 终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 基本概念
通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。 图1 切换冷热数据原理 在创建集群时,启用的冷数据节点会被打上“cold”标签,用来存放
在终端节点服务页面下,显示所有连接当前集群的终端节点。此处可以获取终端节点的“服务地址”和“内网域名”。 图2 管理终端节点 单击操作列的“接受”或者“拒绝”可以修改节点的“状态”。如果对某个终端节点“拒绝”操作之后,其生成的内网域名将不能再访问到当前集群。 通过节点IP地址或内网域名访问集群 获取集群的内网域名或者节点IP地址。
在终端节点服务页面下,显示所有连接当前集群的终端节点。此处可以获取终端节点的“服务地址”和“内网域名”。 图2 管理终端节点 单击操作列的“接受”或者“拒绝”可以修改节点的“状态”。如果对某个终端节点“拒绝”操作之后,其生成的内网域名将不能再访问到当前集群。 通过节点IP地址或内网域名访问集群 获取集群的内网域名或者节点IP地址。
他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。当此集群正在进行创建快照或者恢复快照过程中,同时的自动创建快照任务将被取消。 快照在恢复过程中不可查询集群数据。 当两个集群的shard不一样时,则无法恢复集群数据。 用于恢复的目标集