检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查当前时刻集群的健康状态,其中red表示有主分片未分配,yellow表示有副分片未分配,green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数,判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本,未设置副本的索引在节点发生故障后可能导致索引不可
管道参数说明 参数 说明 pipeline.workers 并行执行管道的Filters和Outputs阶段的工作线程数。 取值范围:1~20 默认值:CPU核数 pipeline.batch.size 单个工作线程在尝试执行其Filters和Outputs之前将从inputs收
下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和 数据备份 系统检查 升级前要做好数据备份,防止升级
下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和 数据备份 系统检查 升级前要做好数据备份,防止升级
total_shards_per_node”的值 = index_name索引分片数 / (数据节点个数 - 1) 参数值应设置稍微大一些,假设集群有10个节点,其中5个数据节点,2个client节点,3个master节点,有个索引的分片数为30,如果将total_shards_per_node值设为
查看Logstash集群审计日志 通过云审计服务,您可以记录与云搜索服务相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
配置Elasticsearch集群存算分离 流量控制2.0 流量控制2.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制,基于节点内存的客户端写入流量反压控制,一键断流能力。同时也提供节点访问IP统计和URL的统计能力。开启客户端写入流量反压控
//指定index分配的shard数,可以根据一个shard 30GB左右的空间来分配 "routing.allocation.total_shards_per_node": 3 //指定一个节点最多容纳的shards数 } },
基于Elasticsearch的数据查询流程分析,有以下几种性能优化方案。 表1 查询性能优化 优化方案 方案说明 通过routing减少检索扫描的分片数 在数据入库时指定routing值,将数据路由到某个特定的分片,查询时通过该routing值将请求转发到某个特定的分片,而不是相关索引的所有分片,进而提升集群整体的吞吐能力。
at采集ECS中的日志,发送到Logstash进行数据处理,再存储到Elasticsearch中,最后通过Kibana进行日志的可视化查询与分析。该方案可以用于以下场景: 日志管理:集中管理应用程序和系统日志,快速定位问题。 安全监控:检测和响应安全威胁,进行入侵检测和异常行为分析。
"type": "text" } } } } 表1 参数说明 参数 说明 number_of_shards 索引分片数 number_of_replicas 索引分片副本数 index.plugins.index_state_management.policy_id
关键参数请参见表1和表2,其他参数可以根据需求自定义。 表1 告警规则的配置说明(集群和集群节点) 参数 说明 告警类型 选择“指标”。 云产品 选择“云搜索服务”。 资源层级 选择“子维度”,右侧根据实际需求选择子维度。 “CSS集群”:以集群维度指定告警规则。 “CSS集群 -
集群设置的存储容量。 集群存储使用量(GB) 集群已使用的存储容量。 配置信息 区域 集群所在区域。 可用区 集群所在的可用区。 虚拟私有云 集群所属的虚拟私有云。 子网 集群所属的子网。 安全组 集群所属的安全组。 单击右侧的“更改安全组”可以修改集群的安全组信息。 须知: 进行安全组切
监控信息”查看监控指标,在集群监控信息页面查看集群的“Search队列中总排队任务数”和“Write队列中总排队任务数”,如果排队任务数值非0表示存在任务堆积。 图2 Write队列中总排队任务数示例 如果集群存在大量的任务堆积,则参考如下步骤优化集群。 在集群的“日志管理”页面
Logstash部署在外网时导入数据示意图 创建一个跳转主机,并按如下要求进行配置。 跳转主机为一台Linux操作系统的弹性云服务器,且已绑定弹性IP。 跳转主机与CSS集群在同一虚拟私有云下。 已开放跳转主机的本地端口,用于SSH转发,能够从本地端口转发至CSS集群某一节点的9200端口。 关于跳转主机的本地端口转发配置,请参见SSH官方文档。
节点、存储以及带宽的相关信息,以及套餐包的使用情况。 商用 套餐包详情 2 Kibana公网访问 云搜索服务支持安全模式的集群通过公网访问云上Kibana服务。 商用 Kibana公网访问 2020年3月 序号 功能名称 功能描述 阶段 相关文档 1 更改集群名称 云搜索服务支持集群创建成功后,可以修改集群名称。
isAutoPay 否 Integer 是否自动支付。下单订购后,是否自动从客户的华为云账户中支付,而不需要客户手动去进行支付。该参数适用于包周期集群。 1:是(会自动选择折扣和优惠券进行优惠,然后自动从客户华为云账户中支付),自动支付失败后会生成订单成功(该订单应付金额是优惠后金额)、但
需要迁移的索引列表,以逗号分隔 index => "xxx,xxx,xxx" # 源端Elasticsearch集群的证书,云上的集群保持以下值不变;自建logstash集群可以在集群详情页面下载证书。这里输入对应的证书路径+证书名称。 ca_file
到期未续费时,集群首先会进入宽限期,宽限期到期后仍未续费,资源状态变为“已冻结”。 超过宽限期仍未续费将进入保留期,如果保留期内仍未续费,资源将被自动删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在集群到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌
名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过公网IP访问,或者已经建立好了企业内部数据中心到华为云上的VPN通道或专线。 导入数据 登录云搜索服务管理控制台。 在左侧导航栏中,选择对应集群类型,进入集群管理列表页面。 在集群管理列表页面,