正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSS通过委托将Elasticsearch中的数据写入到用户的OBS中,快照仓库创建的时候,需要去使用委托获取临时的AK 、SK设置到仓库中。由于临时的AK、SK是有时效性的(24小时过期),如果一个快照超过24小时还未完成,那么这个快照将会失败。这种情况会有一个比较大的风险,因为此时仓库的AK、SK过期,
stash集群的节点数量可以增加系统的容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务
“test”为fielddata占用内存较高的索引名称。 清理segment 每个segment的FST结构都会被加载到内存中,并且这些内存是不会被垃圾回收的。因此如果索引的segment数量过大,会导致内存使用率较高,建议定期进行清理。 在Kibana执行如下命令,查看各节点的segment数量和占用内存大小。
缩容随机节点 参数 说明 变更类型 选择“缩容”。 变更的资源 显示本次缩容的资源变化量。 配置委托 选择IAM委托,授权当前账号访问和使用VPC的权限。仅对接了IAM新平面时才显示该参数。 删除节点会释放网卡,就需要VPC的操作权限,因此选择的委托必须授权“Tenant Administrator”或“VPC
据进行必要的处理,如解析结构化日志、过滤无用信息等。 数据存储 Elasticsearch作为核心存储组件,Elasticsearch索引和存储来自Logstash的数据,提供快速搜索和数据检索功能。 数据分析与可视化 使用Kibana对Elasticsearch中的数据进行分析
Elasticsearch集群的使用流程 任务分类 操作 参考文档 使用 规划集群 在创建Elasticsearch集群前,需要先完成集群规划。规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。
CSS服务中Elasticsearch 7.x集群如何在index下创建type? 在Elasticsearch 7.x版本中,去掉了type概念,在7.x及以后的版本中,index都不再支持创建type。 如果需要强制使用,可以在命令中添加“include_type_name=true”强制使用type类型,且只支持单type。
通知,新建CSS服务的告警规则。其中,“资源类型”和“维度”参数的填写说明请参见表1,其他参数可以根据CES服务的参数说明自定义。 表1 告警内容的配置说明 参数 参数解释 配置说明 资源类型 配置告警规则监控的服务名称。 选择云搜索服务。 维度 用于指定告警规则对应指标的维度名称。
在“资源类型”列,筛选“云搜索服务”,查看是否有满足要求的告警规则。 图1 查看告警规则 如果没有,请参考云监控服务CES的创建告警规则和通知,新建CSS服务的告警规则。其中,“资源类型”和“维度”参数的填写说明请参见表1,其他参数可以根据CES服务的参数说明自定义。 表1 告警内容的配置说明 参数 参数解释 配置说明
证集群的可用性。 冷数据节点(ess-cold)主要用于分担ess数据节点的压力,当发现冷数据有丢失的风险时,可以扩容冷数据节点的“节点存储容量”保证冷数据的持久性,同时也支持扩容节点个数保证集群的可用性。 变更规格 当新增索引或分片分配的处理时间过长,或管理集群各个节点的协调、
通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云 通过备份与恢复迁移第三方Elasticsearch集群至华为云 通过读写分离插件实
响。集群到期后的状态说明,请参见到期后影响。 续费相关的功能 包年/包月云集群续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月集群从购买到被自动删除之前,您可以随时为集群续费,以延长集群的使用时间。 自动续费 开通自动续费后,集群会在每次到期前自
通知,新建CSS服务的告警规则。其中,“资源类型”和“维度”参数的填写说明请参见表1,其他参数可以根据CES服务的参数说明自定义。 表1 告警内容的配置说明 参数 参数解释 配置说明 资源类型 配置告警规则监控的服务名称。 选择云搜索服务。 维度 用于指定告警规则对应指标的维度名称。
成后会自己断开,长连接在发包完成后, 会在一定的时间内保持连接,即通常所说的Keepalive(存活定时器)功能。 TCP保活机制 保活机制是由一个保活计时器实现的。当计时器被激发,连接一端将发送一个保活探测报文, 另一端接收报文的同时会发送一个ACK作为响应。 如果客户端无响应
各个AZ之间节点数量的差小于等于1,具体的节点分布情况,包括不同数量的节点如何在各个可用区中分布,可以参考表1。 在创建集群时,选择的节点数量都要大于等于2,否则跨可用区部署会失败。 部署跨AZ集群时,节点会被均匀的分布在不同的AZ上。 表1 节点数量和AZ分布 集群节点个数 单AZ
集群索引插入数据失败 问题现象 向CSS集群索引中插入数据失败,报错如下: 问题分析 当磁盘的使用率超过95%时,Elasticsearch为了防止节点耗尽磁盘空间,自动将索引设置为只读模式。 解决方案 新版本(7.10.2之后)集群磁盘使用率下降后会自动关闭只读模式,只需清理或扩容磁盘。
更多与订单相关操作所需要的授权项请见费用中心细粒度策略。 CSS FullAccess 系统策略 基于策略授权的CSS服务的所有权限,拥有该权限的用户可以完成基于策略授权的CSS服务的所有执行权限。 该策略部分权限有依赖,如果要使用对应的功能,需要在同项目中勾选依赖的权限。 CSS ReadOnlyAccess
settings 同步索引的索引设置。 停止索引同步 在从集群执行如下命令,终止索引名称对应的同步任务,后续主集群对该索引的修改不会被同步到从集群,并且从集群中该索引的只读状态解除,支持新数据的写入。 PUT log*/stop_remote_sync “log*”表示索引名称,支持指
CSS集群冻结索引后如何查询OBS上的索引占用量? CSS集群冻结到OBS上的索引大小和未冻结时的索引大小是一样的,通过查询已冻结的索引信息就可以获取OBS上所有索引的大小信息,而所有索引的大小之和就是OBS上索引的占用量。 执行如下命令获取正在冻结过程中或者已经冻结完成的所有索引。 GET _cat/freeze_indices
建议直接修改该请求,不要重试该请求。 409 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 412 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 错误码 请参见错误码。 父主题: 集群管理接口