检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击集群名称进入集群“基本信息”页面,集群配置信息中“集群存储使用量”与“集群存储容量”的比值,即集群总磁盘使用率。 图1 集群基本信息 父主题: CSS集群监控与运维
产品咨询 CSS服务如何保证数据和业务运行安全? CSS服务创建集群时有哪些节点存储选项? CSS服务的集群节点磁盘空间用于存放哪些文件? CSS服务使用的数据压缩算法是什么? CSS服务中Kibana是否支持导出数据功能?
“OBS桶”:快照存储的OBS桶位置。 “备份路径”:快照在OBS桶中的存放路径。 “IAM委托”:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。 自动设置集群快照接口将会自动创建快照OBS桶和委托。
检查分片(shard)数据量是否过大。 单个分片数据量过大,可能引起Bulk Reject,建议单个分片大小控制在20GB - 50GB左右。可在kibana控制台,通过如下命令查看索引各个分片的大小。 GET _cat/shards?
当存储在对象存储服务OBS中的快照数据不再使用时,可以删除数据,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。
通过Spring Boot接入Elasticsearch集群 本文介绍通过Spring Boot访问CSS集群的配置说明。Spring Boot接入集群有3种方式: 通过Spring Boot接入HTTP集群:适用于非安全模式的集群、安全模式+HTTP协议的集群 使用Spring
通过Transport Client接入Elasticsearch集群 本文介绍通过Transport Client访问CSS服务非安全集群的配置说明。如果是安全模式的集群,建议通过Rest High Level Client接入Elasticsearch集群。 注意事项 建议Transport
清理存储数据 由于云搜索服务的快照数据存储在OBS中,请前往OBS服务删除对应数据和目录,停止计费。
数据安全要求高:对于对数据安全性要求较高的业务,包年/包月计费模式可确保资源的持续使用,降低因资源欠费而导致的数据安全风险。 适用计费项 以下计费项支持包年/包月: 表1 适用计费项 计费项 说明 节点规格 包括vCPUs和内存。 节点存储 节点的磁盘存储类型和节点存储大小。
通过备份与恢复实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移:仅适用于源集群和目标集群都是CSS服务的集群,且依赖对象存储服务OBS。
强大的处理能力:支持每天百TB级数量入库,提供PB级以上数据处理能力。 图2 全场景日志分析场景 数据库查询加速 云搜索服务可用于加速数据库查询。
getAcceptedIssuers() { return null; } } }; /** * CustomConnectionKeepAliveStrategy函数设置连接的保活时间,主要应对大量短连接的情况和数据请求不高的场景
通过Rest High Level Client接入Elasticsearch集群 Elasticsearch官方提供了SDK(Rest High level Client)方式连接集群,Rest Client客户端对Elasticsearch的API进行了封装,用户只需要构造对应的结构即可对
表1 写入性能优化 优化方案 方案说明 使用SSD盘或升级集群配置 使用SSD盘可以大幅提升数据写入与merge操作的速度,对应到CSS服务,建议选择“超高IO型”存储,或者超高IO型主机。
云硬盘(Elastic Volume Service,简称EVS) 云搜索服务CSS使用云硬盘(EVS)存储索引数据。创建集群时,将自动创建云硬盘用于集群存储。
适合存储大量数据的日志、舆情场景等场景。一般冷节点优选这种规格。 通用计算型 1:4 默认规格,使用较频繁,各种场景都能使用,如果没有特别要求,可选择该规格。
PUT /_settings { "index.blocks.read_only_allow_delete": null } 参考扩容对集群进行节点数量或节点存储容量进行扩容。 待扩容完成后再执行2.a改回索引副本数,待索引分片完全分配后,集群状态变为可用。
冷热数据存储 云搜索服务提供了冷数据节点供企业选择,企业可以将部分现查要求秒级返回的数据放在高性能机器上面,对于历史数据要求分钟级别返回的数据放在大容量低规格节点。
添加独立master、client 功能介绍 由于集群数据面业务的增长或者不确定性,很难在一开始就能够把集群的规模形态想明白,该接口能够在非独立master和client的集群上面添加独立master、client角色。 调用方法 请参见如何调用API。
修改集群路由时,可能导致业务网络异常,影响Logstash和数据源之间的网络连接,请谨慎操作。 调用方法 请参见如何调用API。