检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
10.0版本说明 日期 特征描述 2023-06-01 云搜索服务支持Logstash集群。 Logstash集群支持通过配置中心修改logstash的配置文件,支持将redis、elasticsearch、jdbc等多种数据源导入到Elasticsearch集群。
使用Logstash迁移数据 Logstash使用流程 Logstash集群规划建议 创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志
的端,表示创建完成。 图2 Destinations列表 新建一个监控,并配置告警的触发条件和监控频率。 在“Alerting”页面选择“Monitors”页签,单击“Create monitors”配置监控信息。 表2 Monitors参数说明 参数名称 说明 Monitor name
05 Logstash集群 此模块为您提供云搜索服务Logstash集群的基本使用指导。 创建集群 创建Logstash集群 配置集群 配置中心 配置样例 管理集群 日志管理 证书管理 06 OpenSearch集群 此模块为您提供云搜索服务OpenSearch集群的基本使用指导。
allocation策略配置错误 cluster.routing.allocation.enable参数 返回结果中“explanation”如下,表示集群当前设置的allocation策略禁止所有分片分配导致。 图3 allocation.enable参数配置错误 在Kibana的“Dev
需要将已创建好的集群快照的“OBS桶”和“备份路径”参数配置为被删除集群存放快照信息的OBS桶和路径。 单击快照“操作”列的“恢复”,弹出“恢复”页面。 图1 选择恢复快照 在“恢复”页面配置集群的恢复参数。 表1 恢复配置 参数 说明 索引 指定需要进行恢复的索引名称,默认为空
通过Cerebro登录Elasticsearch集群 CSS服务的Elasticsearch和OpenSearch集群默认提供Cerebro,无需安装部署,即可一键访问Cerebro,同时CSS服务的Elasticsearch和OpenSearch集群也完全兼容开源Cerebro。 通过CSS控制台的Cerebro访问集群
果,以此减少重复查询。 增加query cache可以通过修改集群的参数配置实现,将自定义缓存参数“indices.queries.cache.size”设置为更大的值。具体操作请参见参数配置,修改参数配置后一定要重启集群使参数生效。 提前Forcemerge,减小需要扫描的Segments数
处理步骤 如果集群长期处于高负载状态,则集群会存在写入、查询缓慢等情形,建议根据业务需要升级节点规格或者对集群节点的数量和存储容量进行扩容,使集群更好的满足业务需求。升级节点规格、扩容节点数量和节点存储容量的指导请参见扩容Elasticsearch集群。 查询集群是否存在任务堆积。
量超过这个值创建索引会报错。 解决方案 方案一:关闭或者删除不用的索引,减少shard数量。 方案二:修改节点的shard数量的限制,参数配置请参考max_shards_per_node。 PUT _cluster/settings { "persistent": {
通过Cerebro登录OpenSearch集群 CSS服务的Elasticsearch和OpenSearch集群默认提供Cerebro,无需安装部署,即可一键访问Cerebro,同时CSS服务的Elasticsearch和OpenSearch集群也完全兼容开源Cerebro。 通过CSS控制台的Cerebro访问集群
有6个shards,数据节点有3个,该配置值倾向于让a索引2、2、2平衡分配。 “balance.shard”:值越大,shard分配越倾向于使得所有分片(所有索引的)在节点上平衡,如索引a有2个shards,索引b有4个shards,该配置倾向于所有6个分片进行2、2、2平衡分配。
Management”,进入索引管理页面 。 单击“Create policy”,配置生命周期策略。 “Policy ID”:自定义策略名称。 “Define policy”:基于策略示例,配置自定义策略。 图1 配置策略 单击“Create”,完成策略的创建。 索引关联生命周期策略 生命
分布极不均匀。 解决方案 如果问题是由分片数据量过大导致。 分片大小可以通过index模板下的“number_of_shards”参数进行配置。 模板创建完成后,再次新创建索引时生效,旧的索引不能调整。 如果问题是由分片数分布不均匀导致。 临时解决方案: 可以通过如下命令设置“routing
拉美-墨西哥城二、拉美-圣保罗一。 创建集群 云搜索服务支持创建Elasticsearch类型集群,您可以根据需求,创建安全模式集群和非安全模式集群。云搜索服务Elasticsearch类型集群适用于日志分析、站内搜索等场景。 创建Elasticsearch集群 发布区域:华北-
queue_size取值。 单击需要修改参数的集群名称,进入集群基本信息页面。 选择“参数配置”,查找write.queue_size并修改取值。 如果没有此参数,可以在自定义参数列进行添加。详细请参考参数配置章节。 重建索引,使分片数大于集群节点数。 如果分片数和队列大小都满足条件,但是cpu和负载依然比较高,建议扩容节点。
CSS服务权限管理 创建IAM用户并授权使用CSS 示例:为IAM用户(子用户)配置创建CSS集群的权限
之间的数据迁移? 是否支持跨Region迁移CSS集群? 使用CSS Logstash迁移Elasticsearch集群的Logstash配置文件样例
28:9200", "elbWhiteListResp" : null, "bandwidthResourceId" : "18bec13f-5cc1-4631-867f-33505d15be12" }, "elbWhiteList" : {
本更低一些。 OpenSearch 1.3.6 配置OpenSearch集群存算分离 切换冷热数据 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。