检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hoc查询场景下,它能够提供快速的响应时间,从而满足高并发环境下的查询需求。 实时数据同步:通过华为云数据复制服务DRS,可以实现MySQL数据库中的数据实时同步到Elasticsearch,确保数据的一致性和实时性。 简化的数据迁移和索引创建:在Elasticsearch中,可以创建与MySQL数据库表结构相对应的
重启过程中集群不可用,请谨慎操作。 工作中状态的集群,重启过程会主动停止logstash进程,管道列表“是否保持常驻”值为否,会将所有运行中管道状态置为已停止。“是否保持常驻”值为是,会触发logstash进程恢复机制,将工作中的管道状态置为恢复中,若十分钟内重新拉起logstash
CSS集群冻结到OBS上的索引大小和未冻结时的索引大小是一样的,通过查询已冻结的索引信息就可以获取OBS上所有索引的大小信息,而所有索引的大小之和就是OBS上索引的占用量。 执行如下命令获取正在冻结过程中或者已经冻结完成的所有索引。 GET _cat/freeze_indices?stage=$
CSS服务中Elasticsearch集群如何设置search.max_buckets参数? 问题描述 CSS默认聚合操作中允许的最大bucket数量为10000,如果执行聚合操作时需要返回超过10000个bucket,可以通过修改“search.max_buckets”的值来允许更
(ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。 本文通过MRS的ES-Hadoop与CSS集群连接作为示例,您可以配置其他任何
查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志
查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志
参数解释: 项目ID。获取方法请参见获取项目ID和名称。 约束限制: 不涉及 取值范围: 获取方法请参见获取项目ID和名称。 默认取值: 不涉及 cluster_id 是 String 参数解释: 指定查询集群ID。 约束限制: 不涉及 取值范围: 获取方法请参见获取集群ID。 默认取值:
BS桶和IAM委托。 “OBS桶”:快照存储的OBS桶位置。 “备份路径”:快照在OBS桶中的存放路径。 “IAM委托”:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。 自动设置集群快照接口将会自动创建快照OBS桶和委托。如果有多个集群,每
使用Kibana对Elasticsearch中的数据进行分析和可视化,创建仪表板和报告,以直观展示数据。 ELKB系统中各组件的版本兼容性请参见https://www.elastic.co/support/matrix#matrix_compatibility。 方案优势 实时性:提供实时数据收集和分析能力。
操作步骤 获取Elasticsearch集群信息,用于配置迁移任务。 表1 需要获取的Elasticsearch集群信息 集群来源 要获取的信息 获取方式 源集群 华为云Elasticsearch集群 源集群的访问地址 访问源集群的用户名和密码(仅安全集群涉及) 获取集群的访问地址请参见1
routing.allocation.balance.index(默认值0.45f) cluster.routing.allocation.balance.shard(默认值0.55f) “balance.index”:值越大,shard分配越倾向于使得每个索引的所有分片在节点上均匀分
"tip"] 查询存储在OBS中冷数据的缓存状态 冻结索引之后,当冷数据第一次被查询时,系统会自动进行数据缓存,集群支持查询存储在OBS中冷数据的缓存状态。当需要调试集群性能时,也可以重置缓存状态。 查询节点中存储在OBS中冷数据的缓存状态。 执行如下命令,查询所有节点中冷数据的缓存信息。 GET
CSS创建集群的API 具体步骤 获取Token,发送“POST https://IAM的Endpoint/v3/auth/tokens”。 Token认证,具体操作请参考认证鉴权。 在响应Header中获取“X-Subject-Token”的值即为用户Token。 设置请求消息头,在Request
s.html。<跳转主机的公网IP地址>请从弹性云服务器管理控制台的“IP地址”列中获取标有“弹性公网”对应的IP地址。<跳转主机对外开放的端口号>即为步骤1中的端口,例如:9200。 以步骤4中“/tmp/access_log/”的数据文件为例,输入数据文件从首行开始,且过滤条
s.html。<跳转主机的公网IP地址>请从弹性云服务器管理控制台的“IP地址”列中获取标有“弹性公网”对应的IP地址。<跳转主机对外开放的端口号>即为步骤1中的端口,例如:9200。 以步骤4中“/tmp/access_log/”的数据文件为例,输入数据文件从首行开始,且过滤条
如何查看CSS集群所分布的可用区? 在集群的“基本信息”页面,可以获取集群所分布的可用区信息。 登录云搜索服务管理控制台。 选择“集群管理 > Elasticsearch”,进入集群列表页面。 单击集群名称进入集群“基本信息”页面,集群配置信息中的“可用区”即集群所分布的可用区。 图1 集群配置信息
构建hnsw时上层图节点数的缩放比例,默认值50。 取值范围:(0, 128]。 efc 构建hnsw时考察邻居节点的队列大小,默认值为200,值越大精度越高,构建速度将会变慢。 取值范围:(0, 100000]。 max_scan_num 扫描节点上限,默认值为10000,值越大精度越高,索引速度变慢。
在需要持续同步数据或对数据实时性有较高要求的场景,推荐使用Logstash增量迁移集群数据。 释放Logstash集群:当集群迁移完成后,请及时释放Logstash集群。 获取Elasticsearch集群信息 在迁移集群前,需要先获取必备的集群信息,用于配置迁移任务。 表1 需要获取的Elasticsearch集群信息
"tip"] 查询存储在OBS中冷数据的缓存状态 冻结索引之后,当冷数据第一次被查询时,系统会自动进行数据缓存,集群支持查询存储在OBS中冷数据的缓存状态。当需要调试集群性能时,也可以重置缓存状态。 查询节点中存储在OBS中冷数据的缓存状态。 执行如下命令,查询所有节点中冷数据的缓存信息。 GET