检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSS服务中Elasticsearch集群如何设置search.max_buckets参数? 问题描述 CSS默认聚合操作中允许的最大bucket数量为10000,如果执行聚合操作时需要返回超过10000个bucket,可以通过修改“search.max_buckets”的值来允许更
CSS服务中如何清理Elasticsearch缓存? 清理fielddata 进行聚合和排序时,会使用fielddata数据结构,会占用较大内存。 在Kibana执行如下命令,查看scroll_id值。 GET my_index/_search/?scroll=1m 执行如下命令查看索引的fielddata占用情况。
查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志
(ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。 本文通过MRS的ES-Hadoop与CSS集群连接作为示例,您可以配置其他任何
查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志
BS桶和IAM委托。 “OBS桶”:快照存储的OBS桶位置。 “备份路径”:快照在OBS桶中的存放路径。 “IAM委托”:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。 自动设置集群快照接口将会自动创建快照OBS桶和委托。如果有多个集群,每
保存日志的目标集群ID。 status String 日志实时采集任务状态。 createAt Long 日志实时采集任务开启时间。 updateAt Long 日志实时采集任务更新时间。 请求示例 无 响应示例 状态码: 200 请求已成功。 日志实时采集响应示例。 { "logConfiguration"
使用Kibana对Elasticsearch中的数据进行分析和可视化,创建仪表板和报告,以直观展示数据。 ELKB系统中各组件的版本兼容性请参见https://www.elastic.co/support/matrix#matrix_compatibility。 方案优势 实时性:提供实时数据收集和分析能力。
"tip"] 查询存储在OBS中冷数据的缓存状态 冻结索引之后,当冷数据第一次被查询时,系统会自动进行数据缓存,集群支持查询存储在OBS中冷数据的缓存状态。当需要调试集群性能时,也可以重置缓存状态。 查询节点中存储在OBS中冷数据的缓存状态。 执行如下命令,查询所有节点中冷数据的缓存信息。 GET
操作步骤 获取Elasticsearch集群信息,用于配置迁移任务。 表1 需要获取的Elasticsearch集群信息 集群来源 要获取的信息 获取方式 源集群 华为云Elasticsearch集群 源集群的访问地址 访问源集群的用户名和密码(仅安全集群涉及) 获取集群的访问地址请参见1
"tip"] 查询存储在OBS中冷数据的缓存状态 冻结索引之后,当冷数据第一次被查询时,系统会自动进行数据缓存,集群支持查询存储在OBS中冷数据的缓存状态。当需要调试集群性能时,也可以重置缓存状态。 查询节点中存储在OBS中冷数据的缓存状态。 执行如下命令,查询所有节点中冷数据的缓存信息。 GET
routing.allocation.balance.index(默认值0.45f) cluster.routing.allocation.balance.shard(默认值0.55f) “balance.index”:值越大,shard分配越倾向于使得每个索引的所有分片在节点上均匀分
如何查看CSS集群所分布的可用区? 在集群的“基本信息”页面,可以获取集群所分布的可用区信息。 登录云搜索服务管理控制台。 选择“集群管理 > Elasticsearch”,进入集群列表页面。 单击集群名称进入集群“基本信息”页面,集群配置信息中的“可用区”即集群所分布的可用区。 图1 集群配置信息
在需要持续同步数据或对数据实时性有较高要求的场景,推荐使用Logstash增量迁移集群数据。 释放Logstash集群:当集群迁移完成后,请及时释放Logstash集群。 获取Elasticsearch集群信息 在迁移集群前,需要先获取必备的集群信息,用于配置迁移任务。 表1 需要获取的Elasticsearch集群信息
CSS创建集群的API 具体步骤 获取Token,发送“POST https://IAM的Endpoint/v3/auth/tokens”。 Token认证,具体操作请参考认证鉴权。 在响应Header中获取“X-Subject-Token”的值即为用户Token。 设置请求消息头,在Request
场景介绍 相关文档 内网 内网IP地址 集群基本信息中获取各个节点的IP地址,通过直连节点IP地址群访问集群。 获取方式: 在云搜索服务管理控制台,单击左侧导航栏的“集群管理”。 在集群管理列表页面,选择需要访问的集群,在“内网访问地址”列获取并记录集群的内网IP地址<host>,一般是
s.html。<跳转主机的公网IP地址>请从弹性云服务器管理控制台的“IP地址”列中获取标有“弹性公网”对应的IP地址。<跳转主机对外开放的端口号>即为步骤1中的端口,例如:9200。 以步骤4中“/tmp/access_log/”的数据文件为例,输入数据文件从首行开始,且过滤条
s.html。<跳转主机的公网IP地址>请从弹性云服务器管理控制台的“IP地址”列中获取标有“弹性公网”对应的IP地址。<跳转主机对外开放的端口号>即为步骤1中的端口,例如:9200。 以步骤4中“/tmp/access_log/”的数据文件为例,输入数据文件从首行开始,且过滤条
GRAPH类索引配置参数 ef 查询时考察邻居节点的队列大小。值越大查询精度越高,查询速度会变慢。默认值为200。 取值范围:(0, 100000]。 max_scan_num 扫描节点上限。值越大精度越高,查询速度变慢。默认值为10000。 取值范围:(0, 1000000]。 IVF类索引配置参数
场景介绍 相关文档 内网 内网IP地址 集群基本信息中获取各个节点的IP地址,通过直连节点IP地址群访问集群。 获取方式: 在云搜索服务管理控制台,单击左侧导航栏的“集群管理”。 在集群管理列表页面,选择需要访问的集群,在“内网访问地址”列获取并记录集群的内网IP地址<host>,一般是