检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ch集群间数据迁移 CSS服务的Elasticsearch集群之间的数据迁移,可以通过备份与恢复集群快照功能实现。 应用场景 通过备份与恢复实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群,且依赖对象存储服务OBS。常用于以下场景:
配置Elasticsearch集群监控 使用CES监控Elasticsearch集群 配置Elasticsearch集群内核监控 配置Elasticsearch集群索引监控 父主题: Elasticsearch集群监控与日志管理
切换Elasticsearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点
为了方便用户使用日志定位问题,云搜索服务提供了日志备份和日志查询功能。日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志 登录云搜索服务管理控制台。 在“集群管
API导入数据到Elasticsearch 云数据迁移服务CDM CDM向导式页面。适用于批数据迁移,比如数据存放在OBS或者Oracle数据库中,推荐使用CDM比较方便。 JSON 使用CDM导入数据到Elasticsearch 数据复制服务DRS DRS用于数据库在线迁移和实时同步数据的云服务。 关系型数据库
配置Elasticsearch集群YML文件默认参数 云搜索服务支持用户修改“elasticsearch.yml”文件,该文件是Elasticsearch的配置文件,用于设置和管理Elasticsearch集群的各种参数和行为。通过合理配置YML参数,可以优化集群的性能,提高系统的稳定性和安全性。
配置Elasticsearch集群向量检索 向量检索特性介绍 在Elasticsearch集群创建向量索引 在Elasticsearch集群使用向量索引搜索数据 在嵌套字段中使用向量索引 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java)
“OBS桶”:快照存储的OBS桶位置。 “备份路径”:快照在OBS桶中的存放路径。 “IAM委托”:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。 自动设置集群快照接口将会自动创建快照OBS桶和委托。如果有多个集群,每个集群使用这个接口都会创建一个不一样的OBS桶,可能会导致
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群
前提条件 已创建用于存储快照的OBS桶。快照存储在OBS桶中需要额外收费,具体收费请参见OBS计费说明。 设置自动创建快照 登录云搜索服务管理控制台。 开启集群自动创建快照。支持在创建集群的时候就打开集群自动创建快照,操作指导请参见7,或者在集群创建完成之后再开启集群自动创建快照。
不同版本的Kibana界面可能有所差异,请以实际操作环境为准。本文以Kibana 7.6.2版本作为示例。 创建生命周期策略 登录云搜索服务管理控制台。 在“集群管理”页面选择需要登录的集群,单击“操作”列中的“Kibana”,登录Kibana页面。 在菜单栏选择“IM”或“Index
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
Elasticsearch集群为例,介绍使用CSS服务的Logstash进行集群迁移的配置文件样例。当源端和目的端的Elasticsearch集群类型不同时,可以参考本文样例中的input和output模块自由组合出合适的配置文件。 查看集群类型 登录云搜索服务管理控制台。 在左侧导航栏选择“集群管理
csearch里。 原因分析 客户index是单shard,压力承载于单个节点,负载过高,造成队列满后,作业被拒绝。 处理步骤 登录云搜索服务控制台。 选择“集群管理”进入集群管理列表。 选择对应集群操作列“更多”>“Cerebro”。 如果是安全模式集群,需要输入登录账号(admin)和密码。
使用DSL语言在OpenSearch中搜索数据 DSL语言是Elasticsearch和OpenSearch查询域的特定语言,是客户端与Elasticsearch和OpenSearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如SQL
ess-cold:冷数据节点。 前提条件 确认集群处于“可用”状态,且无正在进行的任务。 确认CSS服务有足够的配额支持集群扩容。 扩容节点数量和节点存储容量 登录云搜索服务管理控制台。 在左侧菜单栏,选择对应的集群类型,进入集群管理页面。 选择目标集群,单击操作列的“更多>形态变更”进入更改集群规格页面。
arch和OpenSearch集群。 前提条件 CSS服务的Elasticsearch和OpenSearch集群处于可用状态。 已创建一个ECS服务,且和CSS服务的集群在同一个虚拟私有云和安全组中。 如果ECS和CSS服务的集群不在同一安全组中,请修改ECS安全组或者配置ECS
使用SQL语言在OpenSearch中搜索数据 在OpenSearch版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语言的用户,可以使用SQL语言在OpenSearch中搜索数据。
参数 描述 名称/ID 展示集群的名称和ID。单击集群名称可进入集群“基本信息”页面,展现了集群的基本信息。集群ID是系统自动生成的,是集群在服务中的唯一标识。 集群状态 展示集群的运行状态。 可用:正常运行的集群。 创建中:正在创建中的集群。 处理中:重启中、扩容中、备份中或恢复中的集群。
获取方式: 在云搜索服务管理控制台,单击左侧导航栏的“集群管理”。 在集群管理列表页面,单击需要访问的集群名称,进入集群基本信息页面。 在左侧菜单栏选择“终端节点服务”,在终端节点列表获取并记录“服务地址”或“内网域名”。 配置Elasticsearch集群终端节点服务 内网 独享型负载均衡实例的私有IP地址