检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增强Elasticsearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式
使用DSL语言在OpenSearch中搜索数据 DSL语言是Elasticsearch和OpenSearch查询域的特定语言,是客户端与Elasticsearch和OpenSearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如SQL本质上也是先转译为
使用开源OpenSearch API导入数据到OpenSearch 云搜索服务支持在Kibana或者ECS服务器上使用开源OpenSearch API将数据导入到OpenSearch集群中,数据文件支持JSON等格式。OpenSearch API请参见REST API reference
CSS服务使用的数据压缩算法是什么? 云搜索服务支持的数据压缩算法有两种:一种是Elasticsearch默认的LZ4算法,另一种是best_compression算法。 LZ4算法 LZ4算法是Elasticsearch的默认压缩算法,该算法对数据的解压/压缩效率很快,但压缩率较低一些
使用自建Logstash导入数据到Elasticsearch 云搜索服务支持使用自建Logstash将其收集的数据迁移到Elasticsearch和OpenSearch中,方便用户通过CSS搜索引擎高效管理和获取数据。数据文件支持JSON、CSV等格式。 Logstash是开源的服务器端数据处理管道
CSS服务中如何清理Elasticsearch索引数据? 自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。 Opendistro
数据类型不兼容导致集群不可用 问题现象 集群进行备份恢复或集群迁移操作后,“集群状态”变为“不可用”。 原因分析 集群出现此场景的原因可能是目标集群不支持被恢复的数据中某些数据类型,比如旧集群有安装一些插件或者定义settings,新集群没有,导致的索引分片无法分配。 处理步骤 在
使用DSL语言在Elasticsearch中搜索数据 DSL语言是Elasticsearch和OpenSearch查询域的特定语言,是客户端与Elasticsearch和OpenSearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如SQL
数据量很大,如何进行快照备份? 如果快照数据量极大,快照备份要超过一天时,可参考如下方法进行优化。 快照备份的时候指定索引,比如先分批,默认是*,将会备份所有的索引。 使用自定义快照仓库。 创建自定义仓库。 除了使用云搜索服务提供的repo_auto之外,客户也可以自己创建一个仓库
通过ESM实现Elasticsearch集群间数据迁移 应用场景 ESM(Elasticsearch Migration Tool)是一个开源的Elasticsearch集群迁移工具。它支持不同版本的Elasticsearch之间的数据迁移,并且可以通过配置Scroll API的参数来控制迁移速率
CSS服务如何保证数据和业务运行安全? 云搜索服务主要从以下几个方面保障数据和业务运行安全: 网络隔离 整个网络划分为2个平面,即业务平面和管理平面。两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 业务平面:主要是集群的网络平面,支持为用户提供业务通道,对外提供数据定义
通过Reindex API实现Elasticsearch集群间数据迁移 使用Reindex API可以实现Elasticsearch集群间的数据迁移。 应用场景 Elasticsearch作为一款开源搜索引擎,提供了Reindex API以支持集群间的索引数据迁移。CSS服务同样支持利用
ES-Hadoop导数据时报"Could not write all entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值
使用开源Elasticsearch API导入数据到Elasticsearch 云搜索服务支持在Kibana或者ECS服务器上使用开源Elasticsearch API将数据导入到Elasticsearch集群中,数据文件支持JSON等格式。 在Kibana上使用开源Elasticsearch
ECS服务器部署Logstash推送数据到CSS服务报错 问题现象 ECS服务器部署logstash,然后推送数据到云搜索服务CSS,出现错误信息如下: LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError
超高I/O型 (CPU架构为X86计算) 本地盘 挂载SSD盘 适用大型搜索与分析场景,场景对计算或磁盘I/O均有较高要求,例如舆情分析、专利检索、以及部分数据库加速场景。 规划节点规格 在规划节点规格时,推荐优先考虑高配置但节点数量较少的方案。
超高I/O型 (CPU架构为X86计算) 本地盘 挂载SSD盘 适用大型搜索与分析场景,场景对计算或磁盘I/O均有较高要求,例如舆情分析、专利检索、以及部分数据库加速场景。 规划节点规格 在规划节点规格时,推荐优先考虑高配置但节点数量较少的方案。
CSS服务中Elasticsearch是否支持不同VPC之间的数据迁移? 在CSS服务中,实现不同虚拟私有云(VPC)环境下的Elasticsearch集群迁移,可以通过以下两种方法: 方法一: 可以使用备份与恢复功能迁移集群数据。具体操作请参见使用备份与恢复迁移集群数据。 方法二
通过备份与恢复实现华为云Elasticsearch集群间数据迁移 CSS服务的Elasticsearch集群之间的数据迁移,可以通过备份与恢复集群快照功能实现。 应用场景 通过备份与恢复实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群,
删除OpenSearch集群快照 当快照信息不需要使用时,您可以删除快照释放存储资源。 当自动创建快照功能开启时,自动创建的快照无法手动删除,系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。 当自动创建快照功能开启又关闭了,关闭时,之前已自动创建的快照并未同步删除,这时快照列表中自动创建的快照可以手动删除