检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据量很大,如何进行快照备份? 如果快照数据量极大,快照备份要超过一天时,可参考如下方法进行优化。 快照备份的时候指定索引,比如先分批,默认是*,将会备份所有的索引。 使用自定义快照仓库。 创建自定义仓库。 除了使用云搜索服务提供的repo_auto之外,客户也可以自己创建一个仓库,接口见如下:
常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点的“节点规格”。 当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。 当存在冷数据查询缓慢时,可以升级冷数据节点的“节点规格”,提高数据查询的效率。 变更节点规格
常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点的“节点规格”。 当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。 当存在冷数据查询缓慢时,可以升级冷数据节点的“节点规格”,提高数据查询的效率。 变更节点规格
授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 依赖的授权项:部分Action存在对其他Action的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM项目(Project)/企业项目(Enterprise
全量迁移:实现跨集群的完整索引数据迁移。在此过程中,必须暂停对源集群的写入操作,以确保源集群与目标集群数据的一致性。 增量迁移:当集群索引包含时间字段时,Reindex API支持基于时间戳的增量数据迁移。在业务切换阶段,全量迁移完成后,需暂停源集群的写入操作,并利用Reindex API基于最近更新时
使用SQL语言在Elasticsearch中搜索数据 在Elasticsearch集群 6.5.4及之后版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语
通过Curl命令行接入OpenSearch集群 开源Elasticsearch提供了一系列RESTful风格的API,通过Curl命令可以在Kibana、Postman等工具中使用这些API。本文介绍如何通过Curl命令接入Elasticsearch和OpenSearch集群。 前提条件
执行命令update-by-query报错“Trying to create too many scroll contexts” 问题现象 云搜索服务的Elasticsearch集群执行命令update-by-query,出现报错“Trying to create too many
shard lock]” 这种情况一般出现在有节点短暂离开集群,然后马上重新加入,并且有线程正在对某个shard做bulk或者scroll等长时间的写入操作,等节点重新加入集群的时候,由于shard lock没有释放,master无法allocate这个shard。 参考•shardlock错误
通过Curl命令行接入Elasticsearch集群 开源Elasticsearch提供了一系列RESTful风格的API,通过Curl命令可以在Kibana、Postman等工具中使用这些API。本文介绍如何通过Curl命令接入Elasticsearch和OpenSearch集群。
恢复到其他集群时,目标集群的版本不低于本集群的版本。当本集群存在冻结状态的索引快照时,在恢复数据后,该索引会被存储在节点本地,且默认只读,如果需要支持写入,需要执行如下命令配置索引。 PUT index_name/_settings { "index.blocks.write": null
07 实践 此模块为您提供多种使用场景的操作指导。 迁移Elasticsearch集群 Elasticsearch集群迁移 优化集群性能 写入性能优化 查询性能优化 实践案例 使用CSS加速数据库的查询分析 使用CSS搭建统一日志管理平台 使用Elasticsearch集群自定义评分查询
将测试数据集上传到ECS上。 将数据写入和召回率测试脚本上传到ECS上,并执行如下命令。 pip install h5py pip install elasticsearch==7.10 python3 base_test_example.py 执行完成后,会创建测试的向量索引,写入测试数据,并返回平均查询召回率Recall。
恢复到其他集群时,目标集群的版本不低于本集群的版本。当本集群存在冻结状态的索引快照时,在恢复数据后,该索引会被存储在节点本地,且默认只读,如果需要支持写入,需要执行如下命令配置索引。 PUT index_name/_settings { "index.blocks.write": null
out.println("create " + index + " success"); } } // 写入数据,一批数据的大小建议控制在500条以内 public void write(String index, List<float[]>
CPU使用率、网络连接数等。 当用户集群配置为5台16U128G的i3.4xlarge.8节点时,且每天上午5点左右会做大量bulk操作,写入大概100G-200G的数据,根据集群监控指标的CPU使用率、网络流入流出速率来看对ElasticSearch节点造成不了压力,网络连接数
ES集群的访问地址,当存在多个IP地址时,中间用“,”隔开。 USERNAME 访问集群的用户名。 PASSWORD 用户名对应的密码。 运行代码 根据集群类型将以上适配的代码写入到“EsTest.gc”文件并存放到一个单独的目录,在该目录执行以下命令运行代码。 go env -w GO111MODULE=on go
恢复到其他集群时,目标集群的版本不低于本集群的版本。当本集群存在冻结状态的索引快照时,在恢复数据后,该索引会被存储在节点本地,且默认只读,如果需要支持写入,需要执行如下命令配置索引。 PUT index_name/_settings { "index.blocks.write": null
out.println("create " + index + " success"); } } // 写入数据,一批数据的大小建议控制在500条向量以内 public void write(String index, List<float[]>
在进行中的任务。 升级Elasticsearch集群版本 数据库数据迁移至Elasticsearch集群 数据复制服务DRS 适用于将MySQL数据库中的数据同步到Elasticsearch集群中。一般用于集群间的数据增量迁移,在数据同步后集群随时可割接,较其他增量迁移更加方便灵活。