检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
节点Node1根据查询请求的索引以及其分片分布,进行分片选择;然后将请求转发到Node1、Node2、Node3。 各分片分别执行查询任务;当各分片查询成功后,将查询结果汇聚到Node1,然后协调节点向客户端返回查询结果。 对于某个查询请求,其在节点上默认可并行查询5个分片,多于5个分片时将分批进行查询;在单个分
该查询是根据genre这个字段进行聚合,会根据test索引里的title字段进行分类统计。如果title为text(含keyword)类型,需要使用“title.keyword”进行聚合,默认情况下Elasticsearch和OpenSearch无法直接对text类型的字段进行聚合。其中tit
约束限制 仅启用了冷数据节点的集群才支持进行冷热数据切换。只有在创建集群时可以选择启用冷数据节点,已建集群不支持添加冷数据节点。 切换冷热数据 登录云搜索服务管理控制台。 确认集群是否已启用冷数据节点。 在“集群管理”页面,选择需要进行存算分离的集群,单击集群名称进入集群详情页
该查询是根据genre这个字段进行聚合,会根据test索引里的title字段进行分类统计。如果title为text(含keyword)类型,需要使用“title.keyword”进行聚合,默认情况下Elasticsearch和OpenSearch无法直接对text类型的字段进行聚合。其中tit
“.opendistro-ism-config”索引中写入一条数据。这条数据的初始状态如下图所示。 图2 数据初始状态 执行explain命令,此时返回的内容只有一条policy的id。 GET _opendistro/_ism/explain/data2 { "data2"
电子商务平台:快速搜索商品,提供个性化推荐,实时监控用户行为和交易数据。 内容管理系统:对大量文档和内容进行高效检索,支持复杂的查询和数据分析。 金融服务:实时监控交易数据,进行风险分析和欺诈检测。 社交媒体分析:对用户生成的内容进行情感分析,趋势和影响力评估。 客户关系管理:快速检索客户信息,分析客户行为,提供定制化服务。
启用了HTTPS访问的安全集群可以下载CSS服务安全证书(CloudSearchService.cer)。而大多数软件支持“.pem”或“.jks”格式的证书,因此要对安全证书进行格式转换。 将安全证书从“.cer”格式转换为“.pem”格式。 openssl x509 -inform pem -in CloudSearchService
备份自建Elasticsearch数据到华为云OBS。 登录自建Elasticsearch集群的Kibana,选择“Dev Tools”,进入命令行界面。 执行如下命令,创建快照仓库“my_backup”,对接华为云OBS存放快照数据的OBS桶“backup-obs”。 PUT /_snapshot/my_backup
中的日志,发送到Logstash进行数据处理,再存储到Elasticsearch中,最后通过Kibana进行日志的可视化查询与分析。该方案可以用于以下场景: 日志管理:集中管理应用程序和系统日志,快速定位问题。 安全监控:检测和响应安全威胁,进行入侵检测和异常行为分析。 业务分析:分析用户行为,优化产品和服务。
Tools”,进入操作页面。 在Kibana执行命令查看集群是否存在索引。 GET _cat/indices?v 当待导入数据的集群已存在可用的索引时,则不需要再创建索引,直接执行步骤8。 当待导入数据的集群不存在可用的索引时,则需要执行下一步创建索引。 在Kibana执行命令创建待导入数据的索引,并指定自定义映射来定义数据类型。
Tools”,进入操作页面。 在Kibana执行命令查看集群是否存在索引。 GET _cat/indices?v 当待导入数据的集群已存在可用的索引时,则不需要再创建索引,直接执行步骤8。 当待导入数据的集群不存在可用的索引时,则需要执行下一步创建索引。 在Kibana执行命令创建待导入数据的索引,并指定自定义映射来定义数据类型。
优化Elasticsearch和OpenSearch集群写入性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的写入性能优化,便于提高集群的写入性能,提升使用效率。 数据写入流程 图1 数据写入流程 如图1所示,以Elasticsearch集群
默认值。 执行如下命令,关闭HTTP/HTTPS节点流控。 PUT /_cluster/settings { "persistent": { "flowcontrol.http.enabled": false } } 开启内存流控 执行如下命令,开启内存流控。 PUT
API导入数据。 步骤3:搜索数据:在Elasticsearch集群中对数据进行全文检索和聚合结果显示。 步骤4:删除索引:当不再使用对应的索引数据时,可以删除对应索引节约资源。 准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用云搜索服务前检查账号状态,账号不能处于欠费或冻结状态。
API导入数据。 步骤3:搜索数据:在OpenSearch集群中对数据进行全文检索和聚合结果显示。 步骤4:删除索引:当不再使用对应的索引数据时,可以删除对应索引节约资源。 准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用云搜索服务前检查账号状态,账号不能处于欠费或冻结状态。
大或shard分配不均,具体可通过以下方法进行定位分析。 检查分片(shard)数据量是否过大。 单个分片数据量过大,可能引起Bulk Reject,建议单个分片大小控制在20GB - 50GB左右。可在kibana控制台,通过如下命令查看索引各个分片的大小。 GET _cat/shards
值触发流控。 取值范围:0%-100% 默认值:90% 当所有参数值设置为“null”时,表示恢复配置默认值。 执行如下命令,关闭集群内存流控。 执行如下命令,删除单个请求Path的内存流控。 关闭内存流控时,要先删除单个请求Path的内存流控。 PUT /_cluster/settings
开启Bulk路由优化后(即“index.bulk_routing”设置为“pack”或“ocal_pack”),数据写入不再根据“_id”进行路由,与路由的相关功能使用会受限,例如根据“_id”进行文档GET请求可能失败。 Bulk路由优化 Bulk聚合优化 通过指定配置项“index.aggr_perf_
功能使用类 无法备份索引 无法使用自定义词库功能 快照仓库找不到 集群一直处于快照中 数据量很大,如何进行快照备份? 集群突现load高的故障排查 使用ElasticSearch的HLRC(High Level Rest Client)时,报出I/O Reactor STOPPED
者对集群节点的数量和存储容量进行扩容,使集群更好的满足业务需求。升级节点规格、扩容节点数量和节点存储容量的指导请参见扩容Elasticsearch集群。 查询集群是否存在任务堆积。 方式一:在Kibana的“Dev Tools”页面,分别执行以下命令查询是否存在任务堆积。 GET