检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OpenSearch集群词库介绍 背景信息 云搜索服务的词库用于对文本进行分词,使得一些特殊词语在分词的时候能够被识别出来,便于根据关键词搜索文本数据。例如,根据公司名称来查询,如“华为”;或者根据网络流行词来查询,如“喜大普奔”。也支持基于同义词词库,根据同义词搜索文本数据。
原因分析 连接关闭有很多原因,是Elasticsearch服务器端不能完全控制的。例如,有可能关闭了连接,有可能有防火墙,交换机,VPN等,也有可能是keepalive设置问题,更换了连接服务器节点,网络不稳定等。 处理步骤 如果出现这种情况可以选择如下多种方式解决问题。
约束限制 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot version compatibility。 备份与恢复不支持动态增量数据同步,建议停止数据更新后再进行备份。 第三方存储仓库要配置公网访问才能迁移快照数据。
迁移Elasticsearch集群 Elasticsearch集群迁移 优化集群性能 写入性能优化 查询性能优化 实践案例 使用CSS加速数据库的查询分析 使用CSS搭建统一日志管理平台 使用Elasticsearch集群自定义评分查询 02 购买 云搜索服务的计费方式简单、灵活,
图2 Elasticsearch的索引组成 查询性能优化 基于Elasticsearch的数据查询流程分析,有以下几种性能优化方案。
加速关系型数据库查询 使用Elasticsearch加速关系型数据库的查询分析 关系型数据库(例如MySQL)受限于全文检索和Ad Hoc查询能力,因此会将Elasticsearch作为关系型数据库的补充,以此提升数据库的全文检索能力和高并发的Ad Hoc查询能力。
原因分析 导致出现I/O Reactor STOPPED的原因,大致可以分为以下3类: 回调中抛出异常导致。 客户端并发太高导致。 在日志中发现异常后,查看ElasticSearch集群监控指标,如CPU使用率、网络连接数等。
图3 文档插入Elasticsearch的流程 写入性能优化 基于Elasticsearch的数据写入流程分析,有以下几种性能优化方案。
开启内存流控 请求采样统计 可以记录客户端IP的访问和客户端的请求类型,用户可以基于统计值识别客户端IP的访问流量,分析当前客户端的写入和查询访问量。 开启请求采样统计 一键断流 可以切断节点的所有客户端连接,不包括Kibana访问和CSS后台运维、监控类接口。
标签 为集群添加标签,方便用户识别和管理拥有的集群资源。此处您可以选择“标签管理服务”中已定义好的“预定义标签”,也可以自己定义标签。 如您的组织已经设定云搜索服务的相关标签策略,则需按照标签策略规则为集群添加标签。
约束限制 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot version compatibility。 目标集群的节点数要大于源集群的节点数的一半,且不能小于源集群的shard副本数。 目标集群的CPU、MEM和Disk配置不能低于源集群的配置。
约束限制 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot version compatibility。 备份与恢复不支持动态增量数据同步,建议停止数据更新后再进行备份。 自建Elasticsearch集群需要配置公网访问权限才能备份快照到OBS。
标签 为集群添加标签,方便用户识别和管理拥有的集群资源。此处您可以选择“标签管理服务”中已定义好的“预定义标签”,也可以自己定义标签。 如您的组织已经设定云搜索服务的相关标签策略,则需按照标签策略规则为集群添加标签。
添加Path全局免流控白名单 请求采样统计 可以记录客户端IP的访问数量和采样用户的请求Path,用户可以基于统计值识别客户端IP的访问流量和分析哪些请求Path访问量大。
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证:通过Token认证调用请求。 AK/SK认证 AK/SK签名认证方式仅支持消息体大小
以下是该方案适用的专业迁移场景概述: 集群合并:Reindex API能够将分散在多个Elasticsearch集群中的索引数据合并至单一集群,实现数据的集中管理和分析。
图解云搜索服务
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 监控安全风险
集群管理接口 创建集群 查询集群列表 查询集群详情 删除集群 按需集群转包周期 修改集群名称 修改密码 重启集群 扩容集群 扩容实例的数量和存储容量 变更规格 获取实例规格列表 查询所有标签 查询指定集群的标签 添加指定集群标签 删除集群标签 批量添加或删除集群标签 指定节点缩容
如何调用API 构造请求 认证鉴权 返回结果