检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RS集群的每个节点都能连通CSS集群。 非安全模式的集群 curl -X GET http://<host>:<port> 安全模式+HTTP协议的集群 curl -X GET http://<host>:<port> -u <user>:<password> 安全模式+HTTPS协议的集群
了解CSS的Elasticsearch增强能力 操作指导 云搜索服务 CSS 使用Elasticsearch搜索数据 10:24 使用CSS的Elasticsearch集群搜索数据 云搜索服务 CSS 创建Elasticsearch集群用户并授权 06:43 创建CSS的Elasticsearch集群用户并授权
成队列满后,作业被拒绝。 处理步骤 登录云搜索服务控制台。 选择“集群管理”进入集群管理列表。 选择对应集群操作列“更多”>“Cerebro”。 如果是安全模式集群,需要输入登录账号(admin)和密码。 在Cerebro中查看集群的分片数、各节点的cpu、load、head、dis等数据指标。
转换、优化和输出的能力,可以灵活地处理各种数据同步需求。 实时性:Logstash可以实现数据的准实时同步,满足大多数业务场景的需求。 易用性:通过Logstash配置文件即可实现数据同步,操作简单,无需复杂的代码开发。 约束限制 Elasticsearch中的_id字段必须与MySQL中的id字段相同。
使用云搜索服务时,成本主要包含各类资源和资源包的成本,这取决于云搜索服务的计费项。 华为云成本中心可以帮助您更高效地管理资源成本,但运维成本需要您自行识别、管理和优化。 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生的成本负责。企业可以通过成本分配的方式,将云
在“基本信息”页面,可以查看当前集群绑定的公网IP地址。 解绑 对于已经绑定的公网IP地址,可以通过单击“公网访问”参数右侧的“解绑”,解绑公网IP地址。 解绑公网访问后,将无法通过公网IP地址访问集群。当关闭集群的公网访问后再重新打开,集群的公网地址可能会发生变化,请谨慎操作。 通过公网IP地址接入集群
在“基本信息”页面,可以查看当前集群绑定的公网IP地址。 解绑 对于已经绑定的公网IP地址,可以通过单击“公网访问”参数右侧的“解绑”,解绑公网IP地址。 解绑公网访问后,将无法通过公网IP地址访问集群。当关闭集群的公网访问后再重新打开,集群的公网地址可能会发生变化,请谨慎操作。 通过公网IP地址接入集群
副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads”的值(默认为4),增加向量索引构建的线程数。 PUT
静态停词词库是预置的常用词语的停词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置的静态停词词库时,单击“更新”,选择txt格式的词库文件。 当不使用静态停词库时,单击“不使用此词库”,删除词库。 Extra主词词库 Extra主词词库是预置的生僻词语的主词库。默认选择“不更新”表示使用该预置词库。
副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads”的值(默认为4),增加向量索引构建的线程数。 PUT
静态停词词库是预置的常用词语的停词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置的静态停词词库时,单击“更新”,选择txt格式的词库文件。 当不使用静态停词库时,单击“不使用此词库”,删除词库。 Extra主词词库 Extra主词词库是预置的生僻词语的主词库。默认选择“不更新”表示使用该预置词库。
当新增索引或分片分配的处理时间过长,或管理集群各个节点的协调、调度不足时,可以升级Master节点的“节点规格”保证集群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点的“节点规格”。 当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。
当新增索引或分片分配的处理时间过长,或管理集群各个节点的协调、调度不足时,可以升级Master节点的“节点规格”保证集群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点的“节点规格”。 当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。
扩展性:水平扩展能力强,可以处理PB级别的数据。 前提条件 已创建非安全模式的Elasticsearch集群,操作步骤请参见创建Elasticsearch集群。 已申请弹性云服务器ECS,并安装了Java环境,购买ECS请参见快速购买和使用Linux ECS。 操作步骤 登录ECS,部署并配置Filebeat。
计费项 云搜索服务的计费项由规格费用、存储费用和公网带宽费用组成。具体内容如表1所示。 标 * 的计费项为必选计费项。 表1 云搜索服务计费项 计费项 计费项说明 适用的计费模式 计费公式 * 节点规格 计费因子:vCPUs和内存,不同规格的集群类型提供不同的计算和存储能力。 包年/包月、按需计费
3版本,这个索引特性是在7.10版本之后才支持的,低版本集群使用该特性将无法分配索引的分片,导致集群不可用。 确定集群是否必须使用该不匹配的特性。 是,创建与所需索引特性相匹配的版本集群,然后将老集群的数据通过备份恢复至新集群。 否,执行下一步。 执行命令去除索引中不符合集群版本的特性。 PUT /index_name/_settings
与其他服务之间的关系 CSS与其他服务的关系如图1所示。 图1 CSS与其他服务的关系 表1 CSS服务与其他服务的关系 相关服务 交互功能 虚拟私有云(Virtual Private Cloud,简称VPC) 云搜索服务CSS的集群创建在虚拟私有云(VPC)的子网内,VPC通过
通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。 图1 切换冷热数据原理 在创建集群时,启用的冷数据节点会被打上“cold”标签,用来存放
通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。 图1 切换冷热数据原理 在创建集群时,启用的冷数据节点会被打上“cold”标签,用来存放
问题现象 filebeat是性能非常出色的文件采集工具,绝大多数的业务日志可以很容易的在1秒内收集至elasticsearch内,但是个别日志量大的业务日志无法及时收集,按照官方的默认配置通常1核CPU分配给filebeat时,写ES的速率低于1M/S,这里可以针对filebeat