-
性能数据 - 云搜索服务 CSS
性能数据 测试环境 集群:3台8U64G华为云m6型机器 数据:开源web-server-access-logs数据集;内部业务数据集(dns_logs) 配置:120分片,0副本,开启上述所有增强特性 测试结果 类别 优化前性能 优化后性能 提升比例 开源数据集 85M/s 131M/s
-
导入性能增强 - 云搜索服务 CSS
导入性能增强 背景信息 使用说明 性能数据 父主题: 集群增强特性
-
性能说明 - 云搜索服务 CSS
性能说明 通过Elasticsearch官方提供的benchmark脚本rally1.0.0,对云搜索服务的集群(版本:7.6.2) 进行性能测试。 本次测试采用官方提供的geonames,大小3.2G,11396505个doc。索引采用6个shard(默认为5个)。性能指标说明
-
写入性能优化 - 云搜索服务 CSS
写入性能优化 CSS集群在使用前,建议参考本文进行集群的写入性能优化,便于提高集群的写入性能,提升使用效率。 数据写入流程 图1 数据写入流程 当从客户端往Elasticsearch中写入数据时,写入流程如下: 客户端向Node1发送写数据请求,此时Node1为协调节点。 节点N
-
查询性能优化 - 云搜索服务 CSS
查询性能优化 CSS集群在使用前,建议参考本文进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 数据查询流程 图1 数据查询流程 当从客户端往Elasticsearch发送查询请求时,查询流程如下: 客户端向Node1发送查询请求,此时Node1为协调节点。 节点N
-
优化集群性能 - 云搜索服务 CSS
优化集群性能 写入性能优化 查询性能优化
-
向量检索的性能调优 - 云搜索服务 CSS
向量检索的性能调优 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
-
查询冷数据性能提升 - 云搜索服务 CSS
查询冷数据性能提升 背景信息 在Kibana的Discover页面的首次查询时,由于此时无任何缓存,导致所有数据均需要从OBS上获取。当命中的文档数量较多时,需要耗费大量的时间从OBS上获取对应的时间字段以及文件元数据。如果将这一部分数据直接缓存在本地,即可大量提升查询性能,解决Discover页面首次查询慢的问题。
-
背景信息 - 云搜索服务 CSS
背景信息 特性介绍 导入性能增强为华为云CSS自研特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 约束限制 目前仅7.10.2版本Elasticsearch集群和1.3.6版
-
使用说明 - 云搜索服务 CSS
使用说明 Bulk路由优化 Bulk聚合优化 文本索引加速 其他相关参数优化 父主题: 导入性能增强
-
其他相关参数优化 - 云搜索服务 CSS
其他相关参数优化 开启上述导入性能增强的优化后,索引merge任务会相应增加,可以通过调整如下配置降低merge任务开销对导入性能的影响: 通过指定配置项“index.merge.scheduler.max_thread_count”,增加shard的合并线程数,减少合并对数据导入的限流。默认为4,建议设置为8。
-
文本索引加速 - 云搜索服务 CSS
(text、keyword)能够极大提升索引构建的性能。 通过指定配置项“index.native_analyzer”开启或关闭分词加速功能,对于需要分词的文本字段(text),无特殊分词需求时,可以开启自研分词器加速提升分词性能。 操作步骤 在“集群管理”页面,选择已创建的集群
-
Bulk聚合优化 - 云搜索服务 CSS
关闭批量导入优化。开启批量后bulk请求中的doc从单个依次写入变为批量写入,能有效减少内存申请、锁申请、及其他调用开销,从而提升数据导入性能。 “index.aggr_perf_batch_size”取值范围为[1, Integer.MAX_VALUE],默认值为1,表示关闭批
-
Bulk路由优化 - 云搜索服务 CSS
通过指定配置项“index.bulk_routing”可以开启bulk路由优化,该优化可以减少内部转发的请求数量,在shard数较多的场景下,能够有效提升写入性能以及减少写入拒绝。 操作步骤 在“集群管理”页面,选择已创建的集群,单击操作列“Kibana”,登录Kibana界面。 在左侧导航栏,选择“Dev
-
续费概述 - 云搜索服务 CSS
续费概述 续费简介 包年/包月集群到期后会影响集群的正常运行。如果您想继续使用,需要在指定的时间内为集群续费,否则vCPUs、内存、云硬盘等资源会自动释放,数据丢失且不可恢复。 续费操作仅适用于包年/包月集群,按需计费集群不需要续费,只需要保证账户余额充足即可。 集群在到期前续费
-
迁移方案概述 - 云搜索服务 CSS
见表1。 其中,基于数据源同步的迁移方案没有明显的限制,且迁移性能方面优于其他3个方案。另外基于数据源同步的迁移方案,在数据同步后随时可割接,更加方便灵活。 表1 迁移方案说明 迁移方案 方案描述 方案限制 迁移性能 备份与恢复 需要有支持s3协议的共享存储,例如OBS桶。先在源
-
Elasticsearch针对filebeat配置调优 - 云搜索服务 CSS
Elasticsearch针对filebeat配置调优 问题现象 filebeat是性能非常出色的文件采集工具,绝大多数的业务日志可以很容易的在1秒内收集至elasticsearch内,但是个别日志量大的业务日志无法及时收集,按照官方的默认配置通常1核CPU分配给filebeat
-
按需计费 - 云搜索服务 CSS
费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务, 适用计费项 计算资源(vCPUs和内存)只有同时配合云硬盘、公网带宽,才能确定一个集群的具体服务形态。以下计费项支持按需计费。 计费项 说明 节点规格 包括vCPUs和内存。 节点存储 节点的磁盘存储类型和节点存储大小。
-
与其他服务之间的关系 - 云搜索服务 CSS
性云服务器(ECS)。创建集群时将自动创建弹性云服务器作为节点。 云硬盘(Elastic Volume Service,简称EVS) 云搜索服务CSS使用云硬盘(EVS)存储索引数据。创建集群时,将自动创建云硬盘用于集群存储。 对象存储服务(Object Storage Service,简称OBS)
-
访问日志 - 云搜索服务 CSS
一种是通过日志打印的方式记录访问日志,开启后用户的访问日志会以文件的方式打印到后端日志中,用户通过查看日志文件查看访问日志。 开启访问日志会影响集群性能。 在开启或关闭访问日志时,执行命令涉及的配置参数如下: 表1 访问日志的配置参数说明 配置名 类型 说明 duration_limit String