检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"xxxxxxxxxxxxxxxxx" //SK "max_restore_bytes_per_sec": "100mb", //OBS速度,默认是40MB,可以根据实际性能调大 "max_snapshot_bytes_per_sec": "100mb" }
max_bytes_per_sec”和“cluster.routing.allocation.cluster_concurrent_rebalance”两个参数值增加索引分配速度。 父主题: CSS集群监控与运维
几种性能优化方案。 表1 写入性能优化 优化方案 方案说明 使用SSD盘或升级集群配置 使用SSD盘可以大幅提升数据写入与merge操作的速度,对应到CSS服务,建议选择“超高IO型”存储,或者超高IO型主机。 采用Bulk API 客户端采用批量数据的写入方式,每次批量写入的数据建议在1~10MB之间。
"L"} 获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过公网IP访问,或者
"L"} 获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过公网IP访问,或者
使用SQL语言在Elasticsearch中搜索数据 在Elasticsearch集群 6.5.4及之后版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语
集群状态。 性能影响 使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案避免了对Elasticsearch外部读写接口的依赖,从而显著降低了对源集群性能的影响。对于对业务延迟要求不严苛的集群而言,此方法对性能的干扰几乎可以忽略。 约束限制 目标集群的版
total_shards_per_node": 2 } 即单个索引在每个节点上最多分配2个shards。其中,具体每个节点最多分配多少个shards,请根据集群数据节点个数、索引分片(主、副)的数量自行决定。 如果是shards集中分配在数量过少的节点上导致索引shards分配到同一个节点上,可以使用POST
设置为true,可能会导致索引在预读阶段的时间明显变长,有时会远远超出查询数据所耗费的时间。建议设置为false,以提高查询效率。 es.resource NA 指定要读写的Index和type。 es.net.http.auth.user NA 访问集群的用户名,只有启用了安全模式才需要配置此值。 es.net
堆内存的20%,则表示缓存过大,可执行命令POST _cache/clear清除缓存。这些缓存数据是在数据查询时生成的,目的是为了加快查询速度,当缓存清除则可能使查询时延增加。 name queryCacheMemory fielddataMemory
高版本兼容性:适用于不同版本的Elasticsearch集群迁移。 高效的数据处理能力:Logstash支持批量读写操作,可以大幅度提高数据迁移的效率。 并发同步技术:利用slice并发同步技术,可以提高数据迁移的速度和性能,尤其是在处理大规模数据时。 配置简单:华为云Logstash的配置相对简单直观,
total_shards_per_node参数。 返回结果中“explanation”如下,表示设置的“index.routing.allocation.total_shards_per_node”值过小,不满足索引的分片分配要求。 图4 index total_shards_per_node设置错误
中涉及到OBS查询的性能都会下降,例如恢复分片的速度变慢、查询数据时变慢等。 访问集群 登录云搜索服务管理控制台。 在“集群管理”页面,选择需要访问的集群,单击操作列“Kibana”,登录OpenSearch Dashboards页面。 选择左侧导航栏的“Dev Tools”,进入操作页面。
您可以根据需求,选择是否需要“自动续费”。 当前区域 选择集群的所在区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 可用区 选择集群工作区域下关联的可用区。 最多支持配置2个“可用区”,多可用区的使用建议请参见规划集群可用区。 集群类型 选择“Logstash”。
时延会增加,在聚合时,由于查询复杂、数据读取多,时延变长会更明显。 已转储到OBS中的索引不支持解冻,即不可回退为可写的索引。 在配置了读写分离的集群中,从集群无法对由主集群同步过来的索引数据设置存算分离。 由于存算分离的特性依赖OBS,所以使用过程中要遵守OBS的“带宽”和“
迁移时间。 性能影响 使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案避免了对Elasticsearch外部读写接口的依赖,从而显著降低了对源集群性能的影响。对于对业务延迟要求不严苛的集群而言,此方法对性能的干扰几乎可以忽略。 约束限制 目标集群的版
在OpenSearch Dashboards上使用开源OpenSearch API导入数据:使用POST命令导入数据。 在ECS服务器上使用开源OpenSearch API导入数据:使用Curl命令导入数据。 在OpenSearch Dashboards上使用开源OpenSearch API导入数据
"number_of_shards": "30", //指定index分配的shard数,可以根据一个shard 30GB左右的空间来分配 "routing.allocation.total_shards_per_node": 3 //指定一个节点最多容纳的shards数
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Dashboards查询 登录云搜索服务控制台。 在集群管理列表,选择需要查看插件的集群,单击操作列的“Kibana”登录Kibana或OpenSearch Dashboards界面。 非安全模式的集群:将直接进入Kibana或OpenSearch Dashboards操作界面。