云搜索服务 CSS-增强OpenSearch集群数据导入性能:Bulk路由优化

时间:2024-08-28 10:38:40

Bulk路由优化

通过指定配置项“index.bulk_routing”可以开启集群的Bulk路由优化,该优化可以减少内部转发的请求数量,在shard数较多的场景下,能够有效提升写入性能以及减少写入拒绝。

开启Bulk路由优化后(即“index.bulk_routing”设置为“pack”“ocal_pack”),数据写入不再根据“_id”进行路由,与路由的相关功能使用会受限,例如根据“_id”进行文档GET请求可能失败。

  1. “集群管理”页面,选择可用的集群,单击操作列“Kibana”,登录Kibana界面。
  2. 在Kibana左侧导航栏,选择“Dev Tools”
  3. “Dev Tools”页面,执行如下命令开启Bulk路由优化。
    PUT my_index 
    {
      "settings": { 
        "index.bulk_routing": "local_pack"
      } 
    }
    配置项“index.bulk_routing”的取值范围如下所示。
    • “default”:缺省值,使用集群默认的路由机制,Bulk请求中的每一条记录会拆分后独立路由。
    • “pack”:单个Bulk请求的数据会被随机路由到同一个shard中。
    • “ocal_pack”:单个Bulk请求的数据会被路由到接收该Bulk请求的数据节点的本地shard中,如果该节点不包含对应index的shard,则会进行随机路由到其他包含该索引shard节点上。该方案依赖客户端Bulk请求的随机打散和主shard的均衡分布。
support.huaweicloud.com/usermanual-css/css_01_0090.html