检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
csearch,前提是要保证客户端与Elasticsearch集群网络连通。 准备工作 CSS集群处于可用状态。 确保客户端与CSS集群的网络是互通的。 确保CSS集群和MRS集群在同一个区域、可用区、虚拟私有云和子网。 图1 CSS集群的区域等信息 接入集群 获取集群的内网访问
支持时间、标签等各种维度分类 Cerebro Cerebro是使用Scala、Play Framework、AngularJS和Bootstrap构建的基于Elasticsearch Web的开源可视化管理工具。通过Cerebro可以对集群进行Web可视化管理,如执行Rest请求、修改Elas
重试升级失败任务 功能介绍 由于升级过程时间较长,可能由于网络等原因导致升级失败,可以通过该接口重试该任务或终止该任务的影响。 调用方法 请参见如何调用API。 URI PUT /v1.0/{project_id}/clusters/{cluster_id}/upgrade/{action_id}/retry
sticsearch的官方介绍Near Real-Time Search。 图3 文档插入Elasticsearch的流程 写入性能优化 基于Elasticsearch的数据写入流程分析,有以下几种性能优化方案。 表1 写入性能优化 优化方案 方案说明 使用SSD盘或升级集群配置
每个事件的时间。 默认值:50 单位:毫秒 queue.type 用于事件缓冲的内部队列模型。 “memory”为基于内存的传统队列。 “persisted”为基于磁盘的ACKed持久化队列。 默认值:memory queue.checkpoint.writes 表示强制执行检查点之前写入的最大事件数。当“queue
本文介绍通过Python语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Python代码的服务器与CSS集群的网络是互通的。 接入集群 安装Elasticsearch Python客户端,建议和Elasticsearch的版本保持一致,例如需要访问的集群版本是7
冻结后的索引禁止写入。取值为true。 index.store.type 标识该索引的存储类型为obs。取值为obs。 基于冻结状态查询索引列表 执行如下命令,基于冻结状态查询索引列表。 GET _cat/freeze_indices?stage=${STAGE} 表7 请求参数说明
通过Go客户端接入Elasticsearch集群 本文介绍通过Go语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Go代码的服务器与CSS集群的网络是互通的。 确认服务器已安装Go,Go官网下载地址:https://go.dev/dl/。 连接非安全集群 连接非安全集群,示例代码如下:
新建索引很容易会被balande.shard参数主导,平衡所有索引的分片,即都分配在新节点上看起来更加平衡。 涉及集群平衡性shard分配主要有两个配置参数: cluster.routing.allocation.balance.index(默认值0.45f) cluster.routing
通过自建Cerebro访问集群 使用自建Cerebro访问集群时,需要确保自建Cerebro与集群的网络是互通的。 获取集群的访问地址。不同网络配置的访问地址获取方式请参见网络配置。 启动自建Cerebro,填写集群的访问地址对接CSS集群。 安全模式的集群填写:https://访问地址:9200
当OpenSearch集群的数据面业务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规格”。变更规格过程中,会依次对节点进行关机,完成更改后再依次开机,是一个滚动的变更过程。 一般用于小规格变更为大规格,常用于如下场景:
务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规格”。变更规格过程中,会依次对节点进行关机,完成更改后再依次开机,是一个滚动的变更过程。 一般用于小规格变更为大规格,常用于如下场景:
冻结后的索引禁止写入。取值为true。 index.store.type 标识该索引的存储类型为obs。取值为obs。 基于冻结状态查询索引列表 执行如下命令,基于冻结状态查询索引列表。 GET _cat/freeze_indices?stage=${STAGE} 表7 请求参数说明
通过自建Cerebro访问集群 使用自建Cerebro访问集群时,需要确保自建Cerebro与集群的网络是互通的。 获取集群的访问地址。不同网络配置的访问地址获取方式请参见网络配置。 启动自建Cerebro,填写集群的访问地址对接CSS集群。 安全模式的集群填写:https://访问地址:9200
editor”,单击“Continue”进入创建索引策略页面。 “Policy ID”:自定义策略名称。 “Define policy”:基于策略示例,配置自定义策略。 图1 配置策略 单击Create完成索引策略的创建。 索引关联生命周期策略 创建索引策略后,可以将此策略附加到
单击“批量测试”,进行一次性测试多个IP地址的连通性。 图1 连通性测试 当显示“可用”时,表示集群间网络连通。如果网络不连通,可以配置Logstash集群路由,连通集群间的网络,具体操作请参见配置Logstash集群路由。 启动配置文件 当管道列表没有“工作中”的任务时,通过启
每个event被pipeline调度等待的最小时间。 单位毫秒。 queueType String 用于事件缓冲的内部队列模型。memory为基于内存的传统队列,persisted为基于磁盘的ACKed持久化队列,默认值为memory。 queueCheckPointWrites Integer 如果使
每个event被pipeline调度等待的最小时间。 单位毫秒。 queueType String 用于事件缓冲的内部队列模型。memory为基于内存的传统队列,persisted为基于磁盘的ACKed持久化队列,默认值为memory。 queueCheckPointWrites Integer 如果使
routing.allocation.require.box_type": "cold" } “myindex”表示索引名称。“cold”可以基于需要改成“hot”。 当需要回退冷热数据时,可以执行如下命令,删除冷热数据配置。这时候索引数据会被当成普通索引,随机均衡分布在冷热数据节点中。
U使用率、网络连接数等。 当用户集群配置为5台16U128G的i3.4xlarge.8节点时,且每天上午5点左右会做大量bulk操作,写入大概100G-200G的数据,根据集群监控指标的CPU使用率、网络流入流出速率来看对ElasticSearch节点造成不了压力,网络连接数较高