检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理Logstash集群 查看Logstash集群信息 设置Logstash集群标签 为Logstash集群绑定企业项目 管理Logstash集群的CA证书 强制重启Logstash集群 删除Logstash集群 父主题: 使用Logstash迁移数据
配置Logstash迁移任务 创建Logstash配置文件 启动Logstash迁移任务 停止Logstash迁移任务 Logstash配置文件模板介绍 父主题: 使用Logstash迁移数据
kafka模板说明 beats 从beats导入数据到Elasticsearch类型集群。 dis模板说明 dis 从dis导入数据到Elasticsearch类型集群。 beats模板说明 redis模板说明 从redis数据库导入数据到Elasticsearch类型集群。
通过索引生命周期管理实现Elasticsearch集群自动滚动索引 方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。
当Logstash集群和数据源的子网不在同一个主网卡时,需要配置Logstash集群路由,给Logstash集群的每个节点新增一个指向目标IP地址(即源数据所在的服务器IP地址)的回程路由,以此打通Logstash集群和数据源之间的网络。
扩缩容Logstash集群 扩容Logstash集群 缩容Logstash集群 父主题: 使用Logstash迁移数据
Elasticsearch集群 通过Python客户端接入Elasticsearch集群 通过MRS Hive客户端接入Elasticsearch集群 通过Go客户端接入Elasticsearch集群 通过LDAP接入Elasticsearch集群 父主题: 使用Elasticsearch搜索数据
检测集群数据节点/冷数据节点的存储用量是否均衡,不均衡的存储用量分布可能导致集群负载不均,读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多,单节点分片数量过多会消耗大量节点资源,读写请求时延增加,集群元数据更新缓慢等。
索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和 数据备份 系统检查 升级前要做好数据备份,防止升级故障数据丢失。在提交升级任务时,可以选择是否需要系统检查全量索引的快照备份。 确认是否存在数据备份。 资源充足 系统检查 升级任务启动后,系统会自动检查资源。
GRAPH_PQ:将HNSW算法与PQ算法进行了结合,通过PQ降低原始向量的存储开销,能够使HNSW轻松支撑上亿规模的检索场景。
判断依据:状态码为429 ≥ 0 cold_data_storage 冷数据存储量 CSS集群冷数据存储总量。 ≥ 0 bytes 节点监控指标列表 监控的指标ID、指标名称、指标含义以及取值范围参见表2。
配置Elasticsearch集群网络 配置Elasticsearch集群公网访问 配置Elasticsearch集群终端节点服务 配置Elasticsearch集群独享型负载均衡 父主题: 使用Elasticsearch搜索数据
缩容Logstash集群 当集群有充足的能力处理当前数据时,为节省资源可以缩容Logstash集群。 缩容Logstash集群是通过随机下线节点减少集群的“节点数量”,减少集群占用的资源。 前提条件 集群处于“可用”状态,且无正在进行的任务。
扩缩容OpenSearch集群 扩容OpenSearch集群 缩容OpenSearch集群 父主题: 使用OpenSearch搜索数据
配置Elasticsearch集群索引回收站 父主题: 使用Elasticsearch搜索数据
集群中索引的最大主备分片数能够被分配到剩余数据节点和冷数据节点中,防止切换过程中出现节点下线后副本无法分配的情况。即“索引的主备分片数的最大值+1 ≤ 切换前的数据节点数和冷数据节点之和”。 切换前建议做好数据备份,防止升级故障数据丢失。
集群监控与日志管理 Elasticsearch集群支持的监控指标 配置Elasticsearch集群监控 设置Elasticsearch集群SMN告警通知 智能检测Elasticsearch集群风险 查询和管理Elasticsearch集群日志 父主题: 使用Elasticsearch搜索数据
Logstash集群监控与日志管理 CES中Logstash集群支持的监控指标 使用CES监控Logstash集群 查询和管理Logstash集群日志 父主题: 使用Logstash迁移数据
配置OpenSearch集群向量检索 向量检索特性介绍 在OpenSearch集群创建向量索引 在OpenSearch集群使用向量索引搜索数据 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java) 父主题: 增强
当添加新用户“test”时,系统会自动生成一个名为“.kibana_xxx_test”的索引,该用户Private空间的内容将存储于此。同理,管理员账号的Private Tenant空间内容则存储在“.kibana_xxx_admin”索引中。