检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
转发到待导入数据的集群中。 ssh -g -L <跳转主机的本地端口:节点的内网访问地址和端口号> -N -f root@<跳转主机的私网IP地址> <跳转主机的本地端口>:为步骤1中的端口。 <节点的内网访问地址和端口号>:为集群中某一节点的内网访问地址和端口号。当该节点出现故
icsearch强大的搜索和分析能力。 日志分析与检索:将MySQL中的日志数据同步到Elasticsearch,进行快速检索和分析。 应用性能监控:将应用性能数据存储在MySQL中,通过Logstash同步到Elasticsearch,进行实时监控和性能分析。 数据备份与恢复:
优化Elasticsearch和OpenSearch集群查询性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 数据查询流程 图1 数据查询流程 如图1所示,以Elastic
测试数据源和目的端与Logstash集群之间的网络连通性,确保数据传输畅通:测试连通性 通过启动配置文件启动Logstash迁移任务。 当管道列表没有“工作中”的任务时,则启动配置文件。 当管道列表有“工作中”的任务时,则热启动配置文件。 通过指标监控、操作记录和运行日志监控迁移任务。
云搜索服务的计费项由规格费用、存储费用和公网带宽费用组成。具体内容如表1所示。 标 * 的计费项为必选计费项。 表1 云搜索服务计费项 计费项 计费项说明 适用的计费模式 计费公式 * 节点规格 计费因子:vCPUs和内存,不同规格的集群类型提供不同的计算和存储能力。 包年/包月、按需计费
打开集群快照功能后,CSS服务会自动为客户创建OBS桶和IAM委托,用于存储快照。自动创建的OBS桶和IAM委托将直接展示在界面中。 当需要修改OBS桶和IAM委托时,可以单击“基础配置”右侧的修改。修改后,集群将会从新的OBS桶中获取快照数据。 表1 集群快照基础配置 参数 说明 OBS桶
打开集群快照功能后,CSS服务会自动为客户创建OBS桶和IAM委托,用于存储快照。自动创建的OBS桶和IAM委托将直接展示在界面中。 当需要修改OBS桶和IAM委托时,可以单击“基础配置”右侧的修改。修改后,集群将会从新的OBS桶中获取快照数据。 表1 集群快照基础配置 参数 说明 OBS桶
自定义目的端名称。 Type 保持默认值“SMN”。 Topic 选择前提条件中创建好的用于发送告警消息的SMN主题。 说明: 7.1.1版本的Elasticsearch集群,需要手动输入Topic,注意和SMN服务中的主题名称保持一致。 图1 Add destination 单击“Cr
查询和管理Logstash集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份和日志查询功能。日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。
在云搜索服务管理控制台的总览页面,可以查看云搜索服务的资源监控和告警。 查看资源告警 在总览页面查看CSS服务的告警信息。 登录云搜索服务管理控制台。 在左侧导航栏选择“总览”,在“告警”模块查看告警信息。 图1 告警信息 单击“全部”,在“告警记录”弹窗中查看详细告警信息。 鼠标悬停在资源名称上,会显示告警情况。
CSS服务创建集群时有哪些节点存储选项? 云搜索服务采用EVS和本地磁盘存储用户的索引。在集群创建过程中,用户可指定EVS的类型及规格(即卷大小)。 支持EVS类型有普通I/O、高I/O、超高I/O。 针对不同的ECS,其对应的EVS卷大小限制根据创建集群选择的节点规格而定。 创建集群过程中,最少可创建1个节点,最多
磁盘使用率超过85%:会导致新的分片无法分配。 磁盘使用率超过90%:集群会尝试将对应节点中的分片迁移到其他磁盘使用率比较低的数据节点中。无法迁移时系统会对集群每个索引强制设置“read_only_allow_delete”属性,此时索引将无法写入数据,只能读取和删除对应索引。 磁盘使用率过高时可能会发生节点脱离,后
约束与限制 本文主要介绍CSS集群的节点数量和配额限制,在使用云搜索服务的过程中,不同功能的限制请参见用户指南的相关章节。 集群的节点数量限制 下表显示了云搜索服务的集群节点数量的限制。 表1 Elasticsearch和OpenSearch集群的节点限制 集群的节点数量 限制 每个集群的最大节点数量
产品组件 CSS服务支持Kibana和Cerebro组件。 Kibana Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。
CSS服务中如何设置Elasticsearch集群慢查询日志的阈值? 云搜索服务的慢查询日志设置和elasticsearch保持一致,通过 _settings接口设置。例如,您可以在Kibana中执行如下样例,设置索引级别。 PUT /my_index/_settings {
目标集群(Es-2)和源集群(Es-1)处于可用状态。建议在业务空闲期进行集群迁移。 确认目标集群(Es-2)和源集群(Es-1)在同一个Region和账号下。 如果集群跨地域或跨账号,请参考配置跨区域复制将源集群存储快照的OBS桶复制到目标集群存储快照的OBS桶中,迁移时在目标集群执行恢复操作。
t采集ECS中的日志,发送到Logstash进行数据处理,再存储到Elasticsearch中,最后通过Kibana进行日志的可视化查询与分析。该方案可以用于以下场景: 日志管理:集中管理应用程序和系统日志,快速定位问题。 安全监控:检测和响应安全威胁,进行入侵检测和异常行为分析。
CSS集群冻结索引后如何查询OBS上的索引占用量? CSS集群冻结到OBS上的索引大小和未冻结时的索引大小是一样的,通过查询已冻结的索引信息就可以获取OBS上所有索引的大小信息,而所有索引的大小之和就是OBS上索引的占用量。 执行如下命令获取正在冻结过程中或者已经冻结完成的所有索引。 GET _cat/freeze_indices
在加载页面中,不能进入Kibana控制台。 原因分析 浏览器缓存导致,清理缓存。 处理步骤 登录云搜索服务管理控制台。 在左侧导航栏,单击“集群管理”。 在集群对应的“操作”列,单击“Kibana”,打开Kibana界面。 如果您开启了安全模式,登录时候需要输入用户名和密码。用户
体请参见Logstash配置文件模板介绍。 自定义模板是用户在使用过程中添加的配置文件模板。 说明: 配置文件内容大小不能超过100k。 隐藏内容列表 配置隐藏字符串列表后,在返回的配置内容中,会将所有在列表中的字串隐藏为“***”。 输入需要隐藏的敏感字串列表,按“Enter”创建。