检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 监控安全风险
日志分析与检索:将MySQL中的日志数据同步到Elasticsearch,进行快速检索和分析。 应用性能监控:将应用性能数据存储在MySQL中,通过Logstash同步到Elasticsearch,进行实时监控和性能分析。 数据备份与恢复:通过Logstash将MySQL数据备份到Elastics
存中的文档数量。 迁移完成后,为什么源集群和目标集群的索引数据存储量不一致? ESM迁移集群后,两个集群的数据存储量不一致是正常的,这是由Elasticsearch的内部存储机制决定的。Elasticsearch存储是有多个shard,每个shard又有多个segment,由于E
h配置、监控实时的磁盘、集群负载、内存使用率等。 云搜索服务的Elasticsearch集群默认提供Cerebro,无需安装部署,即可一键访问Cerebro。云搜索服务完全兼容开源Cerebro,适配最新0.8.4版本。 支持Elasticsearch可视化实时负载监控。 支持E
API兼容的存储服务中,例如华为云的对象存储服务(OBS)。S3插件提供了一种高效、灵活且安全的方式来备份Elasticsearch集群的数据。 通过S3插件实现自建Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移,常用于以下场景: 服务迁移上云:将自
创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志
扩缩容OpenSearch集群 升级OpenSearch集群版本 管理OpenSearch集群 管理OpenSearch集群索引策略 OpenSearch集群监控与日志管理 查看OpenSearch集群审计日志
格。 规划存储容量 在规划CSS集群的存储容量时,应考虑数据量、副本因子、数据膨胀率和磁盘使用率等多个关键因素。以下是一个推荐的计算方法,用以确定所需的集群存储容量。 存储容量=源数据x(1+副本数量)x(1+数据膨胀率)x(1+预留空间比例) 源数据:首先确定预期存储的原始数据量。
升级Elasticsearch集群版本 管理Elasticsearch集群 管理Elasticsearch集群索引策略 Elasticsearch集群监控与日志管理 查看Elasticsearch集群审计日志
index=index_name&v 检查分片数是否分布不均匀。 提供如下两种方式查看: 通过CSS控制台集群详情页的“集群监控”中的“节点状态”查看,具体操作可参见查看监控指标。 通过CURL客户端,查看集群各个节点的分片个数。 curl "$p:$port/_cat/shards?in
1个节点 1 不支持 2个节点 2 1 1 3个节点 3 2 1 4个节点 4 2 2 … … … … 规划节点存储 规划节点机型 由于Logstash集群不涉及存储大规格数据,推荐选用计算密集型机型。 规划节点规格 在规划节点规格时,推荐优先考虑高配置但节点数量较少的方案。例如
添加Master或Client节点 约束限制 集群的节点存储容量只支持扩容不支持缩容,请基于业务量合理选择节点存储容量。 包周期集群不支持同时扩容“节点数量”和“节点存储容量”。 集群的Master节点和Client节点的存储容量不支持扩容。 当一个集群包含的节点类型不同时,各节点
添加Master或Client节点 约束限制 集群的节点存储容量只支持扩容不支持缩容,请基于业务量合理选择节点存储容量。 包周期集群不支持同时扩容“节点数量”和“节点存储容量”。 集群的Master节点和Client节点的存储容量不支持扩容。 当一个集群包含的节点类型不同时,各节点
节点规格”、“节点数量”和“节点存储”。“节点数量”可设置为1~32任意数值。“节点存储”的存储容量为固定值,存储类型可以根据实际情况选择。 启用冷数据节点 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 启用冷数据节点
节点规格”、“节点数量”和“节点存储”。“节点数量”可设置为1~32任意数值。“节点存储”的存储容量为固定值,存储类型可以根据实际情况选择。 启用冷数据节点 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 启用冷数据节点
使用CDM导入数据到Elasticsearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景
在日志中发现异常后,查看ElasticSearch集群监控指标,如CPU使用率、网络连接数等。 当用户集群配置为5台16U128G的i3.4xlarge.8节点时,且每天上午5点左右会做大量bulk操作,写入大概100G-200G的数据,根据集群监控指标的CPU使用率、网络流入流出速率来看对
X86计算 节点规格 选择集群节点的规格。 ess.spec-4u8g 节点存储 选择集群节点的存储类型。 高I/O 节点存储容量 设置集群节点的存储空间大小,其取值范围与节点规格关联,不同的规格允许的取值范围不同。节点存储容量只支持配置为20的倍数。 40GB 启用Master节点 Ma
自动设置集群快照的基础配置(不推荐使用) 功能介绍 该接口用于自动设置集群快照的基础配置,包括配置OBS桶和IAM委托。 “OBS桶”:快照存储的OBS桶位置。 “备份路径”:快照在OBS桶中的存放路径。 “IAM委托”:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。