检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(每隔一分钟)会向FE汇报一次磁盘使用情况。FE记
Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 哪些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过程中,再次写入数据,容易打乱之前的数据均衡。 由于磁盘负载是计
择“更多 > 磁盘扩容”,进入扩容页面。 磁盘操作也可以在集群详情页面单击“磁盘扩容”,跳转磁盘扩容页面。 选择变配节点为FE/BE。 按“+”确定扩容磁盘后的磁盘容量。 确定费用以及资源配额后,单击确定。 磁盘扩容状态 表1 磁盘扩容任务状态说明 状态 说明 磁盘扩容中(任务状态)
作。 磁盘扩容操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。 选择操作集群,单击操作列的“磁盘扩容”,进入扩容页面。 图1 磁盘扩容页面 磁盘操作也可以在集群详情页面单击“磁盘扩容”,跳转磁盘扩容页面。 选择变配节点。 按“+”确定扩容磁盘后的磁盘容量。
磁盘操作也可以在集群详情页面单击“磁盘扩容”,跳转磁盘扩容页面。 单击“+”增加磁盘容量,确定费用以及资源配额后,单击确定。 磁盘扩容状态 表1 磁盘扩容任务状态说明 状态 说明 磁盘扩容中(任务状态) 表示集群正在扩容中。 服务中(集群状态) 当集群扩容成功并正常提供服务时,其集群状态为服务中。
弹性云服务器 ECS”。 单击“购买弹性云服务器”。 配置弹性云服务器参数。 选择CPU架构和规格。 图1 规格图 选择镜像和磁盘规格。 图2 选择镜像和磁盘规格 单击下一步:网络配置。 选择VPC和安全组。 图3 VPC图 如果已有VPC和安全组,则选择已有的VPC和安全组。 如
弹性云服务器 ECS”。 单击“购买弹性云服务器”。 配置弹性云服务器参数。 选择CPU架构和规格。 图1 规格图 选择镜像和磁盘规格。 图2 选择镜像和磁盘规格 单击下一步:网络配置。 选择VPC和安全组。 图3 VPC图 如果已有VPC和安全组,则选择已有的VPC和安全组。 如
HBase监控页面 集群详情页面主要展示每个节点的CPU使用率、内存使用率、磁盘使用率、磁盘使用量、磁盘总量。 HBase集群详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个HBase集群 进入详情页面,详情页面显示监控页面的指标。 图1 HBase监控页面
ClickHouse监控页面 集群详情页面主要展示每个节点的CPU使用率、内存使用率、磁盘使用率、磁盘使用量、磁盘总量。 ClickHouse集群详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个ClickHouse集群 进入详情页面,详情页面显示监控页面的指标。
Doris监控页面 集群详情页面主要展示Doris每个节点的CPU使用率、内存使用率、磁盘使用率。 详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个Doris集群 进入详情页面,详情页面显示监控页面的指标。 图1 监控页面 单击详情页面的监控小图标,可以
一个表的Tablet总数量等于 (Partition num*Bucket num)。 一个表的Tablet数量,在不考虑扩容的情况下,推荐略多于整个集群的磁盘数量。 单个Tablet的数据量理论上没有上下界,但建议在1G-10G的范围内。如果单个Tablet数据量过小,则数据的聚合效果不佳,且元
如果在创建集群的时候未开启冷热分离特性,可在集群详情页面或者集群列表的操作列开启冷热分离。 注意使用Doris集群不要长时间处于高负载(高CPU、高内存、高磁盘使用率等)状态,否则影响冷热分离的速率。如果业务需要可进行集群扩容,请参见扩容集群。 父主题: Doris冷热分离应用
ClickHouse访问RDS MySQL服务 ClickHouse面向OLAP场景提供高效的数据分析能力,支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中,后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和RDS服务下的MySQL数据库实例对接进行举例说明。
将该节点状态恢复正常。 注意事项 重启节点过程中,节点不可用。 重启后节点请在业务低谷期进行重启,避免对高峰期业务造成影响。 节点重启时,磁盘扩容、节点扩容、规格变更按钮置灰,不可操作。 节点重启是进程重启,不是整个节点重启。 节点重启操作步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。
节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U32G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 存储规格 磁盘:支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。
节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U32G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 存储规格 磁盘:支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。
be_webserver_port:节点端口。 设置回收站时间 回收站原理:删除的数据不会直接从磁盘上删除,而是先放入回收站,等待超时时间满足后,再从磁盘上直接删除。 设置回收站时间需要考虑的因素。 回收站时间过长,会累积垃圾文件,占用磁盘空间。 回收站时间过长,调用admin clean trash;命令
memory_usage_ratio 内存使用率 每个节点的内存使用率。 % 60 disk_usage 磁盘使用量 每个节点的磁盘使用量。 Byte 60 disk_usage_ratio 磁盘使用率 每个节点的磁盘使用率。 % 60 network_throughput_inbound_rate 网络吞吐流入速率
计算规格 8U32G(本地盘容量:1.6T)。 8U64G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 32U256G(本地盘容量:6.4T)。 存储规格 默认支持本地SSD盘。 节点数量
配额说明 表格存储服务用户默认的基础资源如下: 实例数 CPU数量 内存容量(GB) 磁盘数 磁盘容量(GB) 上述资源的配额查看及修改,请参见关于配额。