检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
磁盘扩容操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。 选择操作集群,单击操作列的“磁盘扩容”,进入扩容页面。 图1 磁盘扩容页面 磁盘操作也可以在集群详情页面单击“磁盘扩容”,跳转磁盘扩容页面。 图2 磁盘扩容 选择变配节点。
如果在英文界面,选定集群的操作列,选择“更多 > 磁盘扩容”,进入扩容页面。 图1 磁盘扩容页面 磁盘操作也可以在集群详情页面单击“磁盘扩容”,跳转磁盘扩容页面。 图2 磁盘扩容 选择变配节点为FE/BE。 按“+”确定扩容磁盘后的磁盘容量。 确定费用以及资源配额后,单击确定。
磁盘操作也可以在集群详情页面单击“磁盘扩容”,跳转磁盘扩容页面。 单击“+”增加磁盘容量,确定费用以及资源配额后,单击确定。 磁盘扩容状态 表1 磁盘扩容任务状态说明 状态 说明 磁盘扩容中(任务状态) 表示集群正在扩容中。
ClickHouse监控页面 集群详情页面主要展示每个节点的CPU使用率、内存使用率、磁盘使用率、磁盘使用量、磁盘总量。 ClickHouse集群详情页面查看 登录表格存储服务管理控制台。
HBase监控页面 集群详情页面主要展示每个节点的CPU使用率、内存使用率、磁盘使用率、磁盘使用量、磁盘总量。 HBase集群详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个HBase集群 进入详情页面,详情页面显示监控页面的指标。
Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 哪些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。
Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(每隔一分钟)会向FE汇报一次磁盘使用情况。
配额说明 表格存储服务用户默认的基础资源如下: 实例数 CPU数量 内存容量(GB) 磁盘数 磁盘容量(GB) 上述资源的配额查看及修改,请参见关于配额。
图1 规格图 选择镜像和磁盘规格。 图2 选择镜像和磁盘规格 单击下一步:网络配置。 选择VPC和安全组。 图3 VPC图 如果已有VPC和安全组,则选择已有的VPC和安全组。 如果没有创建的VPC,请单击“前往控制台创建”,新建VPC。
图1 规格图 选择镜像和磁盘规格。 图2 选择镜像和磁盘规格 单击下一步:网络配置。 选择VPC和安全组。 图3 VPC图 如果已有VPC和安全组,则选择已有的VPC和安全组。 如果没有创建的VPC,请单击“前往控制台创建”,新建VPC。
原因分析 运行程序的机器上没有配置CloudTable HBase实例节点的内网域名和ip映射,导致无法识别hmaster节点的内网域名,链接异常。 处理方法 在运行程序机器的host文件中,配置CloudTable HBase的内网域名和ip映射。
磁盘使用率 Doris节点数据盘使用率。 父主题: Doris监控集群
设置回收站时间 回收站原理:删除的数据不会直接从磁盘上删除,而是先放入回收站,等待超时时间满足后,再从磁盘上直接删除。 设置回收站时间需要考虑的因素。 回收站时间过长,会累积垃圾文件,占用磁盘空间。
您可以登录表格存储服务管理控制台,在右上方单击“更多 > 工单 > 新建工单 ”,填写工单获取CloudTable链接地址的内网域名和IP地址的映射关系。 父主题: 连接访问类
连接管理概述 Doris的Hive外表自带create catalog能力,通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务自动获取Hive库表信息,并进行表数据查询,从而避免了传统外部数据目录多需要手动映射以及数据迁移的复杂工程。
indexspecs.to.add:表示与索引名与对应数据表的列的映射(索引列定义)。 indexspecs.covered.to.add(可选):表示索引中冗余存储的数据表的列(覆盖列定义)。
16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 64U256G(本地盘容量:6.4T)。 存储规格 磁盘:支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。
ClickHouse访问RDS MySQL服务 ClickHouse面向OLAP场景提供高效的数据分析能力,支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中,后续可以在ClickHouse中进行数据分析。
Count 60 number_of_threads_in_local_thread_pool 本地线程池中的线程数 clickhouse实例上的本地线程池中的线程数。
注意使用Doris集群不要长时间处于高负载(高CPU、高内存、高磁盘使用率等)状态,否则影响冷热分离的速率。如果业务需要可进行集群扩容,请参见扩容集群。 父主题: Doris冷热分离应用