检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
扩容集群 Doris扩容说明 Doris集群节点扩容 Doris集群磁盘扩容 Doris集群规格变更 父主题: 管理集群
全局二级索引介绍 场景介绍 使用HBase二级索引可以加速带Filter的条件查询,支持HIndex(本地索引,即Local Secondary Index )和全局二级索引(Global Secondary Index)。
分布式表通常以本地表加“_all”命名。它与本地表形成一对多的映射关系,之后可以通过分布式表代理操作多张本地表。 分布式表的表结构尽量和本地表的结构一致。如果不一致,在建表时不会报错,但在查询或者插入时可能会抛出异常。 父主题: ClickHouse应用开发指导
Stream load主要适用于导入本地文件,或通过程序导入数据流中的数据。 基本原理 下图展示了Stream load的主要流程,省略了一些导入细节。
SETTINGS materialize_ttl_after_modify=0; 手动移动数据:可以使用alter table hot_cold_table move partition‘partition_name’to volume‘volume_name’命令将指定分区移动到指定的卷或磁盘
本地SSD(不支持扩容) 计算规格 8U32G(本地盘容量:1.6T)。 8U64G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 64U256G(本地盘容量:6.4T)。
此时,当多个点查询并发时,这些查询有较大的概率分别触发不同的分桶扫描,各个查询之间的IO影响较小(尤其当不同桶分布在不同磁盘上时),所以这种方式适合高并发的点查询场景。 AutoBucket: 根据数据量,计算分桶数。
对于数据写分布式表和数据写本地表相比,分布式表数据写入性能会变慢,单批次分布式表写入节点的磁盘和网络IO会成为性能的瓶颈点。 分布式表转发给各个shard成功与否,插入数据的客户端是无法感知,转发失败的数据会不断重试转发消耗CPU。
语句1:使用drop table将集群中的本地表删除。 语句2:使用drop table将集群中的分布式表删除。
本地表的数据库必须为atomic(默认)或ordinary,且表类型为Mergetree家族系列引擎的表(包括非复制表和复制表,不支持物化视图表)。 本地表副本关系和cluster一致,有分布式表作为分片之间的关系。 数据迁移过程中原表默认为只读状态。
Doris变更配置:水平扩容、磁盘扩容、规格变更。 ClickHouse变更配置:水平扩容、磁盘扩容、规格变更。 到期后影响 图3 包年/包月CloudTable资源生命周期描述了包年/包月CloudTable资源各个阶段的状态。
前提条件 当集群状态处于“服务中”,且没有任何任务操作(如:水平扩容、磁盘扩容、修改参数等)时,可以执行变更操作。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。 在集群列表中,选定集群的操作列,选择“更多>规格变更”,进入规格变更页面。
Doris获取Catalogs getCatalogs cluster 获取集群信息 getClusterInfo cluster 获取数据库信息 getDatabases cluster 获取角色信息 getRoles cluster 获取表信息 getTables cluster 磁盘扩容
磁盘不支持缩容。 ClickHouse不支持JSON以及Object('json')数据类型。
图1 规格图 选择镜像和磁盘规格。 图2 选择镜像和磁盘规格 单击下一步:网络配置。 选择VPC和安全组。 图3 VPC图 选择购买弹性公网IP,公网带宽选择“按流量计费”。 图4 公网IP图 单击下一步“高级配置”。 配置云服务器名称和密码。
扩容:扩容集群中的计算规格(规格变更)、存储规格(磁盘扩容)、节点数量(水平扩容)。具体操作,请参见扩容集群。 转包周期:单击操作列“更多 > 转包周期”,计费模式转为包年/包月。 退订/释放:单击操作列“更多 > 退订”,释放包周期。
图1 规格图 选择镜像和磁盘规格。 图2 选择镜像和磁盘规格 单击下一步:网络配置。 选择VPC和安全组。 图3 VPC图 选择购买弹性公网IP,公网带宽选择“按流量计费”。 图4 公网IP图 单击下一步“高级配置”。 配置云服务器名称和密码。
原理介绍 创建表:CloudTable Doris通过文件系统在本地数据目录创建目录。 写数据:调用文件系统相关功能,生成文件到本地数据目录下。 合并数据:定期读取数据文件rowset,判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值,则文件不移动。
图1 规格图 选择镜像和磁盘规格。 图2 选择镜像和磁盘规格 单击下一步:网络配置。 选择VPC和安全组。 图3 VPC图 选择购买弹性公网IP,公网带宽选择“按流量计费”。 图4 公网IP图 单击下一步“高级配置”。 配置云服务器名称和密码。
全局二级索引限制与约束 使用场景限制 GSI不支持与HIndex(LSI)同时使用,即不支持在同一个数据表上同时创建本地索引与全局索引。 索引表不支持容灾。 不支持直接对索引表执行DISABLE、DROP、MODIFY和TRUNCATE操作。