检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已提前准备好对接的RDS数据库实例及数据库用户名、密码。详细操作可以参考创建和连接RDS数据库实例。 已成功创建ClickHouse集群且集群和实例状态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。 在进行数据同步操作时需要评估对源数据库和目标数据库性能的影
求场景: 数据存储周期长:面对历史数据的不断增加,存储成本也随之增加。 冷热数据访问频率及性能要求不同:热数据访问频率高且需要快速响应,而冷数据访问频率低且响应速度要求不高。 原理介绍 创建表:CloudTable Doris通过文件系统在本地数据目录创建目录。 写数据:调用文件
ClickHouse创建表声明:为了保证ClickHouse数据的可靠性,建议使用Replicated系列引擎,因单副本引发的数据丢失、数据损坏等问题,云服务不承担任何责任。 CloudTable集群中HBase服务禁止开启MOB特性,使用该特性可能存在无法正常读取表数据和JVM Crash风险。
参数 说明 用户名 新建的用户名。 全局权限 查询、插入、更改、创建、删除。 各级权限 数据库和表:创建的数据库和表。 高危权限:创建表、删除表。 普通权限:查询、插入、更改。 组件支持查看账户对数据库的操作权限。 父主题: ClickHouse用户管理
表格存储服务(CloudTable)是基于HBase、Doris、ClickHouse、StarRocks提供的全托管数据存储和分析服务。CloudTable提供GB~PB级数据存储和分析能力,用于在线查询、数据仓库、数据集市、实时分析等场景。可被广泛应用于互联网、物联网、车联网、金融、政府、物流、制造、零售等行业。
HBase热点自愈 HBase是一个分布式的KV数据库,Region是HBase数据管理的最小单元。如果用户在规划表和设计rowkey不合理,请求过于集中在少量固定Region时,会导致业务压力集中在单节点,造成业务侧可感知的性能下降甚至请求失败。 HBase服务增加了Metri
HBase支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。 在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。
ClickHouse集群管理简介 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。CloudTable ClickHouse集群管理还有以下功能: ClickHous
按需转包年/包月 如果您需要长期使用当前按需购买的云数据库,可以将该云数据库转为包年/包月计费模式,以节省开支。按需计费变更为包年/包月会生成新的订单,用户支付订单后,包年/包月资源将立即生效。 假设用户于2023/04/18 15:29:16成功购买了一个按需计费的CloudT
num*replication num)秒。如果创建较多的数据分片,并且其中有分片创建失败,则可能导致等待较长超时后,才会返回错误。 正常情况下,建表语句会在几秒或十几秒内返回。如果超过一分钟,建议直接取消掉这个操作,前往FE或BE的日志查看相关错误。 父主题: 数据分区和分桶
Doris集群磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在BE节点,当BE节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 磁盘扩容过程中,集群业务可能存在抖动。 前提条件 当集群状态处于“服务中”,且没有任何任务
HBase集群磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在计算节点,当计算节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 使用限制 当所有的Core节点磁盘占用90%时,集群异常且读写不可用。 当集群状态处于“服
ClickHouse磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在计算节点,当计算节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 磁盘扩容过程中,集群业务可能存在抖动。 当集群状态处于“服务中”,且没有任何任务操作
Doris支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。主要适用以下场景: 数据存储周期长:面对历史数据的不断增加,存储成本也随之增加。 冷热数据访问频率及性能要求不同:热数据访问频率高且需要快速响应,而冷数据访问频率低且响应速度要求不高。
CloudTable ClickHouse支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。 Hot(热数据):访问、更新频率较高,未来被调用的概率较高的数据,对访问的响应时间要求很高的数据。 Cold(冷数据):不允许更新或更新频率比较低,访问
样例代码 此章节主要介绍CloudTable Doris冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 自动存储冷数据。 创建冷数据自动归档到冷存储的数据迁移策略testPolicy。 CREATE STORAGE POLICY testPolicy PROPERTIES(
使用过滤器Filter 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 具体过滤条件根据用户使用场景选取。 代码样例 public void testSingleColumnValueFilter()
eckdata_blocks 一致性校验数据分块数 clickhouse实例一致性校验数据分块个数。 Count 60 extracting_the_number_of_data_chunks_from_the_replica 正在从副本中提取数据分块数 clickhouse实例正在从副本中提取的数据分块个数。
DATABASE 本章节介绍创建数据库的基本用法。 CREATE DATABASE CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER ClickHouse集群名]; 表1 参数说明 参数 说明 db_name 数据库 IF NOT EXISTS
关于安全组的更多信息,请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 Doris内核版本 组件引擎版本。 CloudTable Doris集群规格说明:FE节点至少为3个,从而保证高可用。 切换内核版本时,需要重新选择规格,避免创建集群出现问题。