检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择ClickHouse数据库引擎并开启冷热分离特性,创建后的集群就开启了冷热分离特性。 创建集群可以参考创建ClickHouse集群。 如果在创建集群的时候未开启冷热分离特性,可在集群详情页面或者集群列表的操作列开启冷热分离。
用户需要更多的计算资源或存储资源满足业务需要时,可以在管理控制台进行扩容操作,对已经创建的集群增加节点数(节点扩容)或对集群的节点增加磁盘容量(纵向扩容)。Doris可以很方便地对节点FE、BE进行节点扩容。一般情况下,可以通过将FE扩展至3个以上实现FE的高可用,且FE节点的扩容过程
、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。 注意事项 注[1] 可以设置列族的压缩方式,代码片段如下: //设置编码算法,HBase提供了DIFF,FAST_DIFF,PREFIX和PREFIX_TREE四种编码算法 hcd
侧做到At-Most-Once语义。如果结合上游系统的At-Least-Once语义,则可以实现导入数据的Exactly-Once语义。 同步和异步 Doris目前的导入方式分为两类,同步和异步。如果是外部程序接入Doris的导入功能,需要判断使用导入方式是哪类再确定接入逻辑。 同步
功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 导入用户数据。 请参见插入数据。 3 增加“教育信息”列族,在用户信息中新增用户的学历、职称等信息。
HBase集群节点扩容 为了提升系统的计算能力、存储能力,用户可以通过节点扩容来扩容集群。节点扩容将会产生相应的费用。用户可根据实际需要或业务情况,动态的增加节点的个数,集群将自适应的实现负载均衡,保证业务不中断,平滑扩容。 注意事项 扩容过程中,不会自动重启集群,保证业务不中断,平滑扩容。
Doris集群节点扩容 节点扩容增加集群中FE/BE节点的数量,FE/BE节点的扩容过程,不影响当前系统运行。 节点扩容需要注意以下几点: 扩容后的FE节点个数必须是奇数,3个或5个。 扩容后的BE节点个数为4~100之间。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。
单击“Finish”,完成导出Jar包。 准备依赖的Jar包和配置文件。 在Linux环境新建目录,例如“/opt/test”,并创建子目录“lib”和“conf”。将样例工程中“lib”的Jar包,以及1导出的Jar包,上传到Linux的“lib”目录。将样例工程中“conf”的配置文件上传到Linux中“conf”目录。
from demo_t; 查看数据库和表。 查看数据库。 show databases; 查看表。 show tables; 删除数据库和表。 删除表。 drop table demo_t; 删除数据表前,需确认此数据表是否应用中,以免引起不必要的麻烦。 删除数据表后可在24小时内
中将会限制查询的性能。 如果冷存储中存储的一行数据中的某个字段更新,则更新的字段存储在热存储中。如果指定HOT_ONLY或TimeRange参数仅查询热存储中的数据,则只返回更新的字段。如果要返回整行的数据,则必须在不指定HOT_ONLY或TimeRange参数的情况下执行查询,
【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般情况下1或2个列,同时需要兼顾数据分布均匀和查询吞吐之间的均衡,考虑数据均匀是为了避免某些桶的数据存在倾斜
(4)获取Admin对象,Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。 注意事项 注[1] 表和列族其它属性设置可以参考开发HBase应用。 注[1] 指的是代码样例中的“admin.createTable(htd); // 注[1]
单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择Doris数据库引擎并勾选是否开启冷热分离按钮,创建后的集群就开启了冷热分离特性。 创建集群可以参考创建Doris集群。 如果在创建集群的时候未开启冷热分离特性,可在集群详情页面或者集群列表的操作列开启冷热分离。
testtb 样例代码工程中需要创建的表名称,可以根据实际情况修改。 batchRows 10000 一个批次写入数据的条数。 batchNum 10 写入数据的总批次。 clickhouse_dataSource_ip_list - clickhouse节点的ip和http端口集合,例如配
Doris监控页面 集群详情页面主要展示Doris每个节点的CPU使用率、内存使用率、磁盘使用率。 详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个Doris集群 进入详情页面,详情页面显示监控页面的指标。 图1 监控页面 单击详情页面的监控小图标,可以
在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。 原理介绍 CloudTable HBase支持对同一张表的数据进行冷热分离存储。用户
-ppassword 内网地址:所连接集群的内网地址。 path:证书存放的路径。 端口:FE上的mysql server端口9030。 password:指创建集群时设置的密码。 {path}/certificate.crt:存放下载证书的路径。 开启https后需要使用mysql8及以上客户端。
令中自定义的名称。通过这个label,用户可以查看对应导入任务的执行情况。 label的另一个作用,是防止用户重复导入相同的数据。强烈推荐用户同一批次数据使用相同的 label。这样同一批次数据的重复请求只会被接受一次,保证了At-Most-Once。当label对应的导入作业状
HBase监控页面 集群详情页面主要展示每个节点的CPU使用率、内存使用率、磁盘使用率、磁盘使用量、磁盘总量。 HBase集群详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个HBase集群 进入详情页面,详情页面显示监控页面的指标。 图1 HBase监控页面
议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(BE、FE),且变更完成后只生效所选类型的节点规格。 规格变更过程中,整个集群不可用,变更结束前不能再次变更。 规格变更需要限制用户操作的频率,短时间内不能多次变更规格。 规格变更过程中系统不可用。 按需计费形式变更费用指扩容后小时单价。