检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris集群规格变更 Doris集群目前不支持计算节点CPU、内存规格升、降配,因此需要对Doris集群增加纵向扩容功能。 规格变更只支持从小规格变更为大规格,如果要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(BE、FE),且变更完成后只生效所选类型的节点规格
Clickhouse命令简介 本章节主要介绍常用的ClickHouse组件命令。安装ClickHouse客户端后,加载环境变量,可使用以下命令。 连接ClickHouse集群。 非安全集群连接命令 ./clickhouse client --host 集群内网地址 --port
HBase集群磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在计算节点,当计算节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 使用限制 当所有的Core节点磁盘占用90%时,集群异常且读写不可用。 当集群状态处于“服务中
使用Doris冷热分离 通过CloudTable管理面开启冷热分离特性。 开启冷热分离步骤 登录表格存储服务管理控制台。 控制台左上角,选择区域。 单击左侧“集群管理”,进入集群管理界面。 单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择Doris数据库引擎并勾选是否开启冷热分离按钮
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项。 加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再一一进行说明。 代码样例
查看调测结果 运行结果中没有异常或失败信息即表明运行成功。 图1 运行成功 日志说明:日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase.root.logger
统计查询 功能介绍 返回满足查询条件的实体总量,不返回数据的具体信息,代码中设置setCountOnly()。 可以参考以下样例代码。 样例代码 public void testCountOnlyQuery() { LOG.info("Entering testCountOnlyQuery
最佳实践 关于Partition和Bucket的数量和数据量的建议 一个表的Tablet总数量等于 (Partition num*Bucket num)。 一个表的Tablet数量,在不考虑扩容的情况下,推荐略多于整个集群的磁盘数量。 单个Tablet的数据量理论上没有上下界,但建议在
典型场景说明 通过典型场景,我们可以快速学习和掌握HBase冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于实时记录和查询城市的气象信息,记录数据如下表: 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang
全局二级索引API 使用全局索引的API都在类“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中,相关接口介绍如下: 操作 接口 描述 添加索引 addIndices() 将索引添加到没有数据的表中。调用此接口会将用户指定的索引添加到表中
怎么查看catalog指定数据库下的列表? catalog是外部数据目录。下面以JDBC Catalog通过标准JDBC协议,连接其他数据源为例。 语法 CREATE CATALOG [IF NOT EXISTS] catalog_name PROPERTIES ("key
创建表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个
删除表 功能介绍 删除在创建表中创建的副本表和分布式表。 语句1:使用drop table将集群中的本地表删除。 语句2:使用drop table将集群中的分布式表删除。 样例代码 private void dropTable(String databaseName, String
开发思路 功能分解 根据典型场景说明中的业务进行功能分解,需要开发的功能点如下: 表1 冷热分离功能 步骤 代码实现 步骤1:创建ClickHouse冷热分离表。 请参见创建ClickHouse冷热分离数据表。 步骤2:插入数据。 请参见插入验证数据。 步骤3:查询插入的数据。 请参见查询插入数据
冷热分离命令简介 此章节主要介绍CloudTable HBase冷热分离命令的使用,HBase集群基本命令使用请参见HBase Shell命令简介。 设置表的冷热分界线 Shell 创建冷热分离表。 hbase(main):002:0> create 'hot_cold_table
冷热分离概述 CloudTable Doris支持冷热分离功能,将数据分类存储在不同介质上,有效降低存储成本。 CloudTable Doris冷热分离特性仅支持Doris 2.0.5及以上版本。 冷热分离场景下,热盘不支持缩容。 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求
删除数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 具体删除方法根据用户使用场景选取。 代码样例 public void testDelete() { LOG.info("Entering testDelete.
分区(Partition) 分区用于将数据划分成不同区间,逻辑上可以理解为将原始表划分成了多个子表。可以方便的按分区对数据进行管理。 Partition列可以指定一列或多列,分区列必须为KEY列。多列分区的使用方式在后面多列分区小结介绍。 不论分区列是什么类型,在写分区值时,都需要加双引号
分桶 根据分桶列的Hash值将数据划分成不同的Bucket。 如果使用了Partition,则DISTRIBUTED ... 语句描述的是数据在各个分区内的划分规则。如果不使用Partition,则描述的是对整个表的数据的划分规则。 分桶列可以是多列,Aggregate和Unique
准备开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK