检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
冷热分离概述 CloudTable Doris支持冷热分离功能,将数据分类存储在不同介质上,有效降低存储成本。 CloudTable Doris冷热分离特性仅支持Doris 2.0.5及以上版本。 冷热分离场景下,热盘不支持缩容。 背景 在数据分析的实际场景中,冷热数据面临着不同
新建用户 用户管理功能提供新增用户、删除用户、查看用户权限、分配用户角色、修改用户密码等功能。 admin、root和default用户是ClickHouse集群中默认的用户,不能删除。 只有用户管理员的密码可以修改,root和默认用户的密码不可修改。 不支持在集群的单节点上创建用户和角色。
Doris数据表和数据模型 数据表 数据模型 最佳实践 父主题: 建表
分区(Partition) 分区用于将数据划分成不同区间,逻辑上可以理解为将原始表划分成了多个子表。可以方便的按分区对数据进行管理。 Partition列可以指定一列或多列,分区列必须为KEY列。多列分区的使用方式在后面多列分区小结介绍。 不论分区列是什么类型,在写分区值时,都需要加双引号。
删除数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 具体删除方法根据用户使用场景选取。 代码样例 public void testDelete() { LOG.info("Entering testDelete
准备开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
Hive 创建hive catalog 通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive
分桶 根据分桶列的Hash值将数据划分成不同的Bucket。 如果使用了Partition,则DISTRIBUTED ... 语句描述的是数据在各个分区内的划分规则。如果不使用Partition,则描述的是对整个表的数据的划分规则。 分桶列可以是多列,Aggregate和Uniq
应用背景 CloudTable ClickHouse支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。 Hot(热数据):访问、更新频率较高,未来被调用的概率较高的数据,对访问的响应时间要求很高的数据。 Cold(冷数据):不允许更
Doris集群规格变更 Doris集群目前不支持计算节点CPU、内存规格升、降配,因此需要对Doris集群增加纵向扩容功能。 规格变更只支持从小规格变更为大规格,如果要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(BE、FE),且变更完成后只生效所选类型的节点规格。
Clickhouse命令简介 本章节主要介绍常用的ClickHouse组件命令。安装ClickHouse客户端后,加载环境变量,可使用以下命令。 连接ClickHouse集群。 非安全集群连接命令 ./clickhouse client --host 集群内网地址 --port
HBase集群磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在计算节点,当计算节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 使用限制 当所有的Core节点磁盘占用90%时,集群异常且读写不可用。 当集群状态处于“服
使用Doris冷热分离 通过CloudTable管理面开启冷热分离特性。 开启冷热分离步骤 登录表格存储服务管理控制台。 控制台左上角,选择区域。 单击左侧“集群管理”,进入集群管理界面。 单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择Doris数据
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项。 加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再一一进行说明。 代码样例
典型场景说明 通过典型场景,我们可以快速学习和掌握HBase冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于实时记录和查询城市的气象信息,记录数据如下表: 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang
统计查询 功能介绍 返回满足查询条件的实体总量,不返回数据的具体信息,代码中设置setCountOnly()。 可以参考以下样例代码。 样例代码 public void testCountOnlyQuery() { LOG.info("Entering testCountOnlyQuery
查看调测结果 运行结果中没有异常或失败信息即表明运行成功。 图1 运行成功 日志说明:日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase
最佳实践 关于Partition和Bucket的数量和数据量的建议 一个表的Tablet总数量等于 (Partition num*Bucket num)。 一个表的Tablet数量,在不考虑扩容的情况下,推荐略多于整个集群的磁盘数量。 单个Tablet的数据量理论上没有上下界,但
Doris集群节点扩容 节点扩容增加集群中FE/BE节点的数量,FE/BE节点的扩容过程,不影响当前系统运行。 节点扩容需要注意以下几点: 扩容后的FE节点个数必须是奇数,3个或5个。 扩容后的BE节点个数为4~100之间。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。
ClickHouse集群管理简介 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。CloudTable ClickHouse集群管理还有以下功能: ClickHous