检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
总览 导入(Load)功能就是将用户的原始数据导入到Doris中。导入成功后,用户即可通过Mysql客户端查询数据。Doris支持多种导入方式。 支持数据源 Doris提供多种数据导入方案,可以针对不同的数据源选择不同的数据导入方式。 Broker Load Stream Load
第一级称为Partition,即分区。用户可以指定某一维度列作为分区列(当前只支持整型和时间类型的列),并指定每个分区的取值范围。 第二级称为Distribution,即分桶。用户可以指定一个或多个维度列以及桶数对数据进行HASH分布或者不指定分桶列设置成Random Distribution对数据进行随机分布。
生效。单击参数列表右上方的,参数列表左上方将显示“新值已应用”。 在“保存修改”对话框中可以先不勾选“是否立即重启”,单击“确定”后,参数列表上方将显示“新值未应用”。此时用户需要自行重启集群,才能使修改的参数值生效。重启集群操作请参见重启集群。 如果修改的参数值不正确,可以在“
插入数据 功能介绍 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,我们需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 开启冷热分离特性表的写入逻辑和正常表写入逻辑一致。
在左侧导航栏中,单击“集群管理”。 在集群列表中找到所需要的集群,单击集群名称,进入“参数配置”页面。 在“参数配置”中单击“参数配置”页签,对Doris参数进行修改。 选择修改的节点(FE、BE节点)后,选中需要修改的参数,在“参数值”列单击。 在修改框中输入新值,单击,系统提示“参数修改为'
插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。 通常,写入数据的时候,我们需要指定要写入的列(含列族名称和列名称)。 HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 public
riptor。 (2) 定义哪些列需要抽取标签。取值范围: ExplicitColumnName:指定列。 FamilyOnlyName:某一ColumnFamily下的所有列。 PrefixColumnName:拥有某一前缀的列。 (3) 定义列的抽取标签的规则,可选值如下:
下载证书请在集群详情页面下载。 样例代码: public class Main { private static String URL = "jdbc:mysql:loadbalance://" + "[FE1_host]:[FE1_port],[FE2_host]:[FE2_port]
vpc_id为空,创建集群失败 创建集群的参数中,vpc_id参数值为空导致创建集群失败。 确保请求参数中vpc_id参数值正确无误。 400 CloudTable.0106 vpc_id参数值无效 vpc_id参数值无效。 vpc_id从VPC控制台确获取。 400 CloudTable
【建议】建表时第一个字段一定是最常查询使用的列,默认有前缀索引快速查询能力,选取分区分桶外最长查询且高基数的列,前缀索引36位,如果列超长也不能使用前缀索引能力。 【建议】亿级别以上数据,如果有模糊匹配或者等值/in条件,可以使用倒排索引或者是 Bloomfilter。如果是低基数列的正交查询适合使用bitmap索引。
CloudTable产品架构 CloudTable产品架构如下图所示: 图1 产品架构 Doris:MySQL生态,易上手,多表复杂分析性能优于传统MPP。 ClickHouse:万列大宽表多维聚合分析,亚秒级响应,全自助分析。 HBase:高并发,毫秒级查询响应。 产品优势 丰富
制台进行扩容操作,对已经创建的集群增加节点数(节点扩容)或对集群的节点增加磁盘容量(纵向扩容)、规格扩容。 产品优势 性能优异:自带高效的列式存储引擎,减少数据扫描量的同时还实现了超高的数据压缩比例。同时Doris还提供了丰富的索引结构来加速数据读取与过滤,利用分区分桶裁剪功能,
Schema中字段数比较多, 聚合模型中可能key列比较多, 导入过程中需要排序的列会增加。 维度信息更新会反应到整张表中,而更新的频率直接影响查询的效率。 使用过程中,建议用户尽量使用Star Schema区分维度表和指标表。频繁更新的维度表也可以放在MySQL外部表中。而如果只有少量更新, 可
数据批量导入 HBase冷热分离 使用全局二级索引 扩容集群 重启集群 删除集群 HBase监控集群 HBase审计日志 使用Doris 使用MySQL客户端访问集群 重启集群 删除集群 集群扩容 Doris参数配置 Doris用户管理 Doris角色管理 Doris慢SQL查询 Doris连接管理
使用Doris 准备弹性云服务 使用MySQL客户端访问集群 Doris MySQL命令简介 父主题: Doris集群管理
使用过滤器Filter 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 具体过滤条件根据用户使用场景选取。 代码样例 public void testSingleColumnValueFilter()
Longgang 2017/7/2 23:00:00 28 54 数据规划 合理地设计表结构、行键、列名能充分利用HBase的优势。本样例工程以城市+区域+时间作为RowKey,列都存储在info列族中。 当天整点写入数据,同时一天前数据查询频率较低,节省存储空间设置冷热分离,将一天前数据自动归档到冷存储。
d*MergeTree引擎用于生产环境。 表1 表引擎 系列 描述 表引擎 特点 MergeTree MergeTree系列引擎适用于高负载任务,支持大数据量的快速写入并进行后续的数据处理,通用程度高且功能强大。 该系列引擎的共同特点是支持数据副本、分区、数据采样等特性。 MergeTree
HBase客户端:1.x版本使用hbase1.x客户端,2.x版本使用hbase2.x客户端。 Doris客户端:普通集群使用开源MySQL客户端,如果是是安全集群使用MySQL8及以上客户端。 ClickHouse客户端:23.x版本使用clickhouse客户端。 安装客户端的操作是否正确
一张表包括行(Row)和列(Column)。Row即用户的一行数据。Column用于描述一行数据中不同的字段,可以根据实际情况采用不同的数据类型(如整型、字符串、布尔型等)。 从OLAP场景看,Column可以分为两大类:Key和Value。Key表示维度列,Value表示指标列。 父主题: