检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase客户端:1.x版本使用hbase1.x客户端,2.x版本使用hbase2.x客户端。 Doris客户端:普通集群使用开源MySQL客户端,如果是是安全集群使用MySQL8及以上客户端。 ClickHouse客户端:23.x版本使用clickhouse客户端。 安装客户端的操作是否正确
JDBC通过ssl方式连接doris(无需验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 样例代码: public
新建一个作业。 有关新建“表/文件迁移”作业的详细操作,请参见《云数据迁移用户指南》的新建表/文件迁移作业章节。 在新建“表/文件迁移”类型的作业时,如果待迁移的源端的表/文件在目的端CloudTable集群中不存在相应的HBase表,在作业中为目的端设置表名和字段映射(支持从源
json:文件导出路径,路径自定义。 config-file ./config.xml:指定配置文件,请参见ClickHouse安全通道章节。 父主题: 数据迁移同步
CloudTable doris_fe_thread_pool_mysql_nio_pool_active_thread_num doris_fe_thread_pool_mysql_nio_pool_active_thread_num 线程池mysql-nio-pool正在执行的任务数 ≥0 60s
[ON CLUSTER cluster] [SYNC] 示例: 删除表t1。 drop table t1 SYNC; 在删除复制表时,因为复制表需要在Zookeeper上建立一个路径,存放相关数据。ClickHouse默认的库引擎是原子数据库引擎,删除Atomic数据库中的表后,它不会
对于ClickHouse来说,原则上需要把多表join模型提前加工为宽表模型,多个表以及维度表变化比较频繁情况下,不适合进行宽表加工处理,必须使用Join模型以实时查询到最新数据。两个表做join操作,建议大表join小表,必须使用关联条件。小表的数据量控制在百万~千万行级别,且需要在join前把小表数据通过条件进行有效过滤。
聚合模型中可能key列比较多, 导入过程中需要排序的列会增加。 维度信息更新会反应到整张表中,而更新的频率直接影响查询的效率。 使用过程中,建议用户尽量使用Star Schema区分维度表和指标表。频繁更新的维度表也可以放在MySQL外部表中。而如果只有少量更新, 可以直接放在
查询超时时间默认为300秒。如果在300秒内未完成查询,该查询将被Doris系统取消。用户可以使用此参数自定义应用程序的超时时间,并实现类似等待(超时)的阻塞模式。 mysql> SHOW VARIABLES LIKE "%query_timeout%"; +---------------+-------+ |
e表引擎中最重要,也是最常使用的两个引擎,本文将重点进行介绍。 概述 表引擎即表的类型,在云数据库ClickHouse中决定了如何存储和读取数据、是否支持索引、是否支持主备复制等。云数据库ClickHouse支持的表引擎,请参见下表。 MergeTree引擎为单副本,无法保证高可
ClickHouse集群创建表格后提示另外一个节点不存在此数据库? 问题现象 创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候,只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。
Doris集群规格变更 Doris集群目前不支持计算节点CPU、内存规格升、降配,因此需要对Doris集群增加纵向扩容功能。 规格变更只支持从小规格变更为大规格,如果要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(BE、FE),且变更完成后只生效所选类型的节点规格。
消息数据、报表数据、推荐类数据、风控类数据、日志数据、订单数据等结构化、半结构化的KeyValue数据均可以存储和查询。 优势: 海量存储 支持离线、在线海量KeyValue数据存储,存储容量可扩展。 高性能读写 亿级写入吞吐量、ms级查询,用于在线应用和报表展现。 生态丰富 基于Ha
、政府、物流、制造、零售等行业。 CloudTable产品架构 CloudTable产品架构如下图所示: 图1 产品架构 Doris:MySQL生态,易上手,多表复杂分析性能优于传统MPP。 ClickHouse:万列大宽表多维聚合分析,亚秒级响应,全自助分析。 HBase:高并发,毫秒级查询响应。
使用Doris 准备弹性云服务 使用MySQL客户端访问集群 Doris MySQL命令简介 父主题: Doris集群管理
ClickHouse集群管理简介 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。CloudTable ClickHouse集群管理还有以下功能: ClickHous
开发思路 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发冷热分离的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 写入数据。 请参见插入数据。 4 根据城市、区域、时间查询温度和湿度。 请参见使用Get读取数据。
开发思路 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 导入用户数据。 请参见插入数据。 3 增加“教育信息”列族,在用户信息中新增用户的学历、职称等信息。
ta cluster 创建数据迁移任务 copierCreateTask cluster 枚举数据库信息 copierListDatabaseInfo cluster 枚举集群节点信息 copierListNodeInfo cluster 数据迁移任务详情 copierTaskDetaile
开发思路 功能分解 根据典型场景说明中的业务进行功能分解,需要开发的功能点如下: 表1 冷热分离功能 步骤 代码实现 步骤1:创建自动归档冷数据策略。 请参见自动存储冷数据。 步骤2:数据表关联数据迁移策略。 请参见数据表关联策略。 步骤3:插入数据。 请参见插入数据。 步骤4:查询插入的数据。