检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据分布 数据分片 Doris表按两层结构进行数据划分,分别是分区和分桶。 每个分桶文件就是一个数据分片(Tablet),Tablet是数据划分的最小逻辑单元。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集,并且在物理上是独立存储的。 一个Tablet只属于一
常见问题 Failed to create partition [xxx] . Timeout Doris建表是按照Partition粒度依次创建的。当一个Partition创建失败时,可能会报这个错误。即使不使用Partition,当建表出现问题时,也会报Failed to create
数据表复制样例代码 用户可以开发应用程序,通过调用HBase API接口的方式,将一个表的部分数据或全部数据复制到同一个集群或另一个集群中。目标表必须预先存在。 环境准备 要将表复制到另一个集群,请先获取CloudTable目标集群的“ZK链接地址(内网)”。 登录表格存储服务管
表join模型提前加工为宽表模型,多个表以及维度表变化比较频繁情况下,不适合进行宽表加工处理,必须使用Join模型以实时查询到最新数据。两个表做join操作,建议大表join小表,必须使用关联条件。小表的数据量控制在百万~千万行级别,且需要在join前把小表数据通过条件进行有效过滤。
Core节点 计算规格:4U16G。 存储规格:高IO,容量400GB/节点。 节点数量:3个。 计费构成分析 用了一段时间后,用户发现云服务器当前规格无法满足业务需要,于2023/03/18 15:30:00对集群扩容,扩容规格如下: 表1 变更计费模式 计费模式 计算规则 付费周期
为什么HBase无法写入数据? 问题现象 HBase无法写入数据,导致应用侧业务数据无法及时更新。 原因分析 Zookeeper连接数过多。 处理方法 建议业务代码连接同一个CloudTable HBase集群时,多线程创建并复用同一个Connection,不必每个线程都创建各自
节点数量:5个。 BE节点 计算规格:8U16G。 存储规格:高IO,容量400GB/节点。 节点数量:3个。 计费构成分析 用了一段时间后,用户发现云服务器当前规格无法满足业务需要,于2023/03/18 15:30:00对集群扩容,扩容规格如下: 表1 变更计费模式 计费模式 计算规则 付费周期
CloudTable.0127 NICs列表参数为空 NICs列表参数为空。 NICs列表需要包括net_id和safe_group_id两个参数。 400 CloudTable.0136 TSD单元数量不满足要求 TSD单元数量不满足要求。 TSD单元数量为>=2。 400 CloudTable
Unique模型),来介绍下聚合模型的局限性。 在聚合模型中,模型对外展现的,是最终聚合后的数据。也就是说,对于任何还未聚合的数据(例如说两个不同导入批次的数据),必须通过某种方式保证对外展示的一致性。 假设表结构如下: 表14 数据 ColumnName Type AggregationType
应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 步骤2:准备应用运行环境 步骤2:准备应用运行环境 更多 云服务器卡顿 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 更多 Ping不通 应用容器化改造介绍 应用容器化改造流程
创建表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数
创建表 功能介绍 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名、冷热时间线。 创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Reg
Doris扩容说明 用户需要更多的计算资源或存储资源满足业务需要时,可以在管理控制台进行扩容操作,对已经创建的集群增加节点数(节点扩容)或对集群的节点增加磁盘容量(纵向扩容)。Doris可以很方便地对节点FE、BE进行节点扩容。一般情况下,可以通过将FE扩展至3个以上实现FE的高
下载样例工程 前提条件 确认表格存储服务已经安装,并正常运行。 下载样例工程 下载样例代码工程。 下载完成后,将样例代码工程安装包解压到本地,得到一个Eclipse的JAVA工程。如图1所示。 图1 样例代码工程目录结构 Maven配置 样例工程中已经包含了hbase的客户端jar包,也可以替换成开源的HBase
max_bytes_per_broker_scanner >=10G=100G/10。 修改后,所有的BE会并发的处理导入任务,每个BE处理原始文件的一部分。 上述两个FE中的配置均为系统配置,也就是说其修改是作用于所有的Broker load的任务的。 在创建导入的时候自定义当前导入任务的timeout时间。
Thrift Server概述 HBase ThriftServer是一个运行在HBase集群上的服务程序,它通过Thrift接口提供对HBase数据库的访问,它可以将不同语言的代码生成为对应的客户端和服务端代码。 Thrift Serve特性仅支持HBase 2.4.14及以上版本。
已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 步骤一:创建CloudTable HBase集群 登录表格存储服务控制台,创建CloudTable HBase集群。 创建ECS,请参考准备弹性云服务。 安装客户端。 启动Shell访问集群。执行“bin/hbase shell”,启动Shell访问集群。 创建order表。
可以通过指定分区的分桶数,合理划分不同分区的数据,分桶列建议选择区分度大的列。 单分区。 用户也可以不使用复合分区,即使用单分区。则数据只做Hash分布。 父主题: 数据分区和分桶
使用catalog连接非安全认证hive on hdfs 通过CloudTable集群管理面创建MRS Hive连接。 创建MRS Hive连接步骤 登录表格存储服务管理控制台。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。
HBase热点自愈 HBase是一个分布式的KV数据库,Region是HBase数据管理的最小单元。如果用户在规划表和设计rowkey不合理,请求过于集中在少量固定Region时,会导致业务压力集中在单节点,造成业务侧可感知的性能下降甚至请求失败。 HBase服务增加了Metri