检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse数据迁移 本章节为您介绍数据迁移能力。 使用场景 ClickHouse集群水平扩容后,需要使用数据迁移对数据进行迁移。 注意事项 每个数据表只能绑定一个任务。一个集群仅支持一个执行中的任务。 本地表的数据库必须为atomic(默认)或ordinary,且表类型为
多源数据目录 概述 Hive 父主题: 数据湖分析
数据湖分析 多源数据目录 父主题: Doris应用开发指导
HBase数据批量导入 使用CDM迁移数据到CloudTable 使用Import工具导入数据 使用CopyTable工具导入数据 数据表复制样例代码 父主题: HBase用户指南
基于索引查询数据 基于索引查询 在具有索引的用户表中,可以使用SingleColumnValueFilter来查询数据。当查询条件可以命中索引时,查询速度远快于原表查询。 索引的命中规则如下: 多个AND条件查询。 当用于查询的列至少包含索引第一个列时,使用索引会提高查询性能。 例如
使用Scan读取数据 功能介绍 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中,每行数据以
使用CopyTable工具导入数据 CopyTable是HBase提供的一个实用工具,可以将部分或全部表复制到同一个集群或另一个集群中。目标表必须预先存在。在CloudTable客户端工具中已经包含了CopyTable工具,用户部署客户端工具后,即可使用CopyTable工具导入数据到
为什么HBase无法写入数据? 问题现象 HBase无法写入数据,导致应用侧业务数据无法及时更新。 原因分析 Zookeeper连接数过多。 处理方法 建议业务代码连接同一个CloudTable HBase集群时,多线程创建并复用同一个Connection,不必每个线程都创建各自Connection
错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 状态码 错误码 错误信息 描述 处理措施 400 CloudTable.0101 参数为空 由于创建集群的请求为空,导致创建集群失败。 检查请求,保证请求不为空。 400 CloudTable
使用Import工具导入数据 使用Import工具,可以导入HBase的SequenceFile数据文件到CloudTable的HBase中。Import工具是客户端工具安装包中自带的一个工具。 SequenceFile文件是指使用Export工具从HBase导出的数据文件。 准备一台安装了
那些场景会影响数据均衡? Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 那些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过程中
数据分区和分桶 Doris支持两层的数据划分。第一层是Partition(分区),支持Range(按范围)和List(按枚举值)的划分方式。第二层是Bucket(分桶),仅支持Hash的划分方式。分区和分桶都是对数据进行横向分割。 也可以仅使用一层分区。使用一层分区时,只支持Bucket
创建数据表开启标签索引 功能介绍 建表功能同创建表,在此基础上,表属性配置标签索引schema。 样例代码 public void testCreateTable() { LOG.info("Entering testCreateTable."); HTableDescriptor
使用CDM迁移数据到CloudTable 通过云数据迁移(Cloud Data Migration,以下简称CDM),可以将云上云下或第三方云上的多种数据源的数据迁移到CloudTable集群的HBase表中。支持的数据源请参见《云数据迁移产品介绍》中的支持的数据源章节。 使用CDM
数据表复制样例代码 用户可以开发应用程序,通过调用HBase API接口的方式,将一个表的部分数据或全部数据复制到同一个集群或另一个集群中。目标表必须预先存在。 环境准备 要将表复制到另一个集群,请先获取CloudTable目标集群的“ZK链接地址(内网)”。 登录表格存储服务管理控制台
CloudTable HBase存储的是原始数据吗? CloudTable HBase服务存储的是原始数据,支持使用压缩存储,支持的压缩算法有SNAPPY和GZ。CloudTable HBase不会对原始数据做加解密处理,如果需要数据加解密,请在应用程序的业务代码侧实现。 父主题:
SHOW显示数据库和表信息 此章节主要介绍ClickHouse显示数据库和表信息的SQL基本语法和使用说明。 基本语法 show databases; show tables; 示例: 查询数据库。 show databases; 查询表信息。 show tables; 父主题:
CloudTable数据进行删除,导致索引表和数据表不对应查询异常处理办法? 问题现象 查询CloudTable表内的数据,出现count值和list数据条数不一致的情况,频繁出现数据丢失的问题,项目运行中,还有许多链接超时的情况。 分析原因 删除数据后,导致索引表和数据表不对应,
Doris集群回收站数据处理 那些场景会产生回收站数据? 数据均衡时,仅仅是将高负载磁盘上的tablet拷贝一份到低负载的磁盘,并将原有tablet放入垃圾回收站,并不会物理删除原有tablet,因此产生垃圾文件。 Delete/drop/truncate等操作只是在逻辑上删除了数据
HBase集群写入数据大小不能超过多少? 问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡主,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类