检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据湖分析 多源数据目录 父主题: Doris应用开发指导
HBase支持冷热分离功能,将数据分类存储在不同介质上,有效降低存储成本。 冷热分离特性仅支持HBase 2.4.14及以上版本。 背景 在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。
插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,我们需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 public
使用CDM迁移数据到CloudTable 通过云数据迁移(Cloud Data Migration,以下简称CDM),可以将云上云下或第三方云上的多种数据源的数据迁移到CloudTable集群的HBase表中。支持的数据源请参见《云数据迁移产品介绍》中的支持的数据源章节。 使用C
写入数据 写入数据接口和HBase原生API一致。 样例代码 public void testPut() { LOG.info("Entering testPut."); try(Table table = conn.getTable(tableName)) { List<Put>
批量数据导入 Broker Load Stream Load 父主题: 数据导入
查询数据 功能介绍 查询语句1:querySql1查询创建表创建的tableName表中任意10条数据;查询语句2:querySql2通过内置函数对创建表创建的tableName表中的日期字段取年月后进行聚合。 样例代码 private void queryData(String
为什么HBase无法写入数据? 问题现象 HBase无法写入数据,导致应用侧业务数据无法及时更新。 原因分析 Zookeeper连接数过多。 处理方法 建议业务代码连接同一个CloudTable HBase集群时,多线程创建并复用同一个Connection,不必每个线程都创建各自
Doris数据表和数据模型 数据表 数据模型 最佳实践 父主题: 建表
数据迁移同步 数据导入导出 ClickHouse访问RDS MySQL服务 父主题: ClickHouse应用开发指导
ClickHouse集群管理下,用户申请专属集群,按需使用,专属集群是物理隔离且不受其他业务影响,方便用户管理。 ClickHouse集群创建成功后,使用客户端访问集群,请参见以下章节。 准备弹性云服务。 使用客户端访问集群。 ClickHouse命令简介。 父主题: ClickHouse集群管理
数据表 在Doris中,数据以表的形式进行逻辑上的描述。表是具有相同模式的同质数据的集合。 一张表包括行(Row)和列(Column)。Row即用户的一行数据。Column用于描述一行数据中不同的字段,可以根据实际情况采用不同的数据类型(如整型、字符串、布尔型等)。 从OLAP场
可以看到,用户10004的已有数据和新导入的数据发生了聚合。同时新增了10005用户的数据。 数据的聚合,在Doris中有如下三个阶段发生: 每一批次数据导入的ETL阶段。该阶段会在每一批次导入的数据内部进行聚合。 底层BE进行数据Compaction的阶段。该阶段,BE会对已导入的不同批次的数据进行进一步的聚合。
数据类型 此章节描述ClickHouse的数据类型。 数据类型表 表1 数据类型表 分类 关键字 数据类型 描述 整数类型 Int8 Int8 取值范围:【-128,127】 Int16 Int16 取值范围:【-32768,32767】 Int32 Int32 取值范围:【-2
删除数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 public void testDelete() { LOG.info("Entering testDelete."); byte[] rowKey
使用Scan读取数据 功能简介 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中,每行数据以Res
如何查看回收站数据 登录CloudTable控制台。 创建Doris集群。 连接Doris集群。 查看回收站数据。 show trash; 图1 回收站数据 恢复回收站数据。 curl -X POST http://{be_host}:{be_webserver_port} /api/restore_tablet
HBase数据批量导入 使用CDM迁移数据到CloudTable 使用Import工具导入数据 使用CopyTable工具导入数据 数据表复制样例代码 父主题: HBase用户指南
单击管理控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群列表中找到需要查看的集群,在对应的操作列中,单击查看监控信息,系统会跳到该集群的“云服务监控”页面。 待查看集群,其状态必须为“服务中”。 图1 查看监控信息 在集群的“云服务监控”页面中,单击集群ID前的按钮展开计算单元列表,选择对应节点查看监控信息。
HBase集群写入数据大小不能超过多少? 问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡主,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类