检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Doris冷热分离应用 应用背景 典型场景说明 开发思路 样例代码 父主题: Doris应用开发指导
抽样查询 功能介绍 在普通查询的基础上设置setSampling(),查询时从索引表中随机选择一个分片执行查询任务。 可以参考以下样例代码。 样例代码 public void testSamplingQuery() { LOG.info("Entering testSamplingQuery
HBase应用开发指导 开发流程 准备开发环境 开发HBase应用 开发HBase冷热分离应用 访问HBase ThriftServer样例程序 开发标签索引应用 调测程序 对外接口
se的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户需要开发一个应用程序,用于存储或根据一定条件查询人员的姓名、年龄和入职日期。主要操作步骤: 建立数据库的连接。 建立一张人员信息表。 插入数据(样例代码中数据为随机生成)。 根据条件查询数据。 父主题: 开发程序
Doris应用开发指导 Doris组件使用规范 建表 数据导入 数据湖分析 通过JDBC方式连接Doris 开发Doris冷热分离应用
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项。 加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再一一进行说明。 代码样例
使用Get读取数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。 可以为Get对象设定参数值,如列族的名称和列的名称。 查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 public void
开发ClickHouse冷热分离应用 应用背景 典型场景说明 开发思路 样例代码 父主题: ClickHouse应用开发指导
典型场景说明 通过典型场景,我们可以快速学习和掌握HBase冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于实时记录和查询城市的气象信息,记录数据如下表: 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang
ClickHouse应用开发指导 ClickHouse组件使用规范 ClickHouse表引擎概述 SQL语法参考 数据迁移同步 开发程序 调测程序 开发ClickHouse冷热分离应用
error("Close table failed " ,e); } } } LOG.info("Exiting testScanData."); } 注意事项 建议Scan时指定StartRow和StopRow,一个有确切范围的Scan,性能会更好些。
ClickHouse集群创建表格后提示另外一个节点不存在此数据库? 问题现象 创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候,只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。
Admin对象的createTable方法来创建表,并指定表名、列族名、冷热时间线。 创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项。 加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再进行说明。 代码样例 下面代码片段在com
Doris表按两层结构进行数据划分,分别是分区和分桶。 每个分桶文件就是一个数据分片(Tablet),Tablet是数据划分的最小逻辑单元。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集,并且在物理上是独立存储的。 一个Tablet只属于一个Partition,相应的多个Tablet在逻
Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。
使用Get读取数据 功能介绍 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 针对开启冷热分离特性的列族,可以
exists"); } } catch (IOException e) { LOG.error("Create table failed.", e); } finally { if (admin != null) { try {
BeginTxnTimeMs 向Fe请求开始一个事务所花费的时间,单位毫秒。 StreamLoadPutTimeMs 向Fe请求获取导入数据执行计划所花费的时间,单位毫秒。 ReadDataTimeMs 读取数据所花费的时间,单位毫秒。 WriteDataTimeMs 执行写入数据操作所花费的时间,单位毫秒。
最佳实践 因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。 数据模型选择 Doris数据模型上目前分为三类:AGGREGATE KEY,UNIQUE KEY,DUPLICATE KEY。三种模型中数据都是按KEY进行排序。 Aggregate模型。